Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

"Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

투과전자현미경 (TEM) 은 방대한 양의 데이터를 생성하지만, 저장 공간을 절약하기 위해 종종 폐기되는 90% 이상의 데이터는 미발표되고 미활용된 채 남아 있습니다. 이러한 "남은" 데이터셋은 세부 사항과 다양성이 풍부하지만 다음과 같은 이유로 거의 활용되지 않습니다:

• 데이터 이질성: 재료 과학 TEM 은 다양한 시료, 작동 모드, 획득 설정을 포함하므로 서로 다른 조건에서 일반화되는 모델을 훈련하기 어렵습니다.
• 노이즈와 선량 효율성: 현대 TEM 은 선량 효율성 (전자 손상 최소화) 을 우선시하여 매우 노이즈가 많은 데이터를 생성합니다. 현재 머신러닝 (ML) 탈노이즈 모델은 일반적으로 특정 노이즈 수준이나 시료에 맞춰 처음부터 훈련되므로, 현미경 파라미터 (예: 배율, 체류 시간, 빔 전류) 의 변화에 대한 강건성이 부족합니다.
• 쌍을 이루는 데이터 부족: 기존 오픈소스 데이터셋은 규모가 작거나, 합성 데이터이거나, 이미지 외관과 현미경 상태 간의 관계를 이해하는 모델을 훈련하는 데 필요한 풍부한 쌍을 이루는 획득 메타데이터가 부족합니다.

핵심 과제는 이러한 메타데이터가 풍부한 미활용 아카이브를 활용하여, 모든 파라미터 변경마다 새로운 쌍을 이루는 훈련 데이터를 필요로 하지 않고도 현미경 상태를 이해하고, 스타일 전이를 수행하며, 이미지를 탈노이즈할 수 있는 일반화 가능한 ML 워크플로우를 구축하는 것입니다.

2. 방법론

저자들은 고각 원형 암시야 주사 TEM(HAADF-STEM) 의 특정 도메인에 맞게 적응된 CLIP(Contrastive Language-Image Pre-training) 에서 영감을 받은 대조적 이미지 - 메타데이터 사전 훈련 (CIMP) 프레임워크를 제안합니다.

A. 데이터셋 구축

• 출처: 익명화된 재료 연구 실험실의 단일 Titan 현미경에서 수집된 7,330 개의 HAADF-STEM 이미지.
• 내용: Pt/CeO2, Pd/ZrO2 와 같은 이종 촉매를 중심으로 30 개 이상의 다양한 재료 시스템과 130 개 이상의 시료를 포함합니다.
• 메타데이터: 각 이미지는 7 가지 획득 파라미터와 쌍을 이룹니다:
  1. 픽셀 크기
  2. 체류 시간 (Dwell time)
  3. 빔 수렴 각도
  4. 빔 전류
  5. 검출기 이득 (Gain)
  6. 검출기 오프셋
  7. 내부 수집 각도
• 평가 세트: 훈련 중 데이터 누출을 방지하기 위해 동일한 시료의 단일 파라미터 (체류 시간, 이득, 오프셋) 를 변화시켜 촬영한 특정 이미지 시리즈를 정성적 평가를 위해 따로 보관했습니다.

B. CIMP 아키텍처

• 목표: 대조적 손실 (contrastive loss) 을 통해 HAADF-STEM 이미지와 해당 메타데이터 벡터를 정렬하는 공동 임베딩 공간을 학습합니다.
• 인코더:
  • 이미지 인코더: ImageNet 사전 훈련된 비전 트랜스포머 (ViT) 보다 우수하거나 동등한 성능을 보인 ResNet-18(처음부터 훈련) 이 사용되었습니다. 이는 자연 이미지와 STEM 미세 사진 간의 상당한 도메인 차이 때문입니다.
  • 메타데이터 인코더: 7 가지 획득 파라미터를 처리하는 다층 퍼셉트론 (MLP).
• 훈련: InfoNCE 대조적 손실을 사용합니다. 모델은 배치 내의 부정적 샘플들 중에서 이미지를 올바른 메타데이터 벡터와 매칭하도록 학습합니다.

C. 하류 응용

학습된 임베딩은 두 가지 주요 작업의 기반이 됩니다:

1. 선형 프로브 복구: 고정된 시각적 임베딩에서 특정 획득 파라미터가 선형적으로 디코딩될 수 있는지 테스트합니다.
2. 생성적 스타일 전이: CIMP 임베딩을 사용하여 실험 이미지를 다른 획득 파라미터 하에서 가질 스타일로 변환하는 GAN 기반 생성기 (FiLM 조건부 U-Net) 를 사용합니다.
   • 조건부: 생성기는 소스 이미지와 두 개의 임베딩 (소스 메타데이터 $e_{id}$ 및 대상 메타데이터 $e_{tgt}$) 을 입력받습니다.
   • 손실 함수: 적대적 손실 ($L_{LSGAN}$), 주기 일관성 ($L_{cyc}$), 정체성 손실 ($L_{id}$), 그리고 CIMP 공간에서 출력이 대상 스타일과 일치하도록 보장하는 지각적 임베딩 손실 ($L_{emb}$) 이 사용됩니다.

3. 주요 기여

1. 데이터셋 공개: 다양한 재료와 현미경 설정을 포괄하는 실험적 HAADF-STEM 을 위한 첫 번째 대규모 (7,330 개 이미지) 쌍을 이루는 이미지 - 메타데이터 데이터셋.
2. CIMP 프레임워크: TEM 이미지와 메타데이터에 대한 공동 임베딩 공간을 학습하는 새로운 사전 훈련 방법으로, 이러한 임베딩을 작업별 모델이 아닌 하류 작업을 위한 기반 계층으로 취급합니다.
3. 물리 정보 기반 탈노이즈: 가상으로 체류 시간과 빔 전류를 증가시키는 조건부 설정 시, 스타일 전이 네트워크가 Noise2Void 와 같은 자기지도식 베이스라인보다 우수한 탈노이즈기로 작용함을 입증했습니다.
4. 선형 디코딩 가능성: 메타데이터 값에 대한 직접적인 감독 없이 대조적 목표가 7 가지 서로 다른 물리 파라미터를 개별적으로 복구할 수 있는 임베딩을 생성함을 증명했습니다.

4. 결과

A. 임베딩 학습 및 검색

• 하이퍼파라미터: 512x512 이미지 자르기, ResNet-18 백본, 유효 배치 크기 512 로 최적 성능을 달성했습니다.
• 검색 정확도: 모델은 이미지를 올바른 메타데이터 벡터와 매칭하는 Top-1 검색 정확도 0.844를 달성했습니다.
• 백본 비교: 처음부터 훈련된 ResNet-18 이 ImageNet 사전 훈련된 ViT 보다 우수했습니다 (Top-1 84.4% 대 82.8%), 이는 STEM 데이터의 도메인 특수성을 강조합니다.

B. 메타데이터 복구 (선형 프로빙)

• 고정된 임베딩에 리지 회귀 (Ridge regression) 를 사용하여 모델이 7 가지 파라미터 모두를 성공적으로 복구했습니다.
• 성능:
  • 검출기 이득: 가장 잘 복구됨 (SMAPE ≈ 5.3%, $R^2 > 0.82$).
  • 로그 변환 파라미터 (픽셀 크기, 체류 시간, 빔 전류): 재지수화 후 오류의 곱셈적 특성으로 인해 더 낮은 $R^2$(0.66–0.78) 와 더 높은 SMAPE(28–47%) 를 보였으나, 여전히 선형적으로 디코딩 가능했습니다.
• 의의: 이는 임베딩이 "노이즈 대 깨끗함"이라는 단일 축으로 수렴하는 것이 아니라 물리 파라미터의 "분리된 (factored)" 표현을 포착함을 확인시켜 줍니다.

C. 스타일 전이 및 탈노이즈

• 정성적 경향: 생성기는 물리적 경향을 성공적으로 모방했습니다 (예: 더 긴 체류 시간 = 더 매끄럽고 노이즈가 적음; 더 높은 빔 전류 = 더 밝음).
  • 참고: 일부 경우 모델은 순수한 물리 법칙보다는 특정 데이터셋에 존재하는 편향 (예: 조리개 변화로 인한 수렴 각도와 빔 전류의 상관관계) 을 학습했습니다.
• 정량적 지표: 홀드아웃 평가 세트에서 CIMP GAN 은 이득 전이 (SSIM, PSNR, LPIPS) 에서 "수정 없음" 베이스라인을 능가했고, 체류 시간에서는 베이스라인과 일치했습니다.
• 탈노이즈 성능:
  • Noise2Void와 비교하여 CIMP GAN 은 더 사실적인 이미지를 생성했습니다.
  • Noise2Void 는 체스보드 아티팩트와 배경 콘텐츠의 환각 현상에 시달렸습니다.
  • CIMP GAN 은 전자의 선량을 가상으로 증가시켜 노이즈를 효과적으로 줄이면서 구조적 세부 사항을 보존했습니다.

5. 중요성 및 영향

• 패러다임 전환: "모든 특정 조건마다 처음부터 훈련"하는 방식에서 "아카이브를 사전 훈련하여 일반화 가능한 현미경 물리를 학습"하는 방식으로 TEM 데이터 분석을 전환합니다.
• 데이터 활용: "남은" 실험 데이터가 견고한 ML 모델을 훈련하는 귀중한 자원임을 검증하여, 미활용 TEM 데이터 90% 의 잠재력을 unlocking 합니다.
• 일반화 가능성: CIMP 임베딩은 분할, 분석 또는 검색 작업을 위한 조건부 신호로 작용하여 ML 워크플로우가 현미경 설정의 변화에 강건하도록 만듭니다.
• 커뮤니티 자원: 데이터셋과 코드 공개는 다른 실험실들이 데이터 기반 방법을 채택하는 장벽을 낮추고, 전자 현미경 분야에서 데이터 공유 문화를 장려합니다.

6. 한계

• 경계 조건: 이러한 "나쁜 데이터"는 일반적으로 운영자에 의해 폐기되고 훈련 세트에 부재하기 때문에, 모델은 극단적인 파라미터 값 (예: 이미지 클리핑/포화) 에서 어려움을 겪습니다.
• 데이터셋 규모: 재료 TEM 분야에서 가장 큰 규모이지만, 7,330 개의 이미지는 컴퓨터 비전 데이터셋 (예: ImageNet 의 128 만 개 이미지) 에 비해 작아 모델 훈련의 규모를 제한합니다.
• 데이터셋 편향: 모델은 때때로 순수한 물리 법칙보다는 특정 데이터셋에 존재하는 상관관계 (예: 조리개 크기가 수렴 각도와 빔 전류 모두에 영향을 줌) 를 학습합니다.

결론적으로, 이 연구는 메타데이터가 풍부한 아카이브에 대한 대조적 사전 훈련이 고급 생성 작업과 견고한 탈노이즈를 가능하게 하는 강력하고 물리 인식적인 표현을 창출함을 입증함으로써 재료 TEM 을 위한 새로운 기반을 마련합니다.