Adapting Frozen Mono-modal Backbones for Multi-modal Registration via Contrast-Agnostic Instance Optimization

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 의료 영상 분석에서 변형 가능한 이미지 등록 (Deformable Image Registration) 은 치료 계획 및 종단 연구에 필수적입니다. 최근 딥러닝 기반 방법론이 효율적인 예측을 제공하지만, 테스트 시 데이터 분포가 크게 변할 때 (Distribution Shifts) 일반화 성능이 저하되는 문제가 있습니다.
• 핵심 문제:
  1. 다양한 모달리티 (Multi-modal) 간 등록의 어려움: MRI 의 다양한 대비 (T1w, T2w, FLAIR 등) 로 인해 강도 분포가 크게 달라져 단순한 강도 대응이 불가능합니다.
  2. 전체 네트워크 미세 조정 (Full Fine-tuning) 의 비효율성: 현대적인 아키텍처 (Transformer, 깊은 U-Net 등) 를 3D 영상에 대해 전체적으로 미세 조정하는 것은 메모리 (VRAM) 와 실행 시간 측면에서 prohibitively expensive(부담스러울 정도로 비쌈) 합니다.
  3. 기존 인스턴스 최적화 (Instance Optimization, IO) 의 한계: 단순한 IO 는 심한 도메인 간극 (Modality Gap) 하에서 불안정하거나 성능이 저하될 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 사전 학습된 단일 모달리티 (Mono-modal) 백본을 동결 (Freeze) 하고, 경량화된 적응 파이프라인을 통해 다중 모달리티 등록을 수행하는 프레임워크를 제안합니다.

A. 전체 아키텍처 (Overview)

1. 동결된 백본 (Frozen Pretrained Backbone): 사전 학습된 단일 모달리티 등록 모델 (예: VFA) 을 사용하여 초기 변형장 (Deformation Field, $\phi_0$) 을 생성합니다. 백본의 가중치는 고정되어 있어 미세 조정 비용이 없습니다.
2. 대조 무관 (Contrast-Agnostic) 표현 생성: 입력 영상의 모달리티 차이가 클 경우, Brain-ID 모델을 활용하여 대비에 무관한 표현을 생성하거나 T1w 스타일로 스타일 전이 (Style Transfer) 를 수행합니다. 이는 도메인 간극을 줄여 초기화를 개선합니다.
3. 경량 인스턴스 최적화 (Lightweight Instance Optimization):
   • 생성된 초기 변형장 $\phi_0$ 를 기반으로, 테스트 시 각 이미지 쌍마다 가벼운 리파인먼트 모듈 (Refinement Modules) 을 최적화합니다.
   • 백본을 건드리지 않고, 출력 필드만 보정하므로 백본 선택과 무관 (Orthogonal) 합니다.

B. 세부 구성 요소

• Brain-ID 기반 전처리:
  • 입력 영상 쌍의 저해상도 LNCC (Local Normalized Cross-Correlation) 가 임계값 ($\tau$) 이하일 때만 Brain-ID 를 적용하여 스타일 전이된 이미지 ($\hat{I}_A, \hat{I}_B$) 를 사용합니다.
  • 이는 불필요한 전처리를 방지하고 모달리티 간극이 큰 경우에만 대비 불변성을 확보합니다.
• 점진적 리파인먼트 네트워크 (Progressive Refinement Network):
  • 3 단계의 캐스케이드된 3D U-Net ($g_{\theta_1}, g_{\theta_2}, g_{\theta_3}$) 으로 구성됩니다.
  • 각 단계마다 이전 변형장을 warped 한 소스 영상과 타겟 영상을 입력받아 잔차 변형장 (Residual Deformation, $\delta\phi_t$) 을 예측합니다.
  • 예측된 잔차는 업스케일되어 이전 변형장과 합성 (Composition) 됩니다: $\phi_t = \phi_{t-1} \circ \text{Upsample}(\delta\phi_t)$.
  • 이 과정은 다중 스케일 (Multi-scale) 로 진행되어 정밀도를 높입니다.
• 손실 함수 (Loss Function):
  • 가우시안 커널을 사용한 LNCC 를 유사도 항 ($L_{sim}$) 으로 사용.
  • 최종 변형장에 확산 정규화 (Diffusion Regularizer, $L_{reg}$) 를 적용하여 물리적으로 타당한 변형을 유도합니다.
  • 전체 손실: $L = \sum L_{sim} + \lambda L_{reg}$.

3. 주요 기여 (Key Contributions)

1. 경량화된 적응 프레임워크: 전체 모델 미세 조정 없이 사전 학습된 강력한 단일 모달리티 백본을 다중 모달리티/아웃-오브-도메인 상황에 효과적으로 적응시킵니다.
2. 대조 무관 인스턴스 최적화: Brain-ID 를 통한 스타일 전이와 가이트드 (Gated) 스타일 전이 모듈을 결합하여, 테스트 시 도메인 간극을 극복하고 안정적인 초기화를 제공합니다.
3. 백본 무관성 (Orthogonality): 제안된 방법은 백본 아키텍처 (U-Net, Transformer 등) 에 의존하지 않아 다양한 모델에 적용 가능합니다.
4. 효율성: 전체 미세 조정에 비해 메모리 사용량 (10GB 미만) 과 실행 시간이 현저히 줄어들어 3D 영상 처리에 실용적입니다.

4. 실험 결과 (Results)

• 데이터셋: Learn2Reg 2025 LUMIR 검증 세트 (10 개 공개 데이터셋의 T1w 뇌 MRI 포함, 3384 명 학습, 36 명 검증).
• 성능 평가:
  • 다중 모달리티 (Multi-modal) 서브셋: 사전 학습된 최첨단 단일 모달리티 백본 (VFA-SynthSR) 대비 일관된 Dice 점수 개선을 보이며, 2 위를 기록했습니다.
  • 아웃-오브-도메인 (Out-of-domain) 서브셋: 3 위를 기록하여 도메인 이동에 대한 강건성을 입증했습니다.
  • 종합 순위: 전체 Dice 점수 기준 4 위를 달성했습니다.
• Ablation Study (분석 실험):
  • Brain-ID 적용: 모달리티 간극이 큰 경우 대비 불변 표현을 사용하는 것이 성능 향상에 결정적입니다.
  • 리파인먼트 구조: 단일 네트워크나 가산 (Additive) 업데이트보다 캐스케이드된 합성 (Compositional) 업데이트가 더 나은 성능을 보였습니다.
  • 사전 학습 (Pretraining): 리파인먼트 모듈을 1,000 스텝 정도 사전 학습하는 것이 최적의 성능을 냈으며, 과도한 학습 (5,000 스텝) 은 오히려 성능을 저하시켰습니다.
  • 전체 미세 조정 비교: 전체 네트워크를 미세 조정하는 것보다 제안된 경량 적응 방식이 아웃-오브-도메인에서 더 강건한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 동결된 단일 모달리티 모델을 다중 모달리티 등록에 효과적으로 재활용할 수 있는 실용적인 경로를 제시합니다.

• 계산 비용 절감: 고비용인 전체 미세 조정 (Full Fine-tuning) 을 피하면서도, 테스트 시 인스턴스 최적화 (IO) 와 경량 모듈을 통해 도메인 간극을 극복합니다.
• 강건성: 다양한 MRI 대비와 도메인 이동 하에서도 일관된 성능을 유지하여, 실제 임상 환경에서의 적용 가능성을 높였습니다.
• 미래 지향성: 대규모 사전 학습 모델 (Foundation Models) 이 의료 영상에 등장하는 상황에서, 이를 효율적으로 적응시키는 표준적인 방법론으로 자리 잡을 수 있는 잠재력을 보여줍니다.

요약하자면, 이 연구는 "무거운 전체 재학습 없이, 가벼운 적응 계층과 대비 무관 전처리를 통해 강력한 사전 학습 모델을 다중 모달리티 문제에 적용하는 것" 이 효과적이고 실용적인 해결책임을 입증했습니다.