기술 요약: CT 파운데이션 모델의 해부학적 맥락화 적응 (Anatomy Contextualized Adaptation)

문제 정의

CT 시각-언어 파운데이션 모델(예: Merlin, CT-CLIP)은 전체 볼륨 표현을 학습함으로써 다운스트림 태스크에서 강력한 제로샷 성능을 입증해 왔습니다. 그러나 이러한 모델들은 일반적으로 전체 3D CT 볼륨을 하나의 임베딩으로 응축하며, 이 과정에서 미세한 해부학적 신호가 희석됩니다. 반대로, 기존의 미세 조정 시각-언어 사전 학습(FVLP) 방식은 해부학적 특정 시각 특징을 특정 텍스트 설명과 정렬하지만, 전체 볼륨 모델이 제공하는 전역적 맥락(global context)을 놓치는 경우가 많습니다. 또한, 현재의 FVLP 방법들은 일반적으로 전체 모델을 처음부터 학습시켜야 하므로 계산 비용이 많이 들고 확장하기 어렵습니다. 따라서 동결된(frozen) 파운데이션 모델을 활용하여, 전체 재학습 비용 없이도 전역적 맥락 정보를 보존 및 강화하면서 해부학적 수준의 정렬을 달성할 수 있는 프레임워크가 필요합니다.

방법론: 해부학적 맥락화 적응 (ACA)

저자들은 동결된 CT 파운데이션 모델 표현을 해부학적 수준의 시각-언어 정렬을 위해 적응시키도록 설계된 경량 프레임워크인 **Anatomy Contextualized Adaptation (ACA)**를 소개합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 임베딩 구축:

   • 시각적(Visual): 프레임워크는 TotalSegmentator를 사용하여 CT 볼륨을 44개의 해부학적 구조로 분해합니다. 이 세그멘테이션 마스크는 동결된 파운데션 모델 백본(Merlin의 I3D ResNet152 또는 CT-CLIP의 CT-ViT)의 공간적 특징 맵(spatial feature maps)에 투영됩니다. 각 해부학적 구조에 해당하는 특징들은 평균 풀링(mean-pooling)되어 해부학 수준의 임베딩을 생성합니다.
   • 텍스트(Text): 해부학적 특정 소견(findings)은 대규모 언어 모델(Qwen3-4B-Instruct)을 사용하여 방사선 보고서에서 추출됩니다. 추출된 소견들은 해당 파운데이션 모델의 동결된 텍스트 인코더를 통해 인코딩되어 해부학 수준의 텍스트 임베딩을 생성합니다. 또한, 전체 보고서로부터 별도의 스캔 수준 텍스트 임베딩이 생성됩니다.
   • 위치 인코딩(Positional Encoding): 해부학적 구조 간의 공간적 위치 인코딩은 볼륨 대각선으로 정규화된, 해부학적 구조들의 복셀 공간 중심점(voxel-space centroids) 사이의 $\ell_2$ 거리를 기반으로 계산됩니다.

2. 해부학 간 트랜스포머 (Inter-Anatomy Transformer):

   • 해부학 간 관계를 포착하기 위해, 해부학 임베딩은 학습 가능한 해부학 간 트랜스포머를 통과합니다.
   • 트랜스포머에 진입하기 전, 각 임베딩은 학습된 공간 위치 인코딩과 학습 가능한 해부학 유형 임베딩으로 증강됩니다.
   • 이 모듈은 스캔에 존재하는 전체 구조 집합에 주의(attention)를 기울임으로써 각 해부학의 임베딩에 맥락을 부여하며, 이를 통해 모델이 장기 간의 관계(예: 상대적 크기 비교)를 학습할 수 있게 합니다.

3. 결합 손실 함수 (Combined Loss Function):

   • 해부학 수준 손실 ($\mathcal{L}_{anatomy}$): 각 맥락화된 해부학 임베딩을 그에 대응하는 추출된 텍ền 설명과 정렬하는 대비 학습(contrastive loss)입니다. 이 손실은 소프트 타겟 매트릭스를 사용하여 위양성(false negatives) 문제를 처리하며, 서로 다른 환자의 "정상" 사례들을 양성 쌍으로 취급하여 의미론적으로 동일한 건강한 구조에 대해 페널티를 주는 것을 방지합니다.
   • 스캔 수준 손실 ($\mathcal{L}_{scan}$): 맥락화된 해부학 임베딩으로부터 유도된 평균 풀링된 스캔 수준 시각 임베딩을 전체 방사선 보고서 임베딩과 정렬하는 대비 학습입니다. 이는 모델이 전체 스캔에 대한 일관된 관점을 유지하도록 전역적인 감독 신호를 제공합니다.
   • 전체 목적 함수는 이 두 손실의 합입니다 ($\mathcal{L}_{total} = \mathcal{L}_{anatomy} + \lambda \mathcal{L}_{scan}$).

주요 기여

• 경량 적응(Lightweight Adaptation): ACA는 동결된 파운데이션 모델을 학습 가능한 경량 모듈(트랜스포머 및 프로젝션 헤드)만을 사용하여 적응시키며, 기존 FVLP 방식에 필요한 엔드투엔드 재학습의 계산 비용을 피합니다.
• 맥락화된 미세 조정 정렬(Contextualized Fine-Grained Alignment): 해부학을 독립적으로 다루는 이전의 미세 조정 방식들과 달리, ACA는 해부학 간 관계를 명시적으로 모델링하는 해부학 간 트랜스포머를 도입하여 전역적 맥락을 무시하는 한계를 해결합니다.
• 이중 입도 감독(Dual-Granularity Supervision): 이 프레임워크는 해부학 수준의 대비 학습과 스캔 수준의 보고서 정렬을 독특하게 결합하여, 모델이 특정 장기의 병리 현상과 전역적인 임상 맥락을 동시에 학습할 수 있도록 합니다.

결과

프레임워크는 각각의 동결된 파운데션 모델을 백본으로 사용하여 두 개의 대규모 데이터셋인 Merlin(복부 CT)과 CT-RATE(흉부 CT)에서 평가되었습니다.

• 성능 향상: ACA는 제로샷 소견 분류(finding classification)에서 동결된 파운데이션 모델 베이스라인과 기존의 미세 조정 적응 방식(MLP, fVLM, ViSD-Boost 적응 포함) 모두를 일관되게 능가했습니다.
  • Merlin 데이터셋에서, ACA는 인-디스트리뷰션(in-distribution) 매크로 평균 AUROC를 0.7729(Merlin 베이스라인)에서 0.8213으로 향상시켰습니다.
  • CT-RATE 데이터셋에서, ACA는 인-디스트리뷰션 AUROC를 0.7082(CT-CLIP 베이스라인)에서 0.7311로 향상시켰습니다.
  • 아웃-오브-디스트리뷰션(out-of-distribution) 설정에서도 유의미한 이득이 관찰되었습니다 (예: CT-RATE 테스트 세트에 대한 Merlin 학습 ACA: 베이스라인 0.6919 대비 0.7400).
• 어블레이션 연구(Ablation Studies): 해부학 수준 손실이나 스캔 수준 손실 중 하나라도 제거하면 성능이 저하되었으며, 이는 국소적 해부학 정렬과 전역적 맥락 감독이 모두 필요함을 확인시켜 줍니다.
• 해부학 가이드 풀링(Anatomy-Guided Pooling): 특정 소견에 대해 해부학적으로 관련 있는 구조로 풀링을 제한하는 추론 시 전략은, 특히 스캔 수준 감독이 없는 모델의 경우 성능을 더욱 향 향상시켰습니다.
• 학습된 연관성: 어텐션 가중치 분석 결과, 트랜스포머는 대비 학습만으로도 (Merlin의 경우 위-소장-결장의 연속성, CT-RATE의 경우 폐-식도와 같이) 타당한 해부학 간 연관성을 학습했음을 보여주었으며, 이는 훈련 데이터의 해부학적 범위를 반영합니다.
• 사례 연구: 비장 비대(splenomegaly) 탐지 시, ACA는 주변 장기와 비교하여 비장의 크기를 판단함으로써 병리적 확대를 정확히 식별해 낸 반면, 독립적인 미세 조정 베이스라인들은 이러한 상대적 평가를 수행하는 데 실패했습니다.

의의 및 주장

본 논문은 ACA가 의료 영상의 표현 학습을 개선하기 위한 실용적이고 계산 효율적인 경로를 제공한다고 주장합니다. 임베딩을 캐싱(caching)할 경우 1시간 미만의 훈련만으로도 동결된 파운데션 모델을 해부학적으로 근거한 시각-언어 태스크에 효과적으로 적응시킬 수 있음을 입증함으로써, 저자들은 최첨단 미세 조정 성능을 달기 위해 반드시 엔드투엔드 재학습이 필요한 것은 아니라고 주장합니다.

저자들은 ACA를 전체 볼륨 모델의 광범한 전역적 맥락과 미세 조정 정렬의 특수성 사이의 간극을 메우는 솔루션으로 포지셔닝합니다. 또한, 기존의 미세 조정 방식(fVLM, ViSD-Boost)과의 비교가 "동결된 임베딩" 환경 하에서 이루어졌다는 점을 언급하며, 결과적으로 본 연구의 적응 전략의 효용성을 뒷받침한다고 밝힙니다. 본 연구는 제로샷 소견 분류에 국한되며, 세그멘테이션 및 보고서 생성은 향후 과제로 남겨두었습니다.