An Open Multi-Center Whole-Body FDG PET/CT Foundation Model for Tumor Segmentation

기술 요약: 종양 분절을 위한 개방형 다중 센터 전신 FDG PET/CT 파운데이션 모델

문제 제기
컴퓨터 단층촬영 (CT) 과 양전자 방출 단층촬영 (PET) 의 시너지적 해석은 병변 탐지 및 병기 결정을 위한 종양학 영상에서 표준이지만, 기존 딥러닝 접근법은 상당한 한계에 직면해 있습니다. 대부분의 현재 방법은 특정 작업에 맞춰져 있으며, 소규모 단일 센터 코호트로 훈련되고, 교차 모달 상호작용을 지연시키는 이중 분기 융합 방식에 의존합니다. 이러한 접근법들은 다양한 훈련 데이터의 부재와 PET 와 CT 간의 초기 공간적 대응 관계의 미활용으로 인해 다른 기관, 스캐너 제조사, 획득 프로토콜에 걸쳐 일반화되지 못하는 경우가 많습니다. 또한, 학습 가능한 마스크 토큰을 사용하는 표준 마스킹 오토인코더 (MAE) 구현은 의료 영상에서 흔히 사용되는 계층적 인코더 - 디코더 아키텍처를 불안정하게 만드는 비물리적 강도 불연속성을 유발할 수 있습니다.

방법론
저자들은 네 개의 공개 데이터셋 (AutoPET IV, DeepPSMA, SPADE, ViMedPET) 에서 집계된 4,997 건의 전신 FDG PET/CT 스캔으로 구성된 조화화된 말뭉치에 사전 훈련된 오픈소스 파운데이션 모델을 제안합니다.

• 데이터 큐레이션 및 조화: 해부학적 구조를 왜곡시키는 고정 행렬 크기로 이미지를 크기 조절하는 대신, 저자들은 모든 스캔을 $2.0 \times 2.0 \times 3.0$ mm$^3$의 통일된 물리적 볼륨 간격으로 재샘플링했습니다. CT 후너필드 단위 (Hounsfield Units) 와 PET 표준화 섭취량 (SUV) 을 표준화하기 위해 볼륨별 z-점수 정규화를 적용했습니다. 특정 데이터셋의 부정합은 강체 등록을 통해 보정되었습니다.
• 아키텍처: 이 프레임워크는 계층적 UNet 형태의 백본을 사용하며, 구체적으로 SwinUNETR-v2(소형, 베이스, 대형 구성) 와 nnUNet-v2 를 평가합니다. 주요 아키텍처 혁신은 첫 번째 임베딩 레이어에서 PET 와 CT 입력을 **초기 채널별 연결 (early channel-wise concatenation)**하는 것입니다. 이를 통해 해부학적 및 대사적 특징이 별도의 인코더에서 처리된 후 나중에 융합되는 대신 즉시 상호작용할 수 있습니다.
• 사전 훈련 목적 (평균 0 임의치 대체 MAE): 학습 가능한 마스크 토큰이 컨볼루션 스킵 연결과 호환되지 않는 문제를 해결하기 위해, 저자들은 이를 **평균 0 임의치 대체 (zero-mean imputation)**로 대체했습니다. 입력 데이터가 z-점수 정규화되었기 때문에, 마스크 처리된 패치는 배경의 기대 평균인 0 으로 채워집니다.
• 손실 함수: 이 모델은 가중 전역 재구성 손실을 사용합니다. 가시 영역을 무시하는 표준 MAE 와 달리, 이 손실은 스킵 연결의 훈련을 안정화하고 고주파 구조 정보를 보존하면서 주로 마스크 처리된 영역의 재구성에 중점을 두기 위해 가시 볼륨에 대한 가중 항 ($\lambda = 0.2$) 을 포함합니다.

주요 기여

1. 대규모 다중 센터 말뭉치: 4,997 건의 3 차원 전신 FDG PET/CT 사전 훈련 데이터셋을 생성하고 조화화하여 PET/CT 표현 학습에 사용 가능한 규모와 다양성을 크게 확장했습니다.
2. 새로운 사전 훈련 프레임워크: 계층적 CNN/Transformer 백본에 맞춘 마스킹 오토인코딩 전략을 도입하였으며, 독립적인 PET/CT 마스크 처리, 평균 0 임의치 대체, 그리고 가중 전역 재구성 손실을 특징으로 합니다.
3. 실증된 라벨 효율성: 결과적으로 생성된 파운데이션 모델이 최소한의 라벨링된 데이터로 강력한 성능을 달성하며, 분리된 모달리티 사전 훈련 접근법을 능가한다는 실증적 증거를 제시합니다.

결과
모델들은 다양한 데이터 체제 하의 다운스트림 AutoPET 병변 분절 작업에서 평가되었습니다:

• 제한된 데이터로 미세 조정: 라벨링된 훈련 데이터의 10%(70 건) 만으로 미세 조정되었을 때, MAE 초기화 모델은 전체 데이터셋 (700 건) 에서 처음부터 훈련된 모델과 비교할 수 있는 성능을 달성했습니다. 예를 들어, SwinUNETR-v2-base 모델은 10% 데이터 (MAE 초기화) 로 Dice 점수 0.6132 를 기록한 반면, 처음부터 훈련 (scratch) 한 경우 0.4889 를 기록했으며, 이는 전체 데이터 처음부터 훈련 베이스라인 (0.6414) 과 경쟁력 있는 수준이었습니다.
• 퓨샷 선형 프로빙: 극단적인 5-샷 조건 (인코더와 디코더의 대부분을 고정하고 최종 레이어만 훈련) 에서, 결합된 PET/CT 사전 훈련은 분리된 모달리티 사전 훈련보다 현저히 우수한 성과를 보였습니다. SwinUNETR-v2-base 는 결합 사전 훈련으로 Dice 점수 0.3557 을 기록한 반면, 분리 사전 훈련은 0.2163 이었고, 처음부터 훈련한 초기화는 약 0.09 로 추락했습니다.
• 모델 확장: SwinUNETR-v2-large 변형이 가장 낮은 사전 훈련 재구성 손실과 최고의 선형 프로빙 점수를 달성했지만, SwinUNETR-v2-base 변형은 제한된 다운스트림 데이터셋에서의 과적합을 피하면서 전체 매개변수 미세 조정을 위한 가장 좋은 균형을 보여주었습니다.

의의 및 주장
이 논문은 대규모 다중 센터 말뭉치에 사전 훈련된 최초의 오픈소스 PET/CT 파운데이션 모델을 제시한다고 주장합니다. 주요 의의는 라벨 효율성과 교차 모달리티 표현 학습을 입증하는 데 있습니다. 저자들은 대규모 다중 센터 사전 훈련이 임상 실무에서 대규모 수동 주석의 필요성을 현저히 줄이는 전이 가능한 해부학적 및 대사적 사전 지식을 제공한다고 주장합니다.

이 연구는 모달리티의 조기 융합이 지연된 융합보다 더 유용한 잠재 공간을 생성한다고 시사합니다. 또한, 대용량 모델이 견고한 표현을 학습하지만, 중간 용량 모델 (SwinUNETR-v2-base 와 같은) 은 다운스트림 임상 작업에 사용 가능한 주석 데이터의 제약과 표현력 사이의 더 실용적인 균형을 제공할 수 있음을 강조합니다. 저자들은 이 파운데이션 모델이 자동화된 종양학 영상 발전을 위한 견고하고 오픈소스 기반을 제공한다고 결론지었지만, 진단 불확실성을 완전히 포착하지 못하는 픽셀 단위 지표의 한계와 현재 PET 와 CT 모달리티가 모두 존재해야 한다는 요구사항에 대해서는 인정합니다.