Structured Spectral Graph Representation Learning for Multi-label Abnormality Analysis from 3D CT Scans

기술 요약: 3D CT 스캔의 다중 라벨 이상 징후 분석을 위한 구조적 스펙트럼 그래프 표현 학습

문제 정의
흉부 CT 검사의 양이 증가함에 따라 방사선 전문의를 보조할 자동화 도구가 필요해지고 있습니다. 다중 라벨 분류는 임상 의사 결정 지원을 위해 매우 중요하지만, 볼륨 데이터에 내재된 복잡한 공간적 관계와 병변의 광범위한 변동성으로 인해 여전히 도전적인 과제입니다. 기존의 접근 방식들은 구체적인 한계에 직면해 있습니다: 3D 합성곱 신경망(CNN)은 종종 장거리 의존성을 포착하는 데 어려움을 겪으며, 비전 트랜스포머(ViT)는 경쟁력 있는 성능을 내기 위해 대규모의 도메인 특화 데이터셋에 대한 광범적인 사전 학습이 필요한 경우가 많습니다. 또한, 많은 기존의 2.5D 방식(슬라이스를 독립적으로 처리하거나 시퀀스로 처리하는 방식)은 볼륨 내의 공간적 연속성과 슬라이스 간 의존성을 명시적으로 모델링하지 못하는 경점이 있습니다.

방법론: CT-SSG
저자들은 3D CT 볼륨을 구조적 그래프로 표현하는 2.5D 프레임워크인 CT-SSG(Structural Spectral Graph for Computed Tomography)를 제안합니다. 이 아키텍처는 네 단계로 진행됩니다:

1. 특징 초기화(Feature Initialization): 입력된 3D 볼륨은 인접한 축상 슬라이스의 $N$개 비중첩 삼중항(triplets)으로 분할됩니다. 각 삼중항은 로컬 슬라이스 간 맥락을 포착하기 위해 2D ResNet-18 백본에 의해 독립적으로 처리되어 압축된 임베딩을 생성합니다. 이 방식은 계산 비용이 많이 드는 전체 3D 합성곱을 사용하지 않고도 국소적인 슬라이스 간 맥락을 포착합니다.
2. 그래프 구축(Graph Construction): 볼륨은 각 노드 $v_i$가 축상 슬라이스 삼중항을 나타내는 그래프 $G=(V, E)$로 모델링됩니다. 에지는 미측-두측(caudal-cranial, z축) 방향의 물리적 거리에 따라 노드를 연결합니다. 에지 가중치는 삼중항 간 거리와 슬라이스 간격의 함수로 정의되어, 모델이 공간적 관계를 인코딩할 수 있도록 합니다. 저자들은 완전 연결(fully connected) 구조와 특정 수용 영역 크기 $q$ 내로 연결이 제한되는 희소 토폴로지(sparse topologies)를 모두 탐색합니다.
3. 스펙트럼 도메인 메시 전달(Spectral Domain Message Passing): 환자 간의 해부학적 위치 변동성을 처리하기 위해, 모델은 체비쇼프 그래프 합성곱(Chebyshev graph convolutions)에 기반한 스펙트럼 모듈을 채택합니다. 고정된 국소 이웃을 집계하는 공간적 그래프 합성곱과 달리, 스펙트럼 합성곱은 그래프 라플라시안의 다항식 근사를 사용하여 푸리에 도메인에서 작동합니다. 이를 통해 모델은 계층적 특징 표현과 장거리 해부학적 관계를 포착하는 동시에 환자 간 변동성에 대해 강건함을 유지할 수 있습니다. 이 모듈은 축상 위치 정보를 유지하기 위한 '삼중항 축상 슬라이스 위치 임베딩(Triplet Axial Slice Positional Embeddings)'을 포함하며, 정규화 레이어가 있는 잔차 연결(residual connections)을 활용합니다.
4. 분류(Classification): 업데이트된 노드 표현은 평균 풀링(mean pooling)을 통해 집계되어 전역 볼륨 임베딩을 생성하며, 이는 바이너리 교차 엔트로피(Binary Cross-Entropy) 손실을 사용하여 여러 이상 징후의 존재를 예측하는 분류 헤드로 전달됩니다.

주요 기여
본 논문은 다섯 가지 주요 기여를 설명합니다:

1. CT-SSG 프레임워크: 삼중항 축상 슬라이스의 그래프로서 3D CT 볼륨을 모델링하고, 스펙트럼 도메인 GNN 모듈 내에서 삼중항 축상 슬라이스 위치 임베딩과 에지 가중치 전략을 통합한 새로운 시각적 인코더를 제안합니다.
2. 교차 데이터셋 일반화: CT-RATE(터키) 데이터셋으로 학습하고 미국(RAD-ChestCT) 및 프랑스(CT-HCL)의 독립적인 데이터셋으로 평가했을 때 강력한 일반화 성능을 입증했습니다. 또한 흉부에서 복부 CT 스캔으로의 전이 가능성도 보여주었습니다.
3. 포괄적인 절제 연구(Ablation Studies): 모델의 깊이, 하이퍼파라미터, 그래프 토폴로지(희소 vs 완전 연결), 에지 가중치 및 연결 패턴에 대한 체계적인 평가를 수행했습니다. 연구 결과, 국소 이웃을 가진 희소 토폴로지와 단일 스펙트럼 레이어가 최적의 성능을 낸다는 것을 확인했습니다.
4. 보고서 생성으로의 전이: CT-SSG를 자동화된 방사선 보고서 생성을 위한 시각적 인코더로 평가하여, 학습된 표현이 다운스트림 텍스트 생성 작업에 효과적임을 입로 증명했습니다.
5. 복부 CT로의 전이: 복부 CT 이상 징후 분류를 위한 저데이터 환경에서의 접근법을 검증하였으며, 3,750개 미만의 샘플이 있는 경우 흉부 사전 학습된 백본이 처음부터 지도 학습을 하는 것보다 우수함을 보여주었습니다.

실험 결과
모델은 CT-RATE 데이터셋(21,304명)에서 평가되었으며, 3D CNN, 3D 트랜스포머(ViT3D, ViViT, Swin3D) 및 기타 2.5D 방식(CT-Net, CT-Scroll)과 비교되었습니다.

• 성능: CT-SSG는 CT-RATE 테스트 세트에서 **57.18%**의 매크로 F1-Score를 달성하여, 가장 우수한 베이스라인(CT-Scroll, 54.30%)을 능가했으며 3D 트랜스포머 및 CNN 대비 유의미한 이득을 보였습니다.
• 일반화: 교차 데이터셋 평가에서 CT-SSG는 RAD-ChestCT 및 CT-HCL 모두에서 F1-Score, AUROC, mAP 항목에서 일관되로 가장 높은 순위를 차지하여 임상 분포 차이에 대한 강건성을 입증했습니다.
• 절제 연구 결과:
  • 토폴로지: 희소 그래프 토폴로지(수용 영역 $q=16$)가 완전 연결 토폴로지보다 우수한 성능을 보였으며, 이는 국소적 상호작 작용으로 집계를 제한하는 것이 단거리 의존성을 더 잘 포착함을 시사합니다.
  • 깊이: 단일 스펙트럼 레이어가 최상의 결과를 냈으며, 이는 이 작업에 깊은 그래프 구조가 반드시 필요하지 않음을 의미합니다.
  • 필터 크기: 희소 그래프에서는 체비쇼프 필터 크기 $K=3$이 최적이었던 반면, 완전 연결 그래프에서는 높은 $K$ 값에서 수익 체감 현상이 나타났습니다.
  • 강건성: 모델은 z축 이동 및 가우시안 노이즈 섭동에 대해 강건함을 유지했습니다.
• 다운스트림 작업: 보고서 생성에서 CT-SSG는 38.72%의 F1-Score(임상적 효능)를 달축하여, ViViT(27.54%) 및 ResNet3D(25.45%)를 크게 앞질렀습니다. 복부 CT 전이에서는, 동결된 흉부 사전 학습 가중치에 대한 선형 프로빙(linear probing)이 저데이터 환경에서 처음부터 시작한 지도 학습보다 우수한 성능을 보였습니다.

의의 및 주장
저자들은 CT-SSG가 2D와 볼륨 모델링 사이를 잇는 유연하고 일반적인 패러다임을 제공한다고 주장합니다. CT 볼륨을 구조적 그래프로 표현함으로써, 이 방법은 이웃 정의와 에지 가중치를 명시적으로 제어하며, 이는 트랜스포머의 조밀한 연결성에 대한 물리적으로 근거 있는 대안을 제공합니다. 본 연구는 명시적인 구조적 사전 지식(예: 국소적 슬라이스 간 연결성)이 3D 추론을 위한 효과적인 귀납적 편향(inductive bias) 역할을 하여, 3D 트랜스포머에 비해 낮은 계산 복잡도로 경쟁력 있는 성능을 달성할 수 있음을 시사합니다. 저자들은 CT-SSG를 광범한 3D 의료 영상 작업(이상 징후 탐지 및 보고서 생성 포함)에 적합한 다재다능한 백본으로 포지셔닝하며, 이를 위해 광범한 도메인 특화 사전 학습이 필수적이지 않음을 강조합니다.