기술 요약: RadioAI – 다중 모드 의료 영상 분류를 위한 물리 기반의 해석 가능한 딥러닝

문제 정의

본 논문은 전 세계적인 영상의학과 전문의 부족과 의료 영상량의 급증으로 인한 진단 병목 현상을 다룬다. 딥러닝은 단일 모드 작업에서 전문의 수준의 성능을 달-성했으나, 기존 시스템들은 다음과 같은 세 가지 결정적인 한계를 지닌다:

1. 단일 모드 설계: 대부분의 아키텍처는 영상 모드 간의 근본적인 물리적 차이(CT의 X선 감쇠, MRI의 핵 스핀 이완, 초음파의 음향 역산란 등)를 무시하며, 이로 인해 단일 배포 애플리케이션 내에서 여러 모드를 아우르는 데 실패한다.
2. 사후적 해석 가능성(Post-Hoc Interpretability): 현재의 설명 가능성 방법론(예: GradCAM, LIME)은 학습 후에 적용되며 물리적 영상 현상을 참조하지 않으므로, 왜 특정 특징이 물리적 관점에서 유의미했는지에 대해 영상의학자가 검증하기 어렵게 만든다.
3. 검증되지 않은 참신함: 새로운 아키텍처 구성 요소가 그 기여도를 확인하기 위해 체계적으로 제거되는 경우가 드물며, 이로 인해 순수한 유도 편향(inductive-bias)의 이점과 하이퍼파라미터 운 사이를 구분하는 것이 불가능하다.

저자들은 본 연구가 최첨단(SOTA) 정확도를 주장하는 것이 아니라, 물리 기반의 구성 요소 설계가 경험적으로 검증 가능하다는 것을 입증하고, 해석 가능한 의료용 AI를 위한 재현 가능한 평가 프레임워크를 제공하는 것을 목표로 한다고 명시한다.

방법론

RadioAI는 세 가지 물리 기반 딥러닝 아키텍처를 통합한 다중 모드 임상 의사결정 지원 시스템이며, 통합된 Streamlit 인터페이스와 자동 모드 라우팅 "게이트키퍼(Gatekeeper)"를 갖추고 있다.

1. 데이터셋 및 전처리

• 흉부 CT: 1,000장의 이미지 (4개 클래스: 3가지 암 유형 및 정상). 3D 볼륨을 시뮬레이션하기 위해 8회 증강된 2D 슬라이스가 사용되었다.
• 뇌 MRI: 7,200장의 이미지 (4개 균형 클래스). 전처리에는 노이즈 제거, CLAHE, z-score 정규화가 포함되었다.
• 유방 초음파 (BUSI): 780장의 이미지 (3개 클래스: 양성, 악성, 정상). 전처리에는 그레이스케일 변환 및 정규화가 포함되었다.

2. 모달리티별 아키텍처

각 아키텍처는 학습 가능한 정규화 도구가 아닌 구조적 제약으로서 특정 물리적 가설을 인코딩한다:

• DPMS-LSW (폐암 CT):
  • 가설: 암 유형은 다양한 공간 척도에서의 2D 질감(texture)에 의해 구별 가능하며, 슬라이스 간 맥락(inter-slice context)은 3D 볼륨 내에서 신호를 제공한다.
  • 구조: 로컬 경로(EfficientNet-B2 + 다중 스케일 공간 주의 집중)와 글로벌 경로(ResNet-34 + 학습 가능한 슬라이스 가중치 + 트랜스포머)가 교차 주의 집중(Cross-Attention)을 통해 융합된다.
• TARNet (유방 초음파):
  • 가설: 음향 현상(감쇠, 역산처, 그림자)은 뚜렷하며 제거 가능하다.
  • 구조: 세 가지 명명된 분기(branch)로 구성된다:
    1. 감쇠 분기(Attenuation Branch): 학습 가능한 시그모이드 곡선을 통해 지수적 깊이 감쇠를 모델링한다.
    2. 역산처 분기(Backscatter Branch): 다중 스케일의 에코 발생 질감을 포착한다.
    3. 음향 그림자 분기(Acoustic Shadow Branch): 후방 음향 아티팩트를 모델링한다.
  • 해석 가능성: 음향 구성 게이트(Acoustic Composition Gate, ACG)가 이 분기들에 가중치를 할당하며, 이는 임상 레이더 차트로 시각화된다.
• MSCAF (뇌 종양 MRI):
  • 가설: 종양 유형은 질적으로 다른 공간 척도의 특징들에 의해 특징지어진다.
  • 구조: 세 가지 CNN 스케일(미세 질감, 경계 선명도, 거친 형태학)이 per-scale 교차 주의 집중을 통해 글로벌 트랜스포머 분기와 융합된다.

3. 시스템 통합

• 게이트키퍼(Gatekeeper): MobileNetV3-Small 모델이 임상의의 개입 없이 입력 스캔을 적절한 모달리티별 모델로 라우팅한다. 라우팅이 불확실할 경우 0.60의 신뢰 임계값이 오버라이드 프롬프트를 트리거한다.
• 해석 가능성 스택:
  1. 레이어 1: GradCAM 활성화 맵 (공간적, 사후적).
  2. 레이어 2: TARNet 물리 레이더 차트 (모델 내부적, 인과적, 임상 음향 용어로 표현됨).
  3. 레이어 3: 구조화된 임상 설명 템플릿 (모델 출력과 임상의 어휘를 연결하는 자연어).

4. 절제 실험 프로토콜(Ablation Protocol)

21개의 훈련된 모델에 대해 9가지 통제된 절제 실험이 수행되었다. 각 구성 요소를 하나씩 제거하여 정확도 저하를 측정함으로써, 물리 기반 설계의 필요성을 검증하였다.

주요 결과

본 연구는 홀드아웃 테스트/검증 세트에 대한 정확도와 macro-F1 점수를 보고하며, 통계적 견고성을 평가하기 위해 95% Wilson 신뢰 구간을 계산하였다.

• CT (DPMS-LSW):
  • 검증 정확도: 90.28% (4개 클래스).
  • 절제: 다중 스케일 주의 집중을 제거했을 때 **−5.56%**의 하락이 발생하여, 다중 스케일 질감 가설을 검증하였다. 글로벌 경로(슬라이스 간 맥락)는 0%의 하락을 보였는데, 이는 실제 3D 다양성이 결여된 의사-볼륨(pseudo-volumes, 증강된 2D 슬라이스)을 사용했기 때문으로 분석된다.
• MRI (MSCAF):
  • 검증 정확도: 89.62% (4개 클래스).
  • 절제: 다중 스케일 구조를 제거(SingleScale)했을 때 모든 실험 중 가장 큰 하락(−11.62%)이 발생하였으며, 비중첩 신뢰 구간을 통해 다중 스케일 공간 가설을 확인하였다. 흥미롭게도 트랜스포머 분기를 제거했을 때 정확도가 +4.26% 향상되었는데, 이는 5,600장의 제한된 데이터로 처음부터 학습된(scratch-trained) ViT가 노이즈를 추가했음을 나타낸다.
• 초음파 (TARNet):
  • 테스트 정확도: 83.76% (3개 클래스). 제한된 훈련 데이터(546장)에도 불구하고 ResNet50보다 +4.27% 높은 성능을 보였다.
  • 절제: 음향 그림자 분기를 제거했을 때 가장 심각한 하락(−7.69%)이 발생하였다. 절제 영향의 순위(그림자 > 역산처 = 감쇠)는 악성 여부를 판별하는 음향적 식별자의 임상적 위계와 일치하였다.
• 게이트키퍼(Gatekeeper): 높은 신뢰도로 스캔을 성공적으로 라우팅하였으며, 신뢰도가 0.60 미만으로 떨어질 때만 수동 오버라이드를 트리거하였다.

의의 및 주장

본 논문은 자신의 기여를 순수한 정확도 벤치마크가 아닌 측정 및 설계 검증 연구로 규정한다. 주요 주장은 다음과 같다:

1. 경험적 검증 가능성: 물리 기반의 구성 요소 설계는 경험적으로 검증 가능하다. 통제된 절제 방법론을 통해 특정 물리적 제약(예: 음향 그림자 모델링, 다중 스케일 공간 주의 집중)을 제거했을 때 통계적으로 해석 가능한 정확도 저하가 발생함을 성공적으로 입증하였다.
2. 복잡성보다 유도 편향: 결과는 "물리적 특이성"이 아키텍처의 복잡성이 아니라 해석 가능한 이점을 이끈다는 것을 시사한다. 일반적인 구성 요소(예: 제한된 데이터에 대한 scratch-trained 트랜스포머 또는 의사-볼륨에 대한 글로벌 경로)는 성능에 도움이 되지 않거나 오히려 해가 되는 경우가 많았다.
3. 통합 배포 시스템: RadioAI는 자동 모달리티 라우팅과 다층적 해석 가능성을 갖추고 CT, MRI, 초음파를 하나의 애플리케이션에서 아우르는 최초의 시스템이다.
4. 모델 내부적 설명 가능성: TARNet 레이더 차트는 사후적 픽셀 기여도 방식과 구별되는, 임상 음향 용어로 표현된 모델 내부적 설명을 제공한다.

저자들은 의사-볼륨 사용(CT), scratch-trained 트랜스포머가 도입한 노이즈(MRI), 그리고 전향적 임상 검증의 부재를 포함한 한계점을 인정한다. 이들은 배포된 Streamli 애플리케이션을 추론 결과와 절제 방법론을 독립적으로 재현할 수 있도록 돕는 연구 데모 도구로 제시한다.