TRACE: Temporal Radiology with Anatomical Change Explanation for Grounded X-ray Report Generation

기술 요약: TRACE – 해부학적 변화 설명을 포함한 시계열 방사선학(Temporal Radiology with Anatomical Change Explanation)

문제 정의
임상 방사선학은 질병의 진행, 치료 반응 및 새로운 소견을 탐지하기 위해 흉부 X선 사진의 시계열적 비교에 크게 의존합니다. 기존의 자동화된 방법들은 단일 이미지 보고서 생성과 시각적 근거 제시(visual grounding)를 발전시켜 왔으나, **시계열적 변화 탐지(temporal change detection)**라는 핵심적인 요구를 해결하지 못하고 있습니다. 현재의 접근 방식은 대개 세 가지 별개의 범주로 나뉩니다: (1) 단일 이미지 보고서 생성은 시계열적 맥락이 결여되어 있으며, (2) 시계열 분류 방법은 진행 상태를 탐지하지만 공간적 국소화 없이 레이블만을 출력하고, (3) 근거 기반 보고서 생성은 소견을 국소화하지만 시계열적 추론 없이 단일 이미지에 대해서만 작동합니다. 결과적으로, 기존의 어떤 방법도 무엇이, 어디에서, 어떻게 변했는지를 설명하는 근거 기반 보고서를 생성하기 위해 시계열 비교, 변화 분류(악화/개선/안정), 그리고 공간적 국소화를 동시에 수행하지 못합니다.

방법론
저자들은 이전(prior) 영상과 현재(current) 영상 사이의 간격 변화(interval changes)에 대해 경계 상자(bounding box) 좌표를 포함한 자연어 보고서를 생성하도록 설계된 통합 프레임워크인 TRACE(Temporal Radiology with Anatomical Change Explanation)를 소개합니다.

• 아키텍처: TRACE는 LLaVA 프레임워크를 기반으로 구축되었으며, (시계열적 인지 능력을 갖추고 흉부 X선으로 사전 학습된) 동결된 BioViL-T 비전 인코더와 대규모 언어 모델(LLM) 디코더(Vicuna-7B 또는 Mistral-7B)를 활용합니다.
• 특징 융합(Feature Fusion): 명시적인 차이 이미지(difference images)나 시계열 어텐션 모듈을 사용하는 대신, 모델은 **특징 결합(feature concatenation)**을 채택합니다. 이전 영상과 현재 영상의 특징은 공유 가중치를 사용하여 독립적으로 추출된 후, 392개의 시각적 토큰 시퀀스를 형성하도록 결합됩니다. LLM의 셀프 어텐션(self-attention) 메커니즘은 이를 통해 암묵적으로 교차 이미지 비교를 수행합니다.
• 학습 전략: 모델은 두 단계로 학습됩니다:
  1. 정렬(Alignment): MLP 프로젝터를 학습시켜 시각적 특징을 LLM 임베딩 공간에 정렬합니다.
  2. 지시어 미세 조정(Instruction Tuning): 자연어 설명과 정규화된 경계 상자 좌표(예: <box>x1,y1,x2,y2</box>)를 포함하는 타겟 토큰을 생성하기 위해 LoRA(Low-Rank Adaptation)를 사용하여 LLM을 엔드투엔드(end-to-end)로 미세 조정합니다. 학습 목표는 타겟 토큰에 대한 음의 로그 가능도(negative log-likelihood)를 최소화하는 것입니다.
• 데이터셋: 모델은 MIMIC-CXR-JPG 및 Chest ImaGenome에서 유래한 79,202개의 학습 샘플과 22,553개의 테스트 샘플로 구성된 구축된 데이터셋을 통해 학습됩니다. 이 데이터셋은 동일 환자의 연속된 검사 결과들을 쌍으로 묶고, 소견이 악화되었는지, 개선되었는지, 또는 안정적인지를 나타내는 근거 기반 시계열 주석을 포함합니다.

주요 결과

• 성능: TRACE는 까다로운 3원 분류(악화, 개선, 안정) 작업에서 48.0%의 정확도를 달성했습니다. 또한 90.2%의 근거 정확도(IoU > 0.5)와 높은 임상적 효능 점수(RadGraph F1: 0.406; CheXbert F1: 0.432)를 보여 높은 공간적 정밀도를 입증했습니다.
• 절제 연구 (창발적 능력): 중요한 발견은 변화 탐지가 시계열 비교와 공간적 근거 제시를 공동으로 학습해야 하는 **창발적 능력(emergent capability)**이라는 점입니다.
  • 두 이미지에 모두 접근할 수 있지만 근거 제시(grounding) 감독이 없는 모델은 모든 샘플에 대해 "안정(stable)"이라고 예측하며 완전히 실패했습니다(다수 모델의 기준치인 43.8% 정확도와 일치).
  • (이전 검사 기록이 없는) 단일 이미지 모델 역시 시계열 비교를 생성하는 데 실패했습니다.
  • 저자들은 근거 제시가 의미 있는 시계열 추론을 가능하게 하기 위해 모델이 특정 해부학적 영역에 집중하도록 강제하는 필수적인 공간적 어텐션 메커니즘 역할을 한다고 가설을 세웠습니다.
• 해부학적 격차: 성능은 해부학적 부위에 따라 다릅니다. 모델은 폐 실질(lung parenchyma)의 변화(~45%)보다 심장 윤곽(cardiac silhouette, 68.8%) 및 종격동(mediastinal, 75.5%)의 변화를 더 정확하게 탐지하는데, 이는 폐 병변의 확산적이고 미묘한 특성 때문인 것으로 보입니다.
• 모델 민감도: Vicuna-7B와 Mistral-7B 간의 비교를 통해 민감도-특이도 트레이드오프를 확인했습니다. Vicuna-7B는 보수적인 "안정" 예측(높은 특이도)을 선호한 반면, Mistral-7B는 공격적인 변화 탐지(높은 민감도)를 보여주었으며, 이는 서로 다른 백본이 각기 다른 임상 배치 시나리오에 적합할 수 있음을 시사합니다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장합니다:

1. 새로운 작업 정의: 시계열 비교, 분류, 국소화를 단일 프레임워크로 통합하는 "근거 기반 시계열 변화 탐지(grounded temporal change detection)"를 도입했습니다.
2. 창발적 행동의 발견: 시계열 추론이 단순히 다중 이미지 입력만으로 발생하는 것이 아니라, 공간적 근거 제시 감독과 결합될 때만 창발된다는 것을 밝혀냈습니다. 이는 근거 제시가 시계열 분석을 위한 결정적인 귀납적 편향(inductive bias)으로 작용함을 시사합니다.
3. 데이터셋 구축: 이 새로운 작업을 체계적으로 평가할 수 있도록 근거 기반 시계열 주석이 포함된 대규모 데이터셋을 제공합니다.

저자들은 TRACE를 정밀한 공간적 맥락과 함께 간격 변화를 설명할 수 있는, 임상적으로 실행 가능한 AI를 향한 기초적인 단계로 규정하며, 이는 기존의 자동화된 방사선 시스템에는 없던 능력입니다.