기술 요약: CORTEX – 신뢰할 수 있는 3D 흉부 CT MLLM을 위한 구조적 추론 벤치마크

1. 문제 정의

현재 의료 영상 분야의 멀티모달 거대 언어 모델(MLLM)은 주로 중간 단계의 명시적 추론 없이 입력을 정답으로 매핑하는 "직접 응답(direct response)" 패러다임에 의존하고 있습니다. 연쇄 사고(Chain-of-Thought, CoT) 추론이 중간 단계를 생성하기 위해 채택되어 왔으나, 기존의 구현 방식은 대부분 자유 형식(free-form)(제약 없는 자연어)입니다. 이는 다음과 같은 심각한 위험을 초래합니다:

• 검증 가능성 결여: 자유 형식의 추적 과정은 구조와 깊이가 매우 다양하여, 모델이 체계적인 임상 논리에 따라 정답에 도달했는지 아니-면 우연한 환각(hallucination)에 의한 것인지 감사하기 어렵습니다.
• 임상적 맥락의 부재: 기존의 3D 흉부 CT 질의응답(QA) 데이터셋(예: CT-RATE)은 밀집된 방사선 보고서를 정답 위주의 쌍으로 축소시키며, 임상의가 감별 진단에 의존하는 환자 병력 및 검사 적응증을 누락시키는 경우가 많습니다.
• 평가 격차: 현재의 벤치마크는 최종 정답의 정확도만을 기준으로 모델을 총체적으로 평가하며, 개별 진단 단계의 타당성을 검증하는 프로토콜이 부족합니다.
• 구조적 결핍: 기존의 3D 흉부 CT MLLM 중에는 구조화된, 방사선 전문의에게 영감을 받은 추론 프레임워크를 활용하는 모델이 없으며, 이는 이러한 모델을 훈련하는 데 필요한 지도 데이터와 이를 평가하는 데 필요한 프로토콜 모두의 공백을 남깁니다.

2. 방법론

저자들은 CT-RATE 데이터셋(환자 1,304명, 검사 3,039건, QA 쌍 76,177개)으로부터 구축된 CORTEX(Clinically Organized Reasoning and sTructured EXplanation)를 소개합니다. 방법론은 세 단계의 파이프라인을 따릅니다:

A. 데이터 전처리 및 맥락 통합

• 재구조화: 기본 CT-RATE 카테데리를 세 가지 추론 유형인 개방형(open-ended, oe), 폐쇄형(closed-ended, ce), **보고서 생성(report generation, rg)**으로 재분류합니다.
• 맥락 근거 설정(Context Grounding): 파이프라인은 환자 병력 또는 검사 이유와 같은 임상적 맥락을 질문에 다시 부착합니다. 기본 코퍼스에서 48.1%의 사례가 이러한 맥락을 포함하고 있었으며, 이들은 진단을 소견과 증상 간의 상호작용에 근거하도록 쿼리와 결합됩니다.

B. 구조적 추론 생성

자유 형식의 생성 대신, 시스템은 임상의가 설계한 프롬프트에 의해 유도되는 최첨단 대규모 언어 모델(LLM)을 사용하여 추론 추적(reasoning traces)을 합성합니다. 각 추적은 방사선 전문의의 가설-연역적 워크플로우를 모방한 엄격한 4단계 분해 과정을 거치도록 강제됩니다:

1. 과업 이해(task understanding, tu): 질문, 검사 유형 및 임상 맥락을 재진술하여 과업을 고정합니다.
2. 시각적 관찰(visual observation, vo): 해부학적 구조별로 정리된 보고서의 소견(시각적 볼륨 증거의 대리물)을 서술합니다. 결정적으로, 질문과 관련된 해부학적 구조로 관찰 범위를 제한하고 존재하지 않는 특징에 대한 허위 사실 생성을 방와합니다.
3. 진단적 추론(diagnostic reasoning, dr): 후보 가설을 형성하고, 관찰 단계에서 인용된 증거를 사용하여 가설을 수용하거나 기각함으로써 감사 가능한 결정 경로를 생성합니다.
4. 답변 합성(answer synthesis, as): 참조값과 일치하는 간결한 근거와 최종 답변을 제공합니다.

C. 품질 검증 및 추적 선택

고품질의 지도 데이터를 보장하기 위해 엄격한 필터링 프로세스가 적용됩니다:

• 규칙 기반 게이트: 추적은 반드시 네 가지 단계 태그(<task>, <observation>, <reason>, <answer>)를 올바른 순서로 포함해야 합니다.
• 루브릭 기반 점수 산정: LLM 판독기가 임상의가 설계한 다섯 가지 루브릭에 따라 생존한 추적을 점수화합니다:
  1. 과업 이해
  2. 관찰 충실도
  3. 가설 평가
  4. 추론 논리
  5. 정답 정확성
• 선택 전략: "과업 이해"와 "정답 정확성"은 하드 게이트(8~10점 요구) 역할을 합니다. 나머지 추적들은 나머지 세 가지 루브릭의 평균 점수에 따라 순위가 매겨집니다. 각 질문에 대해 모든 모델/온도 설정 중 가장 높은 점수를 받은 단일 추적만을 유지합니다.
• 전문가 검증: 무작위로 추출된 1,000개의 질문에 대해 세 명의 전문의(보드 인증 방사선 전문의)가 독립적으로 검토를 수행하였으며, 정답 여부에 대해 93%의 평가자 간 일치도를 달려 자동 루브릭 시스템의 타당성을 입증했습니다.

3. 주요 기여

1. 방사선 전문의에게 영감을 받은 추론 프레임워크: CORTEX는 3D 흉부 CT 해석을 네 가지 임상적 단계로 구조화하여, 증거와 가설이 처리되는 방식을 임상 워크플フロー와 일치하도록 제약합니다.
2. 임상 맥락 근거 설정: 데이터셋은 환자 병력과 검사 적응증을 질문과 추론 과정 모두에 통합하여, 임상적 양상에 근거하여 진단을 내림으로써 환각 현상을 줄입니다.
3. 임상의 설계 평가 프로토콜: 다섯 가지 루브릭 프로토콜은 최종 답변뿐만 아니라 각 진단 단계를 개별적으로 점수화합니다. 이 프로토콜은 본 연구에서 벤치마크를 검증하는 데 사용되었으나, 향후 추론 모델을 평가하기 위한 용도로도 설계되었습니다.
4. 대규모 구조화된 데이터셋: 저자들은 190만 개 이상의 생성된 후보군 중에서 선별된 76,177개의 검증된 추론 추적(개방형 64,224개, 폐쇄형 8,914개, 보고서 생성 3,039개)을 구축하였습니다.

4. 결과 및 데이터셋 통계

• 생성 규모: 파이프라인은 다섯 가지 온도 설정에서 샘플링된 다섯 가지 최첨단 LLM(MedGemma 27B, Qwen-3 32B, Baichuan-M2 32B, Gemini-3-Flash, Gemini-3.1-Flash)을 활용하여 190만 개 이상의 후보 추적을 생성했습니다.
• 최종 구성: 최종 데이터셋은 76,177개의 추적을 포함합니다.
• 검증: 자동 루브릭 점수 산정 결과, "과업 이해"와 "정답 정확성"은 일관되게 높은 점수(8~10점)에서 포화 상태를 보였던 반면, "관찰 충실도", "가설 평가", "추론 논리"는 순위 지정에 필요한 변동성을 제공했습니다.
• 인간 검증: 전문가(방사선 전문의) 검토 결과, 선택된 추적의 높은 품질이 확인되었으며 정답 여부에 대해 93%의 일치도를 보였습니다.

5. 의의 및 범위

본 논문은 CORTEX를 훈련된 모델이 아니라, 신뢰할 수 있는 3D 흉부 CT MLLM 개발을 가능하게 하는 기초 자원으로 규정합니다.

• 격차 해소: CORTEX는 추론 능력을 갖춘 3D CT MLLM의 발전을 가로막는 두 가지 주요 장애물, 즉 구조화된 추론 지도 데이터의 부재와 추론 특화 평가 프로토콜의 부재를 해결합니다.
• 패러다임의 전환: 총체적인 답변 평가에서 단계별 검증으로 이동함으로써, CORTEX는 방사선 AI를 해석 가능하고 감사 가능하게 만들어 진단이 스캔의 특정 증거에 추적될 수 있도록 하는 것을 목표로 합니다.
• 향후 과제: 저자들은 현재의 작업이 벤치마크의 구축과 검증에 집중되어 있음을 명시적으로 밝히고 있습니다. 다음 단계는 이 데이터셋을 사용하여 최초의 추론 가능 3D 흉부 CT MLLM을 훈련하고, 제안된 단계별 프로토콜을 사용하여 이를 평가하는 것입니다. 데이터셋과 평가 코드는 향-후 연구를 촉진하기 위해 공개적으로 제공됩니다.