기술 요약: MedScribe – 에이전트 워크플로우를 통한 임상 기반 CT 보고서 작성

문제 제기

현재 방사선학 보고서 생성을 위한 의료용 시맨틱 - 언어 모델 (VLM) 은 3 차원 컴퓨터 단층촬영 (CT) 이미징에 적용될 때 상당한 한계에 직면해 있습니다. 기존 접근 방식은 일반적으로 전체 3D 볼륨에서 고정된 임베딩을 생성한 후 텍스트를 생성하는 방식으로, 볼륨 데이터의 전역 임베딩 압축에 의존합니다. 이러한 "단일 패스" 인코딩은 미묘한 병리학적 패턴을 왜곡하고 환각된 소견을 초래하는 정보 병목 현상을 만듭니다. 또한, 이러한 모델들은 생성된 소견을 유도한 해부학적 영역을 명시적으로 검증할 수 있는 메커니즘이 부족하여, 생성된 보고서가 근본적인 병리학적 증거와 정밀하게 대응하지 못하고 해부학적 기반이 제한적인 문제를 겪습니다. 최근 CT-RATE 와 같은 데이터셋이 3D 네이티브 모델 (예: CT-CHAT, CT2Rep) 의 개발을 가능하게 했음에도 불구하고, 이들은 여전히 ViT 기반 인코더의 제약 조건을 계승하며 볼륨 데이터에 대한 임상적 가설을 명시적으로 검증할 수 없습니다.

방법론: MedScribe 프레임워크

MedScribe 는 3D 방사선학 보고서 생성을 단일 패스 인코딩 작업이 아닌, 반복적이고 가설 주도적인 증거 수집 과정으로 재정의합니다. 추론과 행동 (ReAct) 프레임워크에서 영감을 받아, MedScribe 는 언어적 추론과 시각적 지각을 분리하는 도구 증강 에이전트로서 작동합니다.

핵심 워크플로우

1. 순차적 의사결정 과정: 전체 CT 스캔 ($V$) 을 고정된 임베딩으로 압축하는 대신, MedScribe 는 보고서 생성을 추론 단계의 시퀀스 ($T$) 로 취급합니다. $t$ 단계에서의 에이전트 상태는 $s_t = (q, E_t)$로 정의되며, 여기서 $q$는 사용자 쿼리이고 $E_t$는 누적된 증거입니다.
2. 도구 호출: 대형 언어 모델 (LLM) 은 중앙 추론 에이전트 역할을 합니다. 각 단계에서 병리학적 진단 도구 집합 ($\mathcal{A}$) 중 하나인 행동 $a_t$를 선택합니다. 이러한 도구들은 학습된 매개변수가 아니라 국소화된 볼륨 특징을 추출하는 외부 모듈입니다.
   • 특징 추출: 도구들은 TotalSegmentator 와 같은 분할 모델과 방사선학 분석을 활용하여 부피 측정, 강도 통계 (후너스 단위), 해부학적 좌표 (측도, 방향) 를 포함한 구조화된 기술자 ($f_t$) 를 생성합니다.
   • 국소 접근: CT 볼륨은 이러한 도구 호출을 통해 국소적으로만 접근되며, 전역 다운샘플링은 방지됩니다.
3. 다차원 RAG 검색: 구조화된 특징 벡터 $f_t$는 다차원 검색 증강 생성 (RAG) 공간을 쿼리하는 데 사용됩니다. 이 공간은 정량적 방사선학 기술자와 CT-RATE 참조 데이터셋의 텍스트 조각에 기반을 둡니다.
   • 시스템은 특징 근접성 (L2 거리) 을 기반으로 상위 $k$개의 유사한 참조 사례를 검색합니다.
   • 검색된 조각들은 시각 - 텍스트 매핑에 대한 근거를 제공하여, LLM 이 실제 사례에 대한 가설을 검증할 수 있게 합니다.
4. 증거 누적 및 종합: 증거 집합 $E_{t+1}$은 새로운 특징과 검색된 텍스트로 업데이트됩니다. 루프는 LLM 이 충분한 증거가 누적되었다고 판단할 때까지 (STOP 행동 발동) 계속됩니다. 마지막으로 LLM 은 최종 보고서 $r = g(q, E_T)$를 생성합니다.

운영 모드

이 프레임워크는 두 가지 명확한 모드를 지원합니다:

• MedScribe-Template: 에이전트는 중립적인 표준 보고서로 시작하여 도구를 사용하여 증거를 반복적으로 구축합니다.
• MedScribe-VLM: 에이전트는 자동화된 검토자 역할을 하며, 기본 VLM 의 초안으로 증거 집합을 초기화한 후 소견을 검증하거나 수정하기 위해 도구를 호출합니다.

주요 기여

1. 3D 보고를 위한 에이전트 프레임워크: 반복적인 도구 호출을 통해 언어적 추론과 시각적 지각을 분리하는 새로운 아키텍처로, 정적 엔드 - 투 - 엔드 인코더에서 벗어났습니다.
2. 정량적 RAG 공간: 정적 텍스트나 시각적 임베딩이 아닌 정량적 해부학적 기술자 (방사선학) 에 조건부인 다차원 검색 공간으로, 사실적 기반을 보장합니다.
3. 제로샷 성능: 프레임워크는 기반 LLM 의 작업별 미세 조정이 없이도 최첨단 결과를 달성하며, 대신 최첨단 모델 (예: Llama 3.1-8B) 의 추론 능력과 구조화된 도구 출력에 의존합니다.

실험 결과

실험은 CT-RATE(주요) 와 RadChestCT(일반화성) 데이터셋에서 수행되었으며, CT-CHAT, Gemini 2.5 Flash, MedGemma, VILA-M3 등 최첨단 VLM 들과 MedScribe 를 비교했습니다.

• 임상 정확도: MedScribe 는 평가된 18 가지 병리 중 거의 모든 병리에서 F1 점수 측면에서 병리 분류 성능이 기존 VLM 들보다 우수함을 입증했습니다. "MedScribe-Template" 구성은 일관되게 모든 기준선보다 우수한 성과를 보였습니다.
• 사실 기반성: 이 프레임워크는 특히 기존 VLM 들이 어려움을 겪었던 늑막 삼출액의 좌우 (laterality) 예측과 같은 정밀한 해부학적 추론을 크게 개선했습니다.
• Ablation 연구:
  • RAG 구성 요소를 제거하고 (원시 특징에만 의존) 정밀도가 크게 하락 (0.36 대비 0.18) 하여, 거짓 양성을 줄이기 위한 검색의 필요성을 강조했습니다.
  • 에이전트 루프를 제거하고 (모든 도구를 한 번에 제공) 성능이 저하되어 반복적 추론의 가치를 확인했습니다.
  • LLM 생성을 규칙 기반 분류기로 대체하면 분류 지표는 유지되었으나 텍스트 생성 및 좌우 예측 작업에서는 실패하여 LLM 생성의 필요성을 강조했습니다.
• 민감도: 신뢰할 수 없는 분할 (과분할) 이 있는 경우 성능 저하가 관찰되어, 파이프라인의 해석 가능성이 오류를 특정 해부학적 영역으로 국소화하여 전역적 실패를 방지함을 확인했습니다.

중요성 및 주장

본 논문은 MedScribe 가 투명한 증거 사슬을 강제함으로써 구조화된 보고를 위한 임상적으로 동기 부여된 귀납적 편향을 제공한다고 주장합니다. 데이터를 불투명한 임베딩으로 압축하는 수동적 VLM 과 달리, MedScribe 는 종합하기 전에 정량적 증거를 명시적으로 누적합니다.

저자들은 이 접근 방식이 다음과 같다고 주장합니다:

• 환각 감소: 추출된 수치적 기술자와 검색된 참조 사례에 근거하여 소견을 제시함으로써, 지지되지 않는 주장을 최소화합니다.
• 해석 가능성 향상: 실패 모드는 분할 오류나 도구 제한과 같은 특정 구성 요소로 추적 가능하여, 엔드 - 투 - 엔드 모델의 "블랙박스" 특성과는 대조적입니다.
• 확장성: 프레임워크는 확장 가능하며, 성능 향상은 도구 라이브러리의 품질과 LLM 의 추론 능력에 의해 주도됩니다. 이는 현재 대표성이 부족한 병리 (예: 간질성 폐질환) 를 위한 도구를 추가하면 직접적으로 커버리지가 향상될 것임을 시사합니다.

본 논문은 모델이 특정 증거를 위해 볼륨 데이터를 능동적으로 쿼리하는 가설 주도적 추론이 신뢰할 수 있는 3D 의료 영상 보고를 위한 필수적인 패러다임 전환을 나타내며, 광범위한 작업별 미세 조정 없이도 최첨단 결과를 달성한다고 결론지었습니다.