논문 개요

이 논문은 복부 CT 스캔에서 발견되는 우연한 소견 (Incidental Findings, IF) 의 관리, 검출, 분류 및 보고를 자동화하기 위해 **대형 언어 모델 (LLM)**과 **시각 - 언어 모델 (VLM)**을 통합한 새로운 에이전트 프레임워크인 INFORM-CT를 제안합니다. 기존 수동 검사나 단일 VLM 기반 접근법의 한계를 극복하고, 의료 가이드라인을 준수하는 정밀하고 효율적인 자동화 시스템을 구축하는 것이 핵심 목표입니다.

1. 문제 정의 (Problem)

• 우연한 소견의 과부하: 복부 CT 스캔은 대부분 우연한 소견을 포함하며, 이는 대부분 양성일 수 있으나 임상적으로 중요한 의미를 가질 수 있습니다.
• 기존 방식의 한계:
  • 수동 검사: 방사선 전문의가 수동으로 확인하는 과정은 시간이 많이 소요되며, 판독자 간 편차 (variability) 가 존재합니다.
  • 기존 딥러닝 모델: 기존 이상 탐지 (Anomaly Detection) 나 특정 병변 분할 모델은 특정 장기나 병변에 국한되어 있으며, 복부 전체 장기에 걸친 다양한 우연한 소견을 포괄적으로 처리하는 범용 접근법이 부족합니다.
  • 단일 VLM 의 한계: 기존 시각 - 언어 모델 (예: CLIP, MERLIN 등) 은 제로샷 분류에는 유용하지만, 복잡한 진단 논리 (크기 측정, 경계 두께, 밀도 평가 등) 를 포함한 정교한 임상 가이드라인을 따르는 복잡한 작업에는 한계가 있습니다.

2. 방법론 (Methodology)

제안된 INFORM-CT 는 '계획 - 실행 (Plan-and-Execute)' 에이전트 아키텍처를 기반으로 하며, 의료 가이드라인 (PDF) 을 입력받아 자동화된 검사 프로그램을 생성하고 실행합니다.

2.1. 가이드라인 파싱 (Guideline Parsing)

• 입력: 미국 방사선학회 (ACR) 등 기관의 의료 가이드라인 PDF.
• 프로세스: LLM(GPT-4o) 과 LangChain 을 활용하여 PDF 의 텍스트, 표, 그림, 각주 등을 분석합니다.
• 출력: 의사결정 트리 (Decision Tree) 형태의 구조화된 JSON 데이터. 여기에는 검사 항목, 감지 로직, 측정 기준, 최종 권고 사항이 포함됩니다.

2.2. 계획자 - 실행자 프레임워크 (Planner-Executor Framework)

• 계획자 (Planner):
  • Claude 3.5 LLM 을 기반으로 작동합니다.
  • 파싱된 JSON 가이드라인과 미리 정의된 기저 함수 (Base Functions) 목록을 입력받아, 우연한 소견을 관리하기 위한 Python 스크립트를 생성합니다.
  • 복잡한 임상 논리 (예: "종양 크기가 3cm 이상이고 밀도가 X 이상이면 '의심'으로 분류") 를 코드로 변환합니다.
• 실행자 (Executor):
  • 생성된 Python 스크립트를 실행하여 CT 스캔 데이터를 처리합니다.
  • 기저 함수 (Base Functions) 호출:
    • 장기 분할: TotalSegmentator, nnUNet 등을 이용한 장기 및 종양 분할.
    • 측정: 종양 직경 (mm/cm), 경계 두께 (Hausdorff 거리), 회색조 강도 (HU, Hounsfield Unit) 측정.
    • 라벨링 (Labeler): MERLIN 모델 (최신 3D VLM) 을 활용하여 병변의 속성 (예: 양성, 의심, 충만 등) 을 고수준으로 분류.
• 반복적 개선: 생성된 코드가 실행 오류나 논리적 오류를 보이면, 피드백을 받아 LLM 에게 재작성을 요청하는 반복적 정제 (Iterative Refinement) 과정을 거칩니다.

3. 주요 기여 (Key Contributions)

1. 최초의 복부 전체 우연한 소견 파이프라인: LLM 과 VLM 에이전트 접근법을 기반으로 복부 전체 영역의 우연한 소견을 자동 관리하는 최초의 파이프라인을 제안했습니다. 이는 임상 가이드라인을 준수하며 자동 생성됩니다.
2. PDF 기반 프로그램 생성 및 실행: 의료 가이드라인 PDF 를 입력받아, 시각 서브루틴을 포함한 견고한 Python 프로그램을 자동 생성하고 실행하여 임상 권고 사항을 도출하는 새로운 방법론을 제시했습니다.
3. 새로운 벤치마크 및 평가 방법: 복부 CT 보고서 기반의 우연한 소견 추천을 위한 테스트 데이터 생성 방법과 새로운 벤치마크를 도입했습니다.

4. 실험 및 결과 (Experiments & Results)

• 데이터셋: 6,366 명의 환자로부터 수집된 내부 복부 CT 데이터셋을 기반으로, 간 (Liver), 췌장 (Pancreas), 신장 (Kidney) 3 개 장기에 대해 ACR 가이드라인을 적용하여 테스트했습니다.
  • 간: 168 건, 췌장: 188 건, 신장: 98 건.
• 비교 대상:
  • Random Prediction: 무작위 예측.
  • Pure MERLIN: VLM 만을 사용한 베이스라인 (MERLIN 모델).
  • INFORM-CT: 제안된 프레임워크.
• 성능 결과 (정확도 / 가중 F1 점수):
  • 간 (Liver): INFORM-CT (63.09% / 61.38) vs Pure MERLIN (12.5% / 14.33)
  • 신장 (Renal): INFORM-CT (60.0% / 61.0) vs Pure MERLIN (48.8% / 14.0)
  • 췌장 (Pancreas): INFORM-CT (41.48% / 46.32) vs Pure MERLIN (11.17% / 12.96)
  • 결론: INFORM-CT 는 순수 VLM 기반 접근법보다 모든 장기에서 정확도와 효율성 측면에서 압도적으로 우수한 성능을 보였습니다.
• 설명 가능성 (Explainability):
  • 모델이 내린 결정의 경로 (의사결정 트리) 가 실제 보고서의 근거와 일치하는지 평가한 결과, INFORM-CT 는 54.76% 의 정확도를 보인 반면, Pure MERLIN 은 4.76% 에 불과했습니다. 이는 제안된 모델이 임상적 근거를 명확히 설명할 수 있음을 의미합니다.
• Ablation Study:
  • 분할 (Segmentation) 기능을 VLM 로 대체한 모델을 테스트한 결과, 정확도가 급격히 하락했습니다 (63.09% → 20.45%). 이는 전용 분할 모델과 이미지 처리 루틴이 VLM 과 결합될 때 가장 효과적임을 보여줍니다.

5. 의의 및 결론 (Significance)

• 임상적 가치: 방사선 전문의의 업무 부담을 줄이고, 우연한 소견에 대한 일관성 있고 가이드라인 준수적인 보고를 가능하게 하여 환자 안전을 높입니다.
• 기술적 혁신: 단순한 이미지 분류를 넘어, **코드 생성 (Code Generation)**을 통해 복잡한 의료 논리를 실행 가능한 프로그램으로 변환하는 새로운 패러다임을 제시했습니다.
• 확장성: ACR 가이드라인뿐만 아니라 다양한 병원 프로토콜이나 유럽 방사선학회 (ESR) 등 다른 기관의 가이드라인도 JSON 파싱을 통해 쉽게 적용 가능합니다.
• 한계 및 향후 과제: 현재 시스템은 기반이 되는 분할 모델과 VLM 의 성능에 의존합니다. 향후 더 정교한 지역 기반 라벨링이 가능한 VLM 이 개발된다면 성능이 더욱 향상될 것으로 기대됩니다.

이 논문은 의료 영상 분석 분야에서 에이전트 기반의 자율적 진단 시스템이 실제 임상 가이드라인을 준수하며 복잡한 작업을 수행할 수 있음을 입증한 중요한 연구로 평가됩니다.