기술 요약: MedCTA – 임상 도구 에이전트를 위한 벤치마크

문제 정의

현재의 의료 AI 평가는 주로 정적 인지(예: 이미지 분류)나 단일 턴 질의응답(VQA)에 집중되어 있습니다. 멀티모달 에이전트가 일반 도메인에서 계획 수립 및 도구 사용 능력을 갖추어 가고 있음에도 불구하고, 기존의 의료 벤치마크는 **다단계 임상 워크플로(multi-step clinical workflows)**의 신뢰성을 평가하는 데 실패하고 있습니다. 임상 환경에서의 의사결정은 본질적으로 반복적이고 멀티모달하며, 방사선 이미지, 병리 슬라이드, 보고서 및 외부 지식의 통합을 필요로 합니다.

본 논문은 중요한 격차를 식별합니다. 기존의 평가는 종종 최종 답변의 정확도와 에이전트로서의 역량을 혼동합니다. 모델은 필요한 중간 단계(예: 도구 선택, 증거 근거 설정, 프로토콜 준수)를 실행하는 데 실패하면서도, 추측이나 사전 지식(priors)에 의존하여 올려 정답을 맞힐 수 있습니다. 결과적으로, 현실적이고 단계가 암시된 임상 과업에서 계획 실패, 도구 모집 오류, 그리고 롤아웃 불안정성을 파악할 수 있는 가시성이 부족합니다.

방법론

1. 벤치마크 설계: MedCTA

저자들은 **임상 전문가가 검증한, 단계가 암시된 과업(step-implicit tasks)**에 대해 의료 도구 에이전트를 평가하도록 설계된 MedCTA를 소개합니다. 전통적인 VQA와 달리, MedCTA 과업은 에이전트가 도구의 순서나 시퀀스를 명시적으로 전달받지 않은 상태에서 임상 질의를 해결하기 위해 자율적으로 도구 호출 시퀀스를 계획할 것을 요구합니다.

• 데이터 구성: 이 벤치마크는 멀티모달 입력(CT, MRI, X-ray, 조직 슬라이드, 보고서 등)에 기반한 107개의 실제 임상 과업으로 구성됩니다.
• 도구 라이브러리: 에이전트는 배포된 5개의 실행 가능한 도구 라이브러리와 상호작용합니다:
  1. OCR: 이미지/문서에서 텍스트 추출.
  2. ImageDescription: 전체적인 시각적 요약 생성.
  3. RegionAttributeDescription: 특정 바운딩 박스에서 세밀한 속성 추출.
  4. GoogleSearch: 외부 의료 지식 검색.
  5. Calculator: 기호적/수치적 계산 수행.
• 참조 궤적(Reference Trajectories): 각 과업은 도구 호출, 인자(arguments), 관찰값(observations)으로 구성된 **임상 전문가 검증 참조 궤적($\pi$)**과 쌍을 이룹니다. 이를 통해 에이전트의 중간 단계가 일관되고 증거에 근거하는지를 미세하게 평가할 수 있습니다.

2. 구축 파이프라인

데이터셋 구축은 인간 참여형 검증(human-in-the-loop)을 포함한 엄격한 반자동 파이프라인을 따릅니다:

• 질의 구축: 기존 의료 VQA 시드로부터 LMM(Large Multimodal Models)이 에이전트형 질의 초안을 작성합니다. 이후 인간 주석가가 이를 목표 지향적이고 도구 불가지론적인(tool-agnostic) 임상 요청으로 재작성하며, 자율적 계획을 강제하기 위해 절차적 힌트(예: "...을 찾기 위해 OCR을 사용하라")를 명시적으로 제거합니다.
• 궤적 구축: LMM이 초기 도구 궤적을 생성하면, 기술 주석가(실행 가능성 및 최소성 보장)와 임상 전문가(의학적 타당성 및 워크플로 정렬 검증)가 이를 정제합니다.
• 검증: 이중 레이어 검증 프로세스를 통해 궤적이 실행 가능하고, 최소한의 단계를 가지며, 임상적으로 타당함을 보장합니다.

3. 평가 지표

MedCTA는 컨트롤러의 역량과 추론의 품질을 분리하기 위해 다차원 평가 프레임워크(표 3)를 채택합니다:

• 단계별 모드(Step-by-Step Mode): 상호작용 충실도(지시 이행, 도구 선택, 인자 유효성, 요약)를 측정합니다.
• 임상 추론 모드(Clinical Reasoning Mode): 임상적 충실성(증거와의 논리적 일관성), 컨텍스트 통합(멀티모달 입력 활용), 의미적 완전성(필요한 소견의 포괄성)을 평가합니다.
• 결과 모드(Outcome Mode): 목표 정확도(Gacc), 즉 최종 임상 결론의 정확도를 측정합니다.

4. 실험 설정

저자들은 107개 과업에 대해 18개의 대규모 언어 모델(GPT-5, Claude, Gemini, Qwen, Llama, DeepSeek 제품군 포함)을 벤치마킹하였으며, 총 1,926개의 자율 롤아웃을 수행했습니다. 평가는 OpenCompass 하네스와 Lagent 프레임워크를 사용하여 ReAct 스타일의 프롬프팅으로 진행되었습니다.

주요 결과

1. 자율 설정에서의 낮은 성능

최첨단 모델들조차 자율적인 에이전트 환경에서는 크게 고전하고 있습니다. 어떤 모델이 달성한 최고 **목표 정확도(Gacc)**는 31.54%(GPT-5.4)에 불과합니다. 강력한 오픈 소스 모델(예: Qwen3-8B)은 27.80%를 기록했습니다. 어떤 모델도 엄격한 궤적 성공(완벽한 단계별 실행)에서 0이 아닌 수치를 달성하지 못했습니다.

2. "컨트롤러 격차(The Controller Gap)"

핵심적인 발견은 자율 실행과 골드 스탠다드 도구 라우팅(에이전트에게 올바른 다음 도구가 주어지되 인자와 최종 답변은 직접 생성해야 하는 상황) 사이의 큰 성능 차이입니다.

• 골드 스탠다드 라우팅 하에서, GPT-5.4의 정확도는 31.54%에서 **49.50%**로 상승했습니다.
• Claude-opus-4-6는 31.32%에서 **66.40%**로 향상되었습니다.
• 이는 현재 모델들이 상당한 잠재적 임상 추론 능력을 갖추고 있음에도 불구하고, 컨트롤러 실패(프로토콜 불안정성, 조기 중단, 잘못된 도구 모집)로 인해 그 능력을 신뢰성 있게 인출하지 못하고 있음을 나타냅니다.

3. 실패 모드

롤아웃 진단 분석 결과, 실패는 프로세스 초기 단계에서 발생합니다:

• 프로토콜/API 오류: 64.2%의 에피소드가 프로토콜 또는 API 처리 오류를 겪습니다.
• 과소 호출(Under-calling): 99.2%의 롤아웃이 참조 궤적에 비해 조기에 중단(under-call)됩니다.
• 근본 원인: 첫 번째 실패의 58.3%는 프로토콜/API 처리에서, 41.6%는 도구 선택에서 발생합니다. 모델들은 올바른 증거를 합성하는 과정에서 실패하기보다, 충분한 증거를 수집하기도 전에 실패하는 경우가 많습니다.
• 증거 표류(Evidence Drift): 질적 분석에 따르면 모델들은 종로 추출된 시각적 증거(예: OCR 결과)를 무시하고 광범위한 의료적 사전 지식으로 회귀하거나 소견을 환각(hallucinate)하는 경향이 있습니다.

4. 인지 vs 에이전시(Perception vs. Agency)

도구 상호작용을 제거했을 때(백본 전용 VLM 평가), 성능은 현저히 높았습니다(예: GPT-5.4는 60.74% Gacc 달성). 이는 단일 턴에서 의료적 내용을 인식하는 것이 다단계 임상 워크플로를 계획하는 것보다 훨씬 쉽다는 점을 확인시켜 줍니다.

의의 및 주장

본 논문은 MedCTA를 단순한 리더보드 벤치마크가 아니라, 임상적으로 근거 있는 에이전트를 감사하고 개선하기 위한 진단 도구로 포지셔닝합니다.

• 역량의 분리: MedCTA는 컨트롤러 신뢰성(도구 선택, 프로토콜 준수)과 근거 기반 임상 추론(증거 통합)을 성공적으로 분리합니다. 결과는 현재 의료 AI의 한계가 근본적인 의료 지식의 부족보다는 컨트롤러의 불안정성에 의해 주로 발생함을 시사합니다.
• 정적 QA를 넘어: MedCTA는 강력한 백본 인지 능력이 신뢰할 수 있는 에이전트 행동으로 직결되지 않음을 보여줍니다. 계획을 세우고, 도구를 선택하며, 여러 단계에 걸쳐 증거 일관성을 유지하는 능력은 여전히 해결되지 않은 과제입니다.
• 진단적 가치: 구체적인 실패 모드(예: 조기 중단, 의미적 표류, 프로토콜 파손)를 식별함으로써, MedCTA는 더 견고한 컨트롤러 설계와 더 나은 증거 준수 추론 메커니즘의 필요성을 강조하며 향-연구를 위한 로드맵을 제공합니다.

저자들은 강력한 모델들이 존재함에도 불구하고, 신뢰할 수 있는 임상 도구 사용은 여전히 해결되지 않은 문제이며, MedCTA가 신뢰할 수 있고 배포 가능한 의료 AI 에이전트를 향한 발전을 이끌어낼 필수적인 테스트베드를 제공한다고 결론짓습니다.