기술 요약: MedAction: 능동적 다턴 임상 진단 LLM 을 향한 접근

1. 문제 정의

현재 의학 분야의 대규모 언어 모델 (LLM) 은 주로 정적 단일 턴 벤치마크 (예: MedQA, MedMCQA) 에서 평가되는데, 여기서는 실험실 검사, 영상, 활력 징후를 포함한 완전한 환자 기록이 처음부터 제공됩니다. 이러한 설정은 진단이 능동적이고 반복적인 과정인 실제 임상 실무를 지나치게 단순화합니다. 임상가는 주호소와 신체 검사라는 불완전한 정보로 시작하여, 불확실성을 해소하기 위해 검사를 반복적으로 지시하고, 그 결과를 해석하며, 여러 턴에 걸쳐 감별 진단 (DDx) 을 점진적으로 좁혀갑니다.

저자들은 중요한 격차를 지적합니다. 기존 모델들은 완전한 정보를 바탕으로 추론하도록 훈련되었지만, 진화하는 부분적 증거 하에서 행동할 능력은 부족합니다. 최근 연구 (Qiu et al., 2025) 는 최첨단 모델들 (에이전트 및 전문 모델 포함) 이 능동적 진단 과제에서 평가될 때 성능이 급격히 저하됨을 강조합니다. 체계적인 분석을 통해 이 논문은 현재 LLM 들에서 반복적으로 나타나는 세 가지 실패 모드를 식별했습니다:

1. 근거 없는 검사 지시: 모델들이 명시된 가설과 명확한 연결 없이 검사를 지시하며, 사례별 임상적 추론이 부족합니다.
2. 불안정한 진단 업데이트: 모델들이 새로운 증거에 기반하여 감별 진단을 적절히 업데이트하지 못합니다. 모순되는 데이터에도 불구하고 초기 가설에 경직적으로 집착하거나, 관련 없는 진단들 사이를 불안정하게 오가기도 합니다.
3. 저하된 다턴 일관성: 상호작용이 길어질수록 모델들은 지시된 검사, 획득된 결과, 해결되지 않은 불확실성을 놓치게 되어 더 긴 문맥에서 일관성이 떨어집니다.

2. 방법론: MedAction 파이프라인

이러한 결함을 해결하기 위해 저자들은 공개된 의학 문헌 (PMC 사례 보고서) 에서 고품질 다턴 능동적 진단 훈련 데이터를 자동으로 구축하는 프레임워크인 MedAction을 소개합니다. 파이프라인은 세 단계로 구성됩니다:

1 단계: 임상 환경 구축

원시 사례 보고서는 상호작용 가능한 임상 환경 ($E$) 으로 변환됩니다. LLM 은 다음을 추출합니다:

• 초기 관찰 ($o_1$): 주호소, 병력, 신체 검사.
• 검사 메뉴 ($M$): 해당 사례에 문서화된 이용 가능한 검사들의 집합.
• 오라클 함수 ($f$): 지시된 검사에 대한 문서화된 결과를 반환하거나, 소스 텍스트에 존재하지 않을 경우 UNAVAILABLE 로 표시하는 함수로, 부분 관측 가능성을 시뮬레이션합니다.

2 단계: 다턴 추론 - 행동 궤적 증류

최첨단 교사 LLM 들이 이러한 환경과 상호작용하여 진단 궤적을 생성합니다. 완전한 정보를 가정하는 표준 사고의 사슬 (CoT) 과 달리, MedAction 은 각 턴에서 명시적인 추론 - 행동 패턴을 강제합니다:

1. 분석: 신뢰도 추정치를 포함한 순위 매겨진 감별 진단 ($b_t$) 생성.
2. 식별: 상위 가설들을 구분하는 핵심 잔여 불확실성 ($p_t$) 명시.
3. 선택: 불확실성에 근거하여 검사 ($a_t$) 선택.
4. 관찰: 오라클로부터 결과 ($r_t$) 수신.

다양성을 극대화하기 위해 파이프라인은 트리 구조 샘플링을 활용하여 기존 궤적의 중간 상태로부터 분기된 롤아웃을 시작함으로써, 동일한 증거 상태로부터 여러 유효한 진단 전략을 포착합니다.

3 단계: 지식 그래프 기반 필터링

고품질 데이터를 증류하기 위해 저자들은 의료 지식 그래프 (PrimeKG 및 ClinGraph) 에 기반한 두 가지 지표를 제안하여 궤적을 필터링합니다:

• 질병 궤적 일관성 (DTC): 모델의 현재 최상위 가설과 정답 진단 사이의 PrimeKG 상 최단 경로 거리를 측정합니다. 정답으로 수렴 (DTC 감소) 하는 궤적은 유지됩니다. 최종적으로 수렴하는 부분적으로 올바른 궤적은 유지되고, 발산하는 궤적은 제거됩니다.
• 추론 - 행동 일관성 (RAC): 지시된 검사들이 ClinGraph 상에서 감별 진단에 의미 있는 변화를 일으켰는지 측정합니다. 증거 기반의 신념 업데이트가 이루어졌는지 검증합니다. 수집된 증거와 무관하게 가설이 변경된 턴은 제거됩니다.

이 과정을 통해 2,896 개의 PMC 사례에서 유래한 32,681 개의 궤적로 구성된 MedAction-32K 데이터셋이 생성됩니다.

3. 주요 기여

1. 새로운 정의 및 실패 분석: 이 논문은 임상 진단을 반복적 검사 지시가 포함된 다턴 능동적 설정으로 재정의하고, 현재 모델의 한계를 설명하는 세 가지 구체적인 실패 모드 (근거 없는 지시, 불안정한 업데이트, 일관성 저하) 를 식별합니다.
2. 데이터셋 구축 및 지표: 저자들은 트리 구조 증류 파이프라인을 도입하고 MedAction-32K(훈련 세트) 와 더 긴 궤적이 필요한 희귀 질환 사례 300 건으로 구성된 테스트 세트 MedAction-300 Hard를 공개합니다. 또한 엄격한 데이터 필터링 및 평가를 위한 DTC 와 RAC 지표를 제안합니다.
3. 효율적이고 효과적인 모델: MedAction-32K 로 80 억 파라미터 모델 (II-Medical-8B) 을 미세 조정한 결과, 오픈소스 모델 중 능동적 진단 벤치마크에서 최첨단 성능을 달성했습니다. 이는 모델 규모 자체보다 고품질 궤적 데이터가 더 큰 향상을 이끈다는 것을 보여줍니다.

4. 실험 결과

저자들은 80 억 파라미터 모델 (II-Medical-8B SFT) 을 오픈소스 일반 모델 (예: Qwen-QwQ 32B), 폐쇄형 모델 (예: GPT-5.4, OpenAI-o3-mini), 그리고 의학 도메인 모델 (예: MedGemma 27B, Baichuan-M3 235B) 과 비교 평가했습니다.

• 성능: MedR-Bench와 큐레이션된 MedAction-300-Hard벤치마크에서 MedAction 으로 훈련된 80 억 파라미터 모델은 오픈소스 모델 중 가장 높은 진단 정확도를 달성했으며, 2,350 억 파라미터 Baichuan-M3 교사 모델보다 우수한 성과를 보였습니다.
• 검사 추천: 모델은 검사 지시에서 일관되게 높은 정밀도와 재현율을 보여주어, 기본 모델에서 관찰된 "근거 없는 검사 지시" 실패 모드를 해결했습니다.
• 어블레이션 연구:
  • 골드 vs 증류: 사례 보고서에서 직접 재구성된 "골드" 궤적만으로 훈련하는 것은 추론 능력을 향상시키지 못했습니다. 환경 상호작용 증류가 필수적이었습니다.
  • 형식 유연성: 소량의 자유 형식 궤적 (10%) 을 혼합하면 경직된 출력 스키마에 대한 과적합을 방지하고 검사 추천의 질을 향상시켰습니다.
  • 다양성: 다중 교사 다양성 (GPT 및 Baichuan 교사 결합) 과 다중 분기 샘플링은 저품질 궤적이 필터링될 경우 성능을 크게 향상시켰습니다.
  • 필터링 전략: 제안된 DTC+RAC 필터링은 단순한 "정확도만" 필터링보다 우수했습니다. 부분적으로 올바른 궤적에서 유용한 중간 추론을 복원하고 근거 없는 행동을 줄여 데이터 효율성과 확장성을 향상시켰습니다.

5. 의의 및 주장

이 논문은 현재 의학 LLM 의 핵심 결손이 부분적 증거 하에서의 행동에 대한 훈련 부족이라고 주장합니다. 정적 질문 - 답변에서 능동적 다턴 진단 시뮬레이션으로 전환함으로써, MedAction 은 모델들이 어떤 정보를 수집할지 순차적으로 결정하고 가설을 어떻게 업데이트할지 결정하는 능력을 갖추게 합니다.

저자들은 이 작업에서 데이터의 품질과 구조가 단순히 모델 규모보다 더 중요하다고 강조합니다. 신중하게 증류되고 필터링된 다턴 궤적으로 훈련된 그들의 80 억 파라미터 모델은 2,350 억 및 270 억 파라미터 모델을 포함한 훨씬 더 큰 모델들을 능가하며, 최상위 폐쇄형 모델의 성능에 근접합니다. 이 연구는 의학 진단의 반복적 특성을 진정으로 반영하는 임상 의사결정 지원 도구 개발을 위한 기초 프레임워크를 제공하며, 강화학습 기반 후속 훈련 접근법으로 확장될 잠재력을 가지고 있습니다.