Improving Clinical Diagnosis with Counterfactual Multi-Agent Reasoning

1. 문제 정의 (Problem)

임상 진단은 환자가 제시한 증거를 수집하고, 가설을 형성하며, 대안적 설명에 대해 지속적으로 검증하는 복잡한 반복적 추론 과정입니다. 그러나 현재 대규모 언어 모델 (LLM) 기반 진단 시스템은 다음과 같은 한계를 겪고 있습니다.

• 고정된 증거에 대한 추론: 기존 LLM 기반 에이전트들은 고정된 임상 증거를 기반으로만 추론하며, 개별 소견이 경쟁 진단을 지지하거나 약화시키는지를 명시적으로 검증하지 않습니다.
• 편향 (Anchoring Bias): 초기 인상이나 첫 번째 가설에 과도하게 의존하여 새로운 증거가 들어와도 가설을 수정하지 못하는 '고정관념 편향'이 발생합니다.
• 해석 가능성 부족: 대부분의 시스템이 단순히 plausible 한 답변을 생성할 뿐, 왜 그 진단이 선택되었는지에 대한 검증 가능한 증거 기반 추론 경로를 제공하지 못해 임상적 신뢰도가 낮습니다.
• 다중 에이전트 시스템의 한계: 기존 다중 에이전트 프레임워크는 구조화된 토론을 시뮬레이션하지만, 고정된 상호작용 프로토콜에 의존하며 개별 임상 소견이 진단 결정에 어떻게 기여하는지 명시적으로 검증하지 못합니다.

2. 방법론 (Methodology)

저자들은 임상 교육에서 사용되는 '반사실적 질문 (Counterfactual Questioning)' (예: "만약 주요 증상이 없다면 진단은 어떻게 변할까?") 에서 영감을 받아 반사실적 다중 에이전트 진단 프레임워크를 제안했습니다. 이 프레임워크의 핵심 구성 요소는 다음과 같습니다.

A. 프레임워크 구조

1. 분류 및 차등 진단 생성 (Triage & DDx Generation):
   • Triage Agent: 사례의 주요 증상을 분석하여 가장 관련 있는 5 명 이하의 전문의 에이전트 (예: 심장내과, 신경외과 등) 를 자동 할당합니다.
   • DDx Generator: 환자에게 가장 유력한 상위 3 개 차등 진단 (Differential Diagnosis) 을 생성합니다.
2. 전문가 보고서 요약: 각 전문가 에이전트에게 해당 전문 분야에 맞춘 사례 요약본을 제공합니다.
3. 반사실적 사례 편집 (Counterfactual Case Editing, CE):
   • 각 전문가 에이전트는 할당된 진단 가설을 검증하기 위해 임상 소견을 의도적으로 수정합니다.
   • 편집 연산: 부정 (Negate), 제거 (Remove), 대체 (Replace), 약화 (Weaken), 강화 (Intensify), 추가 (Insert) 등의 연산을 통해 사례를 변형합니다.
   • 목표: 특정 소견을 변경했을 때 진단 확률이 어떻게 변하는지 관찰하여 해당 소견의 중요성을 검증합니다.
4. 반사실적 확률 간격 (Counterfactual Probability Gap, CPG):
   • 원본 사례와 편집된 사례 간의 진단 확률 차이를 정량화한 지표입니다.
   • $CPG = |P_{base} - P_{CE}|$
   • 높은 CPG 는 해당 소견이 진단에 결정적인 역할을 함을 의미하며, 이는 에이전트들이 가설을 수정하거나 다른 가설을 고려하도록 유도하는 신호로 작용합니다.
5. 다중 라운드 토론 및 최종 판단:
   • 전문가들은 CPG 신호를 바탕으로 토론을 진행하며, 지지되지 않는 가설을 도전하고 증거에 기반한 진단을 수렴합니다.
   • Judge Agent: 전문가들 간의 합의가 이루어지지 않을 경우, 가장 관련성 높은 임상 증거와 반사실적 검증 결과를 종합하여 최종 진단을 결정합니다.

3. 주요 기여 (Key Contributions)

1. 명시적 증거 검증 메커니즘 도입: LLM 기반 진단 시스템에 '만약 ~하지 않았다면?'이라는 반사실적 추론을 명시적인 증거 검증 단계로 통합하여, 고정관념 편향을 줄이고 가설 검증 과정을 투명하게 만들었습니다.
2. CPG 지표 개발: 개별 임상 소견이 진단 결정에 미치는 영향을 정량화하는 새로운 지표인 '반사실적 확률 간격 (CPG)'을 정의하고, 이를 다중 에이전트 토론의 방향성을 제어하는 신호로 활용했습니다.
3. 모델 및 데이터셋에 대한 광범위한 검증: 3 개의 임상 진단 데이터셋 (MIMIC-CDM-FI, MedCaseReasoning, ER-Reason) 과 7 개의 다양한 LLM (Llama, Qwen, MedReason, DeepSeek, GPT-5 mini 등) 을 사용하여 방법론의 일반화 능력을 입증했습니다.
4. 임상 전문가에 의한 인간 평가: 면허를 가진 의사 2 명을 대상으로 한 평가에서, 제안된 방법이 기존 Zero-shot CoT 방식보다 사실 오류가 적고, 논리적 일관성이 높으며, 임상적 신뢰도가 더 높음을 확인했습니다.

4. 실험 결과 (Results)

• 진단 정확도 향상: 제안된 방법은 3 개의 데이터셋과 7 개의 LLM 전반에 걸쳐 기존 프롬프팅 기법 (Zero-shot, Few-shot, CoT) 및 기존 다중 에이전트 기반선 (MAC, MedAgents, MDAgents) 보다 일관되게 높은 진단 정확도를 달성했습니다.
  • 특히 Llama-3.1-8B-Instruct 모델에서 Zero-shot CoT 대비 **13.2%**의 큰 성능 향상을 보였습니다.
  • 복잡하고 모호한 사례 (희귀 질환 등) 에서 성능 향상이 두드러졌습니다.
• 다중 라운드 토론 분석:
  • 토론 과정에서 전문가들이 초기 진단을 수정하는 비율이 높았으며, 특히 잘못된 진단을 수정하는 경우가 새로운 오류를 만드는 경우보다 많았습니다.
  • 반사실적 편집을 통해 추출된 증거가 진단 확률에 큰 변화를 일으켰으며, 이는 시스템이 핵심 임상 소견을 성공적으로 식별했음을 시사합니다.
• Human Evaluation:
  • 오류 및 안전성: 제안된 방법은 사실 오류 (37.5% vs 41.7%), 환각 (16.7% vs 25.0%), 임상적 해악 발생률이 낮고, 정보의 완전성이 높았습니다.
  • 신뢰도: 의사 평가자들은 제안된 방법의 추론 경로를 **66.7%**의 비율로 더 신뢰할 수 있다고 선택했습니다.

5. 의의 및 결론 (Significance)

이 연구는 AI 기반 임상 의사결정 지원 시스템의 신뢰성을 높이기 위한 중요한 걸음을 내디뎠습니다.

• 임상 교육과의 정렬: 의사가 훈련받는 방식 (반복적인 가설 검증 및 반사실적 사고) 을 기계 추론에 명시적으로 반영함으로써, AI 의 판단 과정을 더 투명하고 검증 가능하게 만들었습니다.
• 오픈소스 모델 활용 가능성: 강력한 성능을 보이는 폐쇄형 모델뿐만 아니라, 오픈소스 모델에서도 효과를 입증하여 데이터 프라이버시와 로컬 배포가 중요한 임상 환경에서의 실용성을 높였습니다.
• 안전한 AI 개발: 단순히 확률적으로 가장 높은 답을 선택하는 것을 넘어, 증거가 진단을 얼마나 강력하게 지지하는지 검증하는 메커니즘을 도입함으로써, 오진으로 인한 환자 피해를 줄이는 데 기여할 수 있습니다.

결론적으로, 이 논문은 **반사실적 증거 검증 (Counterfactual Evidence Verification)**을 LLM 기반 진단 시스템에 통합하는 것이 기계 추론의 신뢰성과 해석 가능성을 높이는 핵심 전략임을 입증했습니다.