CARE: Towards Clinical Accountability in Multi-Modal Medical Reasoning with an Evidence-Grounded Agentic Framework

이 논문은 VLM 과 전문 시각 그라운딩 모델을 분해된 에이전트 프레임워크로 결합하여 증거 기반의 단계적 워크플로우를 구현함으로써 의료 다중 모달 추론의 정확성과 임상적 책임성을 크게 향상시킨 'CARE'를 제안합니다.

핵심

🏥 기존 AI vs. CARE: "깜깜한 진단" vs. "증거 기반 진료"

1. 기존 AI (단일 블랙박스): "감으로 찍는 의사"
기존의 많은 의료 AI 는 사진을 보고 바로 "이것은 폐렴입니다!"라고 답합니다. 마치 감으로 진단을 내리는 의사처럼요.

• 문제점: 왜 그렇게 생각했는지 설명하지 못합니다. (블랙박스)
• 위험: 중요한 병변을 놓치거나, 전혀 다른 부분을 보고 엉뚱한 진단을 내릴 수 있습니다. (할루시네이션, 즉 환각)

2. CARE 시스템: "전문가 팀이 협력하는 진료"
CARE 는 한 명의 의사가 모든 걸 다 하는 게 아니라, 세 명의 전문가가 팀을 이루어 진료하는 방식입니다.

• 1 단계: "초점 맞추기" (의사 제안)

  • 역할: 환자가 "어디가 아파요?"라고 말하면, AI 가 먼저 "어떤 부위를 봐야 할지" 추측합니다. (예: "왼쪽 폐를 봐야겠어", "심장을 봐야겠어")
  • 비유: 환자가 "가슴이 답답해요"라고 하면, 의사가 "그럼 심장과 폐를 먼저 확인해 보자"라고 먼저 생각하는 단계입니다.

• 2 단계: "확대경으로 자세히 보기" (전문가 확대)

  • 역할: 제안된 부위를 픽셀 단위로 정밀하게 잘라냅니다. (예: "왼쪽 폐의 이 부분만 확대해서 보여줘")
  • 비유: 의사가 병변이 의심되는 부위를 확대경으로 가져가서 아주 자세히 들여다보는 것입니다. 이때 "이게 정말 병변일까?"에 대한 신뢰도 점수도 매깁니다.

• 3 단계: "증거로 결론 내리기" (증거 기반 진단)

  • 역할: 전체 사진과 함께,刚才 확대해서 본 **구체적인 증거(확대된 이미지나 마스크)**를 보고 최종 진단을 내립니다.
  • 비유: 이제 의사는 "전체적인 모습"과 "확대경으로 본 구체적인 병변"을 모두 보고 "아, 이건 폐렴이 맞구나"라고 결론을 내립니다.

---

🧠 CARE 의 핵심 비밀: "팀장 (조정자)"의 역할

이 시스템에는 **팀장 (Coordinator)**이 있습니다. 이 팀장은 실제 진단을 내리는 게 아니라, 팀원들이 올바르게 일하는지 감독합니다.

• 계획 수립: "오늘은 폐를 봐야 하니, 폐를 먼저 제안하고 확대해서 봐야겠다"라고 계획을 세웁니다.
• 검토 (Review): 팀원들이 내린 결론을 다시 한번 확인합니다.
  • 예시: "팀원이 '폐렴'이라고 했는데, 확대해서 본 이미지는 정상인데? 이건 잘못된 거야. 다시 확인해 봐."
• 실수 수정: 만약 팀원이 엉뚱한 부위를 제안하거나, 잘못된 결론을 내렸다면 팀장이 **"아니야, 여기가 아니야"**라고 바로잡아 줍니다.

이 과정을 통해 CARE 는 실수를 줄이고, 왜 그 진단을 내렸는지 그 근거 (증거) 를 명확히 보여줄 수 있습니다.

---

🏆 왜 CARE 가 특별한가요?

1. 작은 모델, 큰 성과: CARE 는 거대한 AI 모델 (320 억 개 이상의 파라미터) 보다 훨씬 작은 모델 (100 억 개) 로도 더 높은 정확도를 냅니다. 이는 효율성이 매우 뛰어나다는 뜻입니다.
2. 신뢰할 수 있는 AI: 단순히 정답만 알려주는 게 아니라, **"어디를 보고, 어떻게 판단했는지"**를 보여줍니다. 이는 의료 현장에서 가장 중요한 **'책임감 (Accountability)'**을 확보해 줍니다.
3. 실제 의사와 같은 사고방식: 의사가 환자를 볼 때 "먼저 어디를 봐야 할지 생각 → 확대해서 확인 → 진단"하는 과정을 그대로 모방했습니다.

💡 한 줄 요약

CARE 는 "감으로 찍는 AI"가 아니라, "증거를 찾아내고 팀원들과 상의하며 신중하게 진단하는 의료 팀"을 만든 것입니다. 덕분에 환자에게 더 정확하고, 신뢰할 수 있는 답변을 줄 수 있게 되었습니다.

기술 요약

CARE: 다중 모달 의료 추론을 위한 증거 기반 에이전트 프레임워크를 통한 임상 책임성 향상

이 논문은 대규모 시각 언어 모델 (VLM) 의 의료 이미지 이해 능력은 뛰어나지만, 대부분 엔드 투 엔드 블랙박스 방식으로 작동하여 임상가들의 증거 기반 단계적 워크플로우와 괴리되어 있고, 이로 인해 임상적 책임성 (Accountability) 이 부족하다는 문제를 제기합니다. 이에 저자들은 CARE (Clinical Accountability in multi-modal medical Reasoning with an Evidence-grounded agentic framework) 라는 새로운 에이전트 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

기존의 의료 VQA (Visual Question Answering) 모델들은 이미지와 텍스트를 직접 답으로 매핑하는 단일 단계 (Single-shot) 방식을 주로 사용합니다. 이러한 방식은 다음과 같은 한계를 가집니다:

• 할루시네이션 및 단축 학습 (Shortcut Learning): 미세한 국소 증거를 검색하거나 검증하지 않고 통계적 패턴에 의존하여 잘못된 진단을 내릴 수 있습니다.
• 임상적 신뢰성 부재: 실제 임상 workflow(이상 부위 식별 $\rightarrow$ 확대 관찰 $\rightarrow$ 근거 기반 진단) 를 모방하지 않아, 의사들이 모델의 추론 과정을 신뢰하거나 검증하기 어렵습니다.
• Grounding 과 추론의 분리: 일부 연구는 시각적 Grounding(영역 표시) 을 시도하지만, 이를 추론 과정에 효과적으로 피드백하지 않거나 단일 모델 내에서 결합하여 오류 전파를 유발합니다.

2. 방법론 (Methodology)

CARE 는 임상 진단 워크플로우를 모방하여 작업을 세 개의 전문화된 하위 모듈로 분해하고, 에이전트 조정자 (Coordinator) 를 통해 이를 조율합니다.

2.1 핵심 아키텍처

1. 의료 엔티티 제안 (Medical Entity Proposal):
   • 사용자의 질문과 이미지를 기반으로 관련 해부학적 구조나 소견 (예: 폐, 종양, 심낭 등) 을 제안하는 소형 VLM 입니다.
   • 검증 가능한 보상 (Verifiable Reward) 을 사용한 강화 학습 (RLVR) 으로 미세 조정되어, 답변을 지지하는 증거와 일치하는 엔티티를 제안하도록 학습됩니다.
2. 엔티티 참조 분할 (Entity Referring Segmentation):
   • 제안된 엔티티를 기반으로 픽셀 수준의 관심 영역 (ROI) 마스크를 생성하는 전문 분할 모델입니다.
   • SA-Med-2D 를 기반으로 하며, 텍스트 인코더 (BERT) 와 결합되어 텍스트 프롬프트에 반응하는 분할 능력을 갖춥니다. 생성된 마스크의 신뢰도 (Confidence Score) 가 계산되어 하위 단계에 전달됩니다.
3. 증거 기반 VQA (Evidence-Grounded VQA, EG-VQA):
   • 전체 이미지와 함께 3 가지 유형의 시각적 증거 (Clue) 를 활용하여 최종 진단을 수행합니다.
     • Zoom-in: ROI 를 확대한 고해상도 국소 뷰.
     • Mask: 위치 및 공간적 맥락을 강조하는 이진 마스크.
     • Global: 전역 컨텍스트가 필요한 경우 전체 이미지 또는 전역 지시자.
   • 이 모델은 시각적 단서를 활용하여 더 정확한 추론을 수행하도록 학습됩니다.

2.2 에이전트 조정 (Agentic Coordination)

CARE 는 두 가지 모드로 작동합니다.

• CARE-Flow (Static): 조정자 없이 정적 워크플로우로 실행됩니다. 모든 증거 뷰를 실행하고 다수결 투표 (Majority Vote) 로 최종 답을 결정합니다.
• CARE-Coord (Dynamic): 강력한 VLM (예: GPT-5) 을 조정자 (Coordinator) 로 사용합니다.
  • 플랜링 (Planning): 어떤 도구를 호출할지, 어떤 증거 뷰 (Zoom-in, Mask 등) 가 가장 유익한지 계획합니다.
  • 검토 (Review): 전문가 모델 (EG-VQA) 의 추론 과정 (Chain-of-Thought) 과 최종 답변의 일관성을 반복적으로 검토합니다. 불일치가 발견되면 답변을 수정하거나 재실행을 요청합니다. 이는 할루시네이션을 줄이고 최종 답변의 정확성을 높입니다.

2.3 학습 전략

• RLVR (Reinforcement Learning with Verifiable Rewards): 엔티티 제안 및 EG-VQA 모델에 적용됩니다. 정답 유무뿐만 아니라 의미적 유사도 (Embedding Similarity) 를 기반으로 한 보상을 사용하여, 모델이 증거와 일치하는 추론을 하도록 유도합니다.
• 데이터 합성: 엔티티 제안 작업을 위한 학습 데이터는 기존 분할 데이터셋 (SA-Med-20M) 을 기반으로 GPT 를 이용해 질문 - 엔티티 쌍을 합성하여 생성했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 책임성 있는 의료 비전 추론 에이전트: 임상 워크플로우를 모방한 CARE 는 도구 사용 계획과 반복적인 답변 검토를 통해 할루시네이션을 줄이고 명시적 증거를 기반으로 한 답변을 제공합니다.
2. 영역 기반 추론 워크플로우: 신뢰할 수 있는 픽셀 수준의 증거 (분할 마스크, 확대 뷰 등) 를 VQA 과정에 피드백하여 정확도와 책임성을 동시에 향상시킵니다.
3. 성능 입증: CARE-Flow(10B 파라미터) 는 동급의 SOTA 모델보다 10.9% 높은 평균 정확도를 달성했으며, CARE-Coord(조정자 포함) 는 대규모로 훈련된 SOTA 모델 (Lingshu-32B) 보다 5.2% 더 높은 성능을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: OmniMedVQA, VQA-RAD, SLAKE, VQA-Med-2019 등 4 가지 표준 의료 VQA 벤치마크에서 평가되었습니다.
  • CARE-Flow-B (10B): 평균 정확도 74.91% (SOTA 32B 모델인 Lingshu-32B 의 72.29% 를 상회).
  • CARE-Coord-B: 평균 정확도 77.54% (Lingshu-32B 대비 5.25%p 향상).
• 파라미터 효율성: CARE-Flow-S(4B) 모델조차 38B 파라미터 규모의 모델들과 경쟁할 수 있는 성능을 보여, 높은 파라미터 효율성을 입증했습니다.
• Human Evaluation: 의료 전문가 (PhD/MD 수준) 를 대상으로 한 인간 평가에서 CARE-Coord-B 는 82.14% 의 통과율을 기록하여 GPT-4o 기반 베이스라인 (73.94%) 을 능가했습니다. 이는 모델의 추론 과정이 사실적으로 정확하고 시각적 근거에 기반함을 의미합니다.
• OOD 일반화: 조정자 (Coordinator) 를 도입한 CARE-Coord 는 분포 외 (OOD) 데이터에서 성능이 크게 향상되어 (약 6% 증가), 모델의 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 의료 AI 의 신뢰성을 높이기 위해 '블랙박스' 방식에서 벗어나, 증거 기반 (Evidence-grounded) 이고 단계적 (Staged) 인 에이전트 프레임워크가 필요함을 강조합니다. CARE 는 다음과 같은 의의를 가집니다:

• 임상적 책임성 강화: 모델이 "어디를 보았는지 (ROI)"와 "왜 그렇게 판단했는지 (추론 과정)"를 명시적으로 제공하여 의사의 검증과 신뢰를 가능하게 합니다.
• 할루시네이션 감소: 전문 도구와 조정자의 검토를 통해 잘못된 진단을 방지하고, 오류 전파를 차단합니다.
• 효율성: 거대 모델을 단순히 키우는 것이 아니라, 전문화된 소형 모델들의 협업을 통해 높은 성능을 달성하는 새로운 패러다임을 제시합니다.

결론적으로 CARE 는 의료 진단 보조 시스템으로서의 실용성과 신뢰성을 크게 향상시킬 수 있는 강력한 프레임워크로 평가됩니다.