Can Agents Distinguish Visually Hard-to-Separate Diseases in a Zero-Shot Setting? A Pilot Study

이 논문은 시각적 특징이 매우 유사한 두 질환 (흑색종과 비정형 모반, 폐부종과 폐렴) 을 구별하는 제로샷 멀티모달 에이전트 성능을 평가하고, 대비적 조정 (contrastive adjudication) 기반 다중 에이전트 프레임워크가 정확도를 향상시켰으나 임상 적용에는 여전히 한계가 있음을 보여줍니다.

핵심

🎭 1. 문제 상황: "거울 속의 쌍둥이" 같은 병들

연구자들은 두 가지 매우 까다로운 상황을 선택했습니다.

1. 흑색종 (암) vs. 비정형 모반 (양성 두드러기): 피부에 생긴 검은 점이 암인지, 그냥 위험하지 않은 점인지 구별하는 것. 둘 다 검은색이고 모양이 비슷해서 초보 의사도 헷갈리기 쉽습니다.
2. 폐부종 (물 차는 병) vs. 폐렴 (세균 감염): 가슴 X-ray 에서 폐가 하얗게 보이는 게 물이 차서 그런지, 세균이 침투해서 그런지 구별하는 것. 둘 다 X-ray 상에서 비슷하게 보입니다.

💡 비유:
이건 마치 진짜 지폐와 위조 지폐를 구별하는 것과 같습니다. 겉모양, 색상, 지문까지 거의 똑같지만, 하나는 생명을 구하는 치료 (항생제) 가 필요하고, 다른 하나는 수술이 필요할 수 있습니다. 잘못 구별하면 큰일이 나죠.

🤖 2. 기존 AI 의 한계: "자신만만한 착각"

기존의 최신 AI(멀티모달 대형 언어 모델) 는 이 문제를 해결하려다 보니, **"자신은 무조건 옳다"**는 착각에 빠지기 쉽습니다.

• 상황: AI 가 "이건 암이야!"라고 확신하며 이유를 대지만, 사실은 그 이유가 이미지와 맞지 않을 수도 있습니다 (이를 '할루시네이션'이라고 합니다).
• 결과: 한 번의 판단으로 결론을 내리면, 헷갈리는 병을 틀리게 진단할 확률이 매우 높습니다.

🕵️‍♂️ 3. 새로운 해결책: "CARE" 시스템 (대립 변론 재판)

저자들은 이 문제를 해결하기 위해 CARE라는 새로운 시스템을 만들었습니다. 이 시스템은 한 명의 판사가 아니라, 세 명의 역할을 가진 팀으로 작동합니다.

🎭 비유: 법정 드라마
이 시스템은 마치 법정과 같습니다.

1. 검찰 (Agent 1): "이 환자는 암입니다!"라고 주장하며, 이미지에서 암을 뒷받침하는 증거를 찾아냅니다.
2. 변호인 (Agent 2): "아닙니다, 이 환자는 양성 점입니다!"라고 반박하며, 양성을 뒷받침하는 증거를 찾아냅니다.
3. 판사 (Judge Agent): 이 두 사람의 주장을 듣고, **실제 사진 (이미지)**을 다시 한번 꼼꼼히 확인합니다.
   • "검찰이 말한 '비대칭성'은 정말로 사진에 있는가?"
   • "변호인이 말한 '정상적인 경계'는 사실인가?"
   • 서로의 주장을 **대조 (Contrast)**하며, 사진에 없는 거짓 주장은 걸러내고, 가장 타당한 결론을 내립니다.

핵심 아이디어:
한 명만 믿는 게 아니라, 서로 반대되는 의견을 대립시키고, 그중에서 사진과 가장 잘 맞는 주장을 골라내는 방식입니다.

📊 4. 실험 결과: "조금 나아졌지만, 아직 의사 수준은 아님"

연구팀은 이 시스템을 피부 사진과 폐 X-ray 데이터로 테스트했습니다.

• 성과: 기존 AI 가 혼자 판단했을 때보다 정확도가 약 11% 포인트나 상승했습니다. 특히 "사진에 없는 거짓 증거"를 찾아내는 능력이 크게 좋아졌습니다.
• 한계: 하지만 여전히 임상 (실제 병원) 에 쓸 만큼 완벽하지는 않습니다.
  • AI 는 여전히 실수를 합니다.
  • 실제 환자는 두 가지 병을 동시에 가질 수도 있는데, 이 실험은 "둘 중 하나만 있다"는 가정 하에 진행되었기 때문에 현실과는 차이가 있습니다.

🏁 5. 결론 및 시사점

이 연구는 **"AI 가 혼자서 복잡한 병을 진단하기엔 아직 부족하지만, 서로 토론하고 검증하는 시스템을 만들면 훨씬 나아진다"**는 것을 보여줍니다.

• 핵심 메시지: AI 에게 "정답"을 외우게 하는 것보다, **"서로 다른 관점에서 토론하게 하고, 판사가 사진을 확인하게 하는 것"**이 더 현명한 방법입니다.
• 미래: 아직은 AI 가 의사를 완전히 대체할 순 없지만, 젊은 의사들이 헷갈릴 때 제 2 의 의견을 제시하는 '조력자' 역할을 하려면 이런 시스템이 필수적입니다.

한 줄 요약:

"혼자서 판단하면 착각하기 쉬운 AI 에게, 서로 싸우게 하고 판사가 사진을 확인하게 한 결과, 진단 능력이 조금은 나아졌지만 아직은 의사의 도움이 필요하다는 결론입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem & Motivation)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 의 발전으로 의료 영상 분야에서 에이전트 기반 시스템에 대한 관심이 높아지고 있습니다. 기존 연구는 주로 일상적인 임상 워크플로우 자동화에 집중했으나, 시각적으로 구분이 어렵지만 임상적 관리 (치료) 가 완전히 다른 질환들을 구별하는 상황은 아직 충분히 탐구되지 않았습니다.
• 핵심 문제:
  • 시각적 혼란 (Visual Confounding): 흑색종 (Melanoma) 과 비정형 모반 (Atypical Nevus), 폐부종 (Edema) 과 폐렴 (Pneumonia) 과 같이 외관상 매우 유사하지만 원인과 치료법이 완전히 다른 질환 쌍을 식별하는 것은 어렵습니다.
  • 제로샷 (Zero-Shot) 제약: 추가적인 데이터 파인튜닝 (Fine-tuning) 이나 외부 도구 없이, 사전 학습된 MLLM 에이전트만으로는 이러한 높은 모호성 상황에서 신뢰할 수 있는 진단을 내리기 어렵습니다. 단일 에이전트는 종종 특정 가설에 과도하게 확신하여 (Overconfidence) 근거 없는 주장을 생성할 수 있습니다.
• 목표: 시각적으로 혼란스러운 질환 쌍을 제로샷 (Zero-shot) 환경에서 MLLM 에이전트가 구별할 수 있는지 평가하고, 이를 개선하기 위한 새로운 에이전트 아키텍처를 제안하는 것입니다.

2. 제안 방법론: CARE (Contrastive Agent REasoning)

저자들은 추가 학습 없이 구조화된 다중 에이전트 시스템을 제안합니다.

• 핵심 철학: 인간 전문가도 대조적 추론 (Contrastive Reasoning) 을 통해 "왜 이 사례가 A 를 지지하고 B 를 반대하는가"를 설명합니다. CARE 는 이 원리를 시스템화합니다.
• 아키텍처 (3 단계 역할):
  1. 역할 조건부 증거 생성 (Role-conditioned Evidence Generation):
     • 두 개의 질환별 에이전트 (Agent 1, Agent 2) 가 각각 반대되는 진단 가설 (예: 흑색종 vs 비정형 모반) 에 기반하여 이미지에서 해당 가설을 지지하는 시각적 증거를 생성합니다.
     • 이 에이전트들은 최종 진단을 내리는 것이 아니라, 할당된 역할에 맞춰 증거만 나열합니다. 이로 인해 가설에 일관되지만 이미지와 불일치하는 (허위) 증거가 생성될 수 있습니다.
  2. 시각 기반 심판 (Visual-grounded Adjudication):
     • 제 3 의 에이전트 (심판자, Judge) 가 원본 이미지와 두 에이전트가 생성한 증거 집합 ($E_A, E_B$) 을 입력받습니다.
     • 심판자는 세 가지 기능을 수행합니다: (i) 이미지와 증거의 교차 검증, (ii) 지지되지 않거나 모순되는 주장 식별, (iii) 남은 대조적 논증을 weigh 하여 최종 진단 결정.
  3. 결정: 심판자는 새로운 의학적 증거를 추가하지 않고, 기존 주장들의 시각적 일관성을 평가하여 최종 진단을 내립니다.

3. 실험 설정 및 데이터셋

• 데이터셋:
  1. 흑색종 vs 비정형 모반: Derm7pt 데이터셋에서 파생. 509 개 이미지 (흑색종 252, 비정형 모반 257).
  2. 폐부종 vs 폐렴: MIMIC-CXR 데이터셋에서 파생. 1,739 개 이미지 (폐부종 878, 폐렴 861).
  • 주의: 두 질환이 공존할 수 있는 실제 임상 상황과 달리, 평가의 엄격성을 위해 한 이미지당 하나의 진단만 있는 XOR(배타적 논리합) 설정을 사용했습니다.
• 모델: 오픈소스 (Qwen, InternVL 등) 와 폐쇄소스 (Gemini-3-Flash, Gemini-3-Pro) MLLM 을 베이스라인으로 사용. CARE 는 기본적으로 Gemini-3-Flash 를 기반으로 구축되었습니다.
• 비교 대상: 단일 에이전트, 자기 점검 (Self-Check), 다수결 투표 (Majority-Vote), 맹목적 CARE (이미지 없이 텍스트만 심판) 등.

4. 주요 결과 (Results)

• 정량적 성능 향상:
  • 흑색종 vs 비정형 모반: CARE 는 단일 에이전트 (Gemini-3-Flash) 대비 정확도 (Accuracy) 를 66.5% 에서 77.6% 로 11.1%p 향상시켰습니다. Youden 지수도 0.328 에서 0.552 로 크게 개선되었습니다.
  • 폐부종 vs 폐렴: CARE 는 베이스라인 대비 정확도를 60.2% 에서 64.6% 로 향상시켰으며, 통계적으로 유의미한 개선 ($p < 0.001$) 을 보였습니다.
  • 통계적 유의성: 흑색종 데이터셋에서 CARE 와 상위 모델 (Gemini-3-Pro) 간의 차이는 통계적으로 유의하지 않았으나, 폐렴 데이터셋에서는 CARE 가 베이스라인 대비 유의미한 개선을 보였습니다.
• 아블레이션 연구 (Ablation Study):
  • 단순한 자기 점검 (Self-Check) 이나 다수결 투표는 CARE 에 비해 성능 향상이 제한적이었습니다. 이는 성능 향상이 단순한 샘플링 증가가 아니라 구조화된 대조적 추론에서 비롯됨을 시사합니다.
  • Blind-CARE(심판자가 이미지를 보지 못함) 는 CARE 보다 성능이 낮았습니다. 이는 심판자가 시각적 증거를 직접 확인하는 것이 허위 주장을 탐지하고 조정하는 데 필수적임을 보여줍니다.
• 정성적 분석:
  • CARE 는 에이전트 간 모순된 발견 (예: 대칭성 주장 vs 비대칭성 주장) 을 식별하고, 이미지 기반 검증으로 잘못된 주장을 폐기하거나 진단 가중치를 재조정하는 능력을 입증했습니다.

5. 기여 및 의의 (Contributions & Significance)

1. 최초의 벤치마크: 시각적으로 혼란스러운 질환을 제로샷 환경에서 MLLM 에이전트들이 어떻게 수행하는지 평가한 초기 연구 중 하나입니다.
2. 새로운 프레임워크 (CARE): 추가 학습 없이 구조화된 불일치 (Disagreement) 를 명시적으로 구성함으로써 에이전트 성능을 개선하는 새로운 멀티에이전트 시스템을 제안했습니다.
3. 임상적 통찰: 현재 MLLM 기반 에이전트들은 시각적으로 혼란스러운 고위험 상황에서 여전히 임상 배포에 필요한 수준에 미치지 못함을 확인했습니다. 하지만 대조적 추론과 이미지 기반 검증이 성능 향상에 필수적임을 보여주어 향후 멀티에이전트 시스템 설계에 중요한 통찰을 제공했습니다.

6. 한계점 및 결론

• 한계:
  • 레이블의 불완전성 (자동 추출된 보고서 기반 레이블의 노이즈).
  • 실제 임상에서는 두 질환이 공존할 수 있음에도 XOR 설정으로 단순화됨.
  • 외부 도구 (분할 모델 등) 없이 순수 MLLM 만으로 평가됨.
• 결론: CARE 는 제로샷 환경에서 진단 성능을 유의미하게 향상시켰으나, 전체적인 성능은 아직 임상 적용에 충분하지 않습니다. 향후 더 정교한 방법론 개발과 엄격한 평가가 필요함을 강조합니다.

---

요약: 본 논문은 시각적으로 구분이 어려운 질환을 제로샷으로 진단하는 MLLM 에이전트의 한계를 지적하고, **대조적 추론 (Contrastive Reasoning)**을 통해 서로 다른 가설을 대립시키고 심판자가 시각적 증거로 검증하는 CARE 시스템을 제안했습니다. 실험 결과, 이 방식은 기존 단일 에이전트나 단순 앙상블보다 우수한 성능을 보였으며, 특히 시각적 근거에 기반한 허위 주장 탐지가 성능 향상의 핵심임을 입증했습니다.