EVADE: Evidence-Verified Agentic Diagnosis with Escape

기술 요약: EVADE (Evidence-Verified Agentic Diagnosis with Escape)

문제 정의
의료용 시각-언어 모델(VLM)은 심각한 신뢰성 격차에 직면해 있습니다. 높은 정확도를 달-성할 수는 있지만, 체계적으로 과잉 확신(overconfident)하며 보정(calibration)이 잘 이루어지지 않습니다. 표준적인 해결책들은 임상적 맥락에서 이를 해결하는 데 실패합니다:

1. 과잉 확신: 모델 크기를 키우거나 사고 사슬(Chain-of-Thought, CoT)과 같은 프롬프팅 전략을 사용하는 것은 과잉 확신을 제거하지 못하며, 오히려 CoT는 시각적 분석을 약화시키거나 과잉 확신을 유도하여 의료 VQA의 정확도를 떨어뜨릴 수 있습니다.
2. 비효율적인 자기 검증: 모델에게 자신의 답변을 검증하도록 요청하는 것은 신뢰할 수 없습니다. 왜냐하면 '검증자'와 '생성자'가 동일한 용량에 결합된(capacity-coupled) 모델이기 때문입니다. 이는 모델이 시각적 증거를 재검토하지 않고 자신의 텍득(text)에 동의하게 만드는 "검증의 환상(verification mirage)"으로 이어져 초기 오류를 고착화합니다.
3. 기권(Abstention)의 부재: 배포 가능한 의료 시스템은 불확전성을 신호하고 임상의에게 판단을 넘겨야 합니다. 기존의 에이전트 방식은 종종 외부로 훈련된 도구나 훈련 기반 방법(예: 강화 학습)에 의존하며, 이는 단일한 '동결된 사전 학습 VLM'을 추론 시점에 순수하게 신뢰할 수 있게 만드는 방법에 대한 탐구를 미진하게 남겨두었습니다.

방법론: EVADE
EVADE는 단일 동결된 VLM(특히 Qwen2.5-VL-7B를 대상으로 테스트됨)의 안전성을 높이기 위해 설계된 훈련이 필요 없는(training-free), 추론 전용 에이전트 루프입니다. 이는 세 가지 순차적 단계로 작동합니다:

1. 초기 답변 및 신뢰도 추정:
   모델은 전체 이미지($x$)를 바탕으로 질문에 답합니다. 신뢰도($c_0$)는 두 가지 신호(시퀀스 확률(토큰 확률의 기하 평균)과 언어화된 신뢰도 점수)를 융합하여 도출됩니다. 만약 $c_0$가 높은 임계값($\tau_h$)을 초과하면, 시스템은 즉시 결과를 확정(commit)합니다.

2. 에이전트 기반 시각적 줌 (증거 수집):
   불확실할 경우, 모델은 고유의 그라운딩(grounding) 능력을 사용하여 질문에 대해 가장 진단적으로 관련성이 높은 단일 영역을 국소화하도록 유도됩니다. 이 영역은 크롭(crop)되고, 문맥 유지를 위해 패딩(padding)된 후, 고정된 해상도로 업샘플링되어 $x'$가 됩니다. 모델은 이 줌된 뷰(zoomed view)를 바탕으로 질문에 다시 답하며, 두 번째 답변($a_1$)과 신뢰도($c_1$)를 생성합니다. 이 단계는 단순히 동일한 픽셀을 다시 읽는 것이 아니라 새로운 시각적 증거를 도입합니다.

3. 교차 뷰 일관성 게이트 및 기권:
   시스템은 전체 이미지 응답($a_0$)과 줌된 뷰 응답($a_1$) 사이의 일치 여부를 확인하여 답변을 검증합니다.

• 확정(Commit): 두 답변이 일치하고 두 뷰의 최대 신뢰도가 확정 임계값($\tau_c$)을 초과하면, 답변을 확정합니다.
• 조정(Reconciliation): 답변이 불일치할 경우, 모델은 두 뷰($x$와 $x'$)를 모두 고려하여 세 번째 답변($a_2$)을 생성하도록 유도됩니다. 이 조정된 답변이 확신을 가질 경우, 이를 확정합니다.
• 기권(Abstain): 불확실성이 지속될 경우(낮은 일치도 또는 조정 후에도 낮은 신뢰도), 시스템은 기권(출력 $\perp$)하여 해당 사례를 임상의에게 넘깁니다.

결정적으로, 검증은 텍스트 기반의 자기 일관성이 아닌 교차 뷰 증거 일치(전역 뷰 vs 줌 뷰)에 의해 제어됩니다. 이는 모델이 자신의 예측을 검증하기 위해 새로운 시각적 증거를 반드시 참조하도록 강제함으로써, "신뢰할 수 없는 검증자" 루프를 깨뜨립니다.

주요 기여

• EVADE 프레임워크: 단일 사전 학습된 의료 VLM의 신뢰성을 높이기 위해 불확실성 트리거 기반의 증거 줌, 교차 뷰 일관성 검증, 그리고 보정된 기권을 결합한 훈련이 필요 없는 절차를 제안합니다.
• 검증 메커니즘: 단일 모델의 자기 점검에서 발생하는 "검증의 환상" 문제를 해결하기 위해, 추가 훈련이나 외부 도구 없이 교차 뷰 증거 일치를 견고한 검증 신호로 식별했습니다.
• 재현 가능한 평가: Qwen2.5-VL-7B를 사용하여 세 가지 공개 벤치마크(VQA-RAD, SLAKE, PathVQA)에서 종합적인 평가를 수행하였으며, 기대 보정 오차(ECE), 선택적 예측 위험(AURC), 그라운딩 중첩도를 통해 신뢰성을 측정했습니다.
• 경험적 발견: EVADE는 정확도를 유지하면서 신뢰성을 개선하는 유일하게 평가된 방법입니다.

결과
VQA-RAD, SLAKE, PathVQA에 대해 Qwen2.5-VL-7B를 사용하여 평가한 결과:

• 보정(Calibration): EVADE는 제로샷 베이스라인과 비교하여 ECE를 최대 45% 감소시켰습니다 (예: PathVQA에서 0.317에서 0.173으로 감소). 반면, CoT 및 자기 일관성(Self-Consistency) 방법은 정확도를 무너뜨림으로써만 보정 성능을 개선했습니다.
• 선택적 위험(Selective Risk): EVADE는 모든 데이터셋에서 가장 낮은 AURC를 달축성하였으며, 제로샷, 자기 검증, 신뢰도 임계값 기반 기권 방식보다 우수한 성능을 보였습니다.
• 정확도 보존: 정확도를 희생하며 보정을 얻는 베이스라인들과 달리, EVADE는 제로샷과 유사한 수준의 정확도를 유지하면서 신뢰성을 크게 향상시켰습니다.
• 그라운딩 분석: 모델이 직접 제안한 영역(모델에 의해 생성된 영역)은 센터 크롭(center crop)이나 랜덤 크롭보다 진단 구조를 더 잘 국소화했습니다 (SLAKE에서 Mean IoU 0.306 vs 센터 크롭 0.267). 그러나 어블레이션 연구(ablation study) 결과, 7B VLM은 이 개선된 국소화를 사용하여 자신의 답변을 수정할 수는 없었습니다. 신뢰성 향상은 주로 줌된 증거 자체가 아니라 일관성 게이트와 보정된 기권에서 기인했습니다.
• 효율성: EVADE는 항목당 평균 약 2.1회의 순방향 패스(forward pass)를 요구하며, 이는 샘플링 기반의 테스트 타임 스케일링 방법(예: Self-Consistency는 약 5.0회 필요)보다 현저히 적습니다.

의의 및 주장
본 논문은 EVADE가 의료용 VLM 배포의 구속 조건인 '신뢰성'을 해결한다고 주장합니다. 단일 동결된 모델을 추론 시점의 전략만으로 신뢰할 수 있게 만들 수 있음을 입증함으로써, EVADE는 재학습이나 외부 도구 통합의 비용 없이 더 안전한 의료 AI로 나아가는 실질적인 경로를 제시합니다.

저자들은 EVADE가 보정 및 선택적 예측을 성공적으로 개선했지만, 현재의 7B 모델은 국소화된 증거를 사용하여 답변을 변경할 수는 없다는 점을 겸허히 언급했습니다. 즉, 이 안전 메커니로직은 시스템이 언제 기권할 만큼 불확실한지를 아는 것에 달려 있습니다. 본 연구는 교차 뷰 일관성이 텍스트 수준의 자기 일관성과는 구별되는, 인지 중심 작업(perception-bound tasks)에서 유효한 검증 축임을 확립했습니다. 향후 연구 과제로 국소화와 답변 수정 사이의 간극을 좁히고, 이를 더 큰 규모의 VLM으로 확장하는 것을 제안합니다.