기술 요약: 자율성이 아닌 정교한 분류(Calibrated Triage)

문제 정의

대규모 시각-언어 모델(LVLMs)은 의료 영상 분야에서 치명적인 실패 모드를 보여준다: 이 모델들은 방사선 사진이나 병리 슬라이드에 관한 질문에 대해 시각적 입력을 거의 활용하지 않은 채, 언어적 사전 지식(language priors)에 의존하여 유창하고 자신감 넘치는 답변을 생성할 수 있다. 임상 현장에서 이러한 동작은 매우 위험한데, 출력값이 근거가 없음에도 불구하고 신뢰할 수 있는 것처럼 보이기 때문이다. 핵심 문제는 단순히 모델의 정확도가 아니라, **신뢰도 추정(confidence estimation)**의 문제이다. 현재의 LVLM들은 체계적으로 과잉 확신(overconfident)하는 경향이 있으며, 특히 고위험 사례에서 정답과 오답에 대해 유사한 신뢰도 점수를 보고한다. 기존의 신뢰도 추정기들은 일반 도메인의 순위 매기기(ranking)를 위해 튜닝되었으며, 균등한 오류 비용(uniform error costs)을 가정하므로, 임상의 검토가 필요한 사례와 자동화가 가능한 사례를 엄격한 오류 허용 범위 내에서 구분해내는 **선택적 예측(selective prediction)**이라는 임상적 요구사항을 충족하지 못한다.

방법론

본 연구는 7개의 신뢰도 추정기를 5개의 오픈 웨이트 LVLM(4.5B에서 27B 파라미터 범위)과 3개의 의료 시각 질의응답(VQA) 데이터셋을 대상으로 평가한다:

1. GMAI-MMBench: 광범위한 임상 영상 (방사선학, 병리학, 피부과학 등).
2. SLAKE: 방사선학 및 해부학 (CT, MRI, X-ray).
3. PATH-VQA: 병리학 및 조직 병리학.

평가된 추정기:

• 추론 전용 (Black-box): 프롬프트 기반 자기 보고($P(\text{True})$), Self-Probing, Prompt Ensembles.
• 학습된 내부 프로브 (Trained Internal Probes): SAPLMA (답변 후 상태), CCPS (표현 안정성), InternalInspector (pooled attention/feed-forward states), BICR (그라운딩 인식, 실제 이미지와 빈 이미지 간의 대비로 학습됨).

실험 설계:

• 도메인 외(OOD) 학습: 모든 학습 가능한 프로브는 일반 도메인인 GQA 데이터셋(자연 이미지)에서만 학습되었으며, 의료 데이터셋에 적응 과정 없이 적용되었다. 이는 모델이 본 적 없는 의료 스캔에 일반화되어야 하는 실제 배포 시나리오를 시뮬레이션한다.
• 정답(Ground Truth): 데이터셋 전반에 걸쳐 일관된 의미적 동등성 등급을 보장하기 위해 단일 $gpt-5-mini$ 판정기를 사용하였다.
• 평가 프레임워크: 본 연구는 신뢰도 추정을 **유계된 선택적 예측(bounded selective prediction)**으로 재정의한다. 사례는 신뢰도가 임계값을 초과할 때만 자동화되며, 그렇지 않으면 임상의에게 전달된다. 성능은 다음 지표로 측정된다:
  • 판별력(Discrimination): AUROC.
  • 보정(Calibration): 기대 보정 오차(Expected Calibration Error, ECE).
  • 안전 수율(Safe Yield): 오류율을 특정 허용치(예: 20%) 미만으로 유지하면서 자동화 가능한 사례의 최대 비율.
  • 고신뢰도 신뢰성(High-Confidence Reliability): 상위 10% 신뢰 구간에서의 오류율(ErrTop10%).

주요 결과

1. 표준 지표의 한계

전역적 판별력(AUROC)과 평균 보정(ECE)은 임상적 분류를 위한 유효한 추정기를 식별하는 데 실패한다.

• 판별력: 방법론 간의 AUROC 차이가 미미하여(예: 61.9 대 62.9), 순위 매기기만으로는 방법론들이 서로 구별되지 않는 것처럼 보인다.
• 보정: 평균 보정값은 도메인 외 온도 스케일링(off-domain temperature scaling)을 통해 인위적으로 개선될 수 있으나, 이것이 실제 자동화 가능한 작업량인 "안전 수율"을 개선하는 것은 아니다.
• 결정적 격차: 차별점은 고신뢰도 영역에서의 동작이다. 추론 전용 베이스라인들은 오답에 대해 4145%의 높은 확률로 높은 신뢰도(>0.8)를 부여한다. 반면, 가장 우수한 학습된 프로브들(BICR 및 InternalInspector)은 이를 14%까지 낮춘다.

2. 능력-자동화 가능성 구배 (Capability-to-Automatability Gradient)

안전한 자동화는 두 가지 수준에 의해 규제된다:

1. 기초 모델 역량 (천장, The Ceiling): 최대 가능한 자동화는 특정 도메인에 대한 모델의 기초 정확도에 의해 엄격히 제한된다.
   • 방사선학 (SLAKE): 기초 정확도 ~61%. 20% 오류 허용치에서의 안전 수율은 ~34.6%에 도달한다 (BICR).
   • 광범위 임상 (GMAI): 기초 정확도 ~47%. 안전 수율은 ~4.5%로 떨어진다.
   • 병리학 (PATH-VQA): 기초 정확도 ~39.5%. 어떤 방법도 20% 오류 허용치에서 사례를 안전하게 자동화하지 못한다.
2. 신뢰도 계층 (도달 범위, The Reach): 달성 가능한 천장 내에서도, 신뢰도 계층은 안전하게 도달할 수 있는 범위를 결정한다. 병리학의 경우, 신뢰도 계층은 모델의 역량이 이론적으로 허용하는 저오류 하위 집합을 식별하는 데 실패한다.

3. 도메인 및 모델 특이성

단일 추정기가 보편적으로 최우선임을 보장하지 않는다.

• BICR과 InternalInspector는 일반적으로 방사선학 및 광범위 임상 도메인에서 다른 모델보다 우수하다.
• BICR은 병리학 판별력에서는 뛰어나지만, 낮은 기초 역량 천장 때문에 안전 수율을 개선하는 데는 실패한다.
• Prompt Ensembles는 때때로 병리학에서 복잡한 내부 프로브보다 더 나은 성능을 보이는데, 이는 모델이 근본적으로 신뢰할 수 없는 도메인에서는 값비싼 내부 장치(internal instrumentation)가 꼬리 부분의 안전성(tail-safety) 이점을 제공하지 못함을 시사한다.
• 그라운딩 인식(Grounding Awareness): 그라운딩 인식 방법(BICR 등)만이 모델이 이미지를 사용하지 않고 답변할 때(예: 지식 기반 질문) 신뢰도를 유의미하게 낮춘다. 이는 임상적 안전 측면에서 매우 중요한 실패 모드이다.

의의 및 주장

본 논문은 의료용 LVLM의 즉각적인 역할은 자율성이 아닌 **정교한 분류(calibrated triage)**라고 주장한다.

• 자율성보다 분류 우선: 시스템은 신뢰도 점수가 안전하다고 표시된 사례만 자동화하고, 나머지 모든 사례는 임상의에게 전달해야 한다.
• 모델보다 측정 방식이 중요하다: 어떤 특정 LVLM이 답변을 생성하느냐보다 신뢰도를 어떻게 측정하고 집계하느냐가 더 중요하다. 잘 보정되고 그라운딩을 인식하는 추정기는 신뢰할 수 없는 LVLM을 유용한 분류 도구로 변환하여, 방사선학 업무량의 약 1/3을 회복할 수 있다.
• 통합 벤치마크 거부: 통합된 리더보드 점수는 오해의 소지가 있다. 추정기는 모델별, 그리고 임상 카테 category(예: 부서 또는 해부학적 영역)별로 검증되어야 한다. 왜냐하면 성능은 도메인과 영상 양상에 따라 크게 달라지기 때문이다.
• 안전 신호: 임상의에게 가장 가치 있는 신호는 고신뢰도 영역에서의 확신에 찬 오류(confident errors) 발생률이 낮은 것이다. 표준적인 순위 지표는 이를 측정하지 못하며, 오직 특정 그라운딩 인식 프로브만이 이러한 안전성을 제공한다.

본 연구는 안전한 자동화가 현재 기초 모델의 역량에 의해 제한되어 있지만(특히 병리학에서 실패함), 보정된 그

운딩 인식 신뢰도 계층은 신뢰도 점수가 안전함을 나타내는 경우에 한해 업무를 안전하게 위임할 수 있는 필수적인 신호를 제공한다고 결론짓는다.