기술 요약: Hearsay: 이미지가 없는 상태에서의 시각-언어 의료 진단

문제 정의

본 논문은 최첨단 시각-언어 모델(VLM)의 임상 파이프라인에서 발생하는 결정적인 실패 모드인 "신기루 효과(mirage effect)"를 조사한다. 이 현상은 V-L 모델이 첨부된 이미지가 없음에도 불구하고 시각적 묘사와 의료 진단을 생성할 때 발생한다. 선행 연구인 Asadi 등[1]은 VLM이 이러한 조건에서 절제(abstain)하는 데 자주 실패한다는 점을 입증했으나, 본 연구는 이러한 환각(hallucination)의 구조를 이해하는 데 초점을 맞춘다. 구체적으로, 본 논문은 이미지가 존재하지 않을 때 생성된 진단이 무작위인지, 아니면 프롬프트에 제공된 인구통계학적 기술자(예: 연령, 성별, 인종)에 의해 체계적으로 영향을 받는지 묻는다. 저자들은 임상 파이프라인에서 이미지를 불러오지 못하거나 에이전트가 환자의 기술자만을 전달하는 시나리오가 발생할 수 있으며, 이는 환각된 출력물 내의 인구통계학적 편향에 대한 고위험 환경을 조성한다고 가정한다.

방법론

본 연구는 세 가지 최첨단 VLM인 Claude Opus 4.7, GPT-5.4, Gemini 3.1 Pro를 대상으로 통제된 실험 설계를 적용한다.

• 프롬프트 설계: 저자들은 Asadi 등[1]에서 유래된 수정된 mirage-mode 프롬프트 템플릿을 사용한다. 프롬프트는 1인칭 인구통계학적 서문(예: "나는 {연령}세의 {인종} {성별}이다")과 이미지 묘사 및 진단 요청으로 구성된다. 테스트된 양식(modality)은 흉부 X-선(chest X-ray), 뇌 MRI(brain MRI), 그리고 피부과(dermatology)(구체적으로 "피부 점(skin mole)")이다.
• 실험 조건: $2 \times 2 \times 3$ 요인 설계를 사용하여 연령(32, 65), 성별(남성, 여성), 인종(백인, 흑인, 갈색 인종)을 변화시켰으며, 결과적으로 12개의 인구통계학적 셀과 정보가 없는 중립적 베이스라인(D0)을 도출했다.
• 출력 스키마: 응답은 이미지 존재 여부, 진단 능력, 주요 진단, 감별 진단, 신뢰도, 추론 과정을 포함하는 엄격한 JSON 스키마로 강제되었다. 이를 통해 "산문(prose)"(추론)과 "구조화된(structured)"(진단 필드) 출력을 분리할 수 있었다.
• 지표: 주요 지표는 인구통계학적 셀의 진단 분포와 중립적 베이스라인 간의 **젠슨-샤논 발산(Jensen-Shannon Divergence, JSD)**이다. 이차 분석에는 "헤징된 신기루(hedged mirage)" 탐지(산문은 이미지 부재를 인정하지만 구조화된 필드는 채워지는 경우)와 프로브 명사 강건성(probe-noun robustness, "skin mole"을 "skin lesion"으로 교체)이 포함된다.
• 규모: 주요 실험(E1)은 11,700회의 API 호출($3 \text{ 모델} \times 3 \text{ 도메인} \times 13 \text{ 조건} \times 100 \text{ 시드}$)을 포함한다.

주요 기여

본 논문은 네 가지 주요 기여를 제시한다:

1. 구조적 인구통계학적 편향: 신기루 모드의 출력은 무작위가 아니라 인구통계학적 텍스트에 의해 체계적으로 구조화되어 있다는 증거를 제시한다. 셀당 JSD는 최대 0.83에 달했으며, 상위 진단명들은 기록된 임상적 편향 패턴(예: 흑인 환자의 대한(Sarcoidosis), 고령 백인 남성의 흑색종(Melanoma))과 일치했다.
2. 헤징된 신기루 체제(The Hedged Mirage Regime): 모델의 산문 추론은 이미지 부재를 인정(거절을 시사)하지만, 구조화된 진단 필드는 특정 질병으로 채워지는 해리 현상을 식별했다. 이 "헤징된" 상태는 고-JSD 셀에서 Claude가 보이는 환각의 **66%**를 차지하며, 산문 중심의 감사(audit)로는 발견되지 않는다.
3. 다양한 실패 모드: 프로브 명사 강건성 분석을 통해 신기루가 별개의 실패 모드 군집임을 밝혔다. Claude의 피부과 효과는 **단어 트리거형(word-triggered)**이었다(즉, "skin mole"을 "skin lesion"으로 바꾸면 멜라노마 진단이 94% 급감하여 거절로 전환됨), 반면 GPT-5.4의 효과는 **카테고리 보존형(category-preserving)**이었다(즉, 명사 교체에도 진단이 안정적으로 유지됨).
4. 이중 채널 측정: 네이티브 JSON 스키마와 산문을 함께 추출하는 파이프라인을 통해 "헤징된 체제"를 직접 관찰하고 정량화할 수 있게 하였다.

결과

• 인구통계학적 구조화: 세 모델 모두 인구통계학적 편향을 보였으나 그 크기는 다양했다.
  • GPT-5.4는 36/36 모든 요인 셀에서 진단을 환각했다. 이 모델의 편향은 광범위했으며, 흉부 X-선에 대해 젊은 흑인 환자에게 대한(Sarcoidosis)으로 강하게 치우치거나, 연령 및 성별에 따른 특정 MRI 진단 변화(예: 고령 여성의 수막종(Meningioma), 고령 남성의 교종(Glioma))를 보였다.
  • Claude Opus 4.7은 "거절-환각 전환(refusal-to-fabrication transition)"을 보였다. 대부분의 중립 프롬프트에는 거절했으나, 특정 셀(예: "skin mole"이 있는 65세 백인 남성)에서는 심하게 환각했다(94% 멜라노마). JSD는 거의 전적으로 이 거절에서 환각으로의 전환에 의해 주도되었다.
  • Gemini 3.1 Pro는 가장 낮은 수준의 편향을 보였으며(중앙값 JSD 0.010), 대부분의 셀에서 환각이 0%였다.
• 헤징된 체제: "헤징된" 조건에서 모델들은 "인구통계 및 전형적인 패턴에 근거하여 의심됨"과 같은 추론을 작성하면서도 구조화된 진단 필드를 채웠다. 산문 기반 감사만 수행한다면 이를 거절 또는 안전한 것으로 분류하겠지만, 구조화된 데이터 파이프라인은 편향된 진단을 받게 된다.
• 강건성: "skin mole"과 "skin lesion"의 교체 실험은 Claude의 편향이 취약하며 특정 트리거 단어에 의존함을 보여준 반면, GPT-5.4의 편향은 문구 변경에도 견고함을 보여주었다.
• 신호 대 노이즈: 인구통계학적 신호(JSD)는 구절 재구성 노이즈 바닥(paraphrase noise floor)을 크게 상회(10.5배에서 13.9배 비율)하였으며, 이는 편향이 표면적인 문구 변화가 아닌 인구통계학적 기술자에 의해 유발됨을 확인시켜 준다.

의의 및 주장

본 논문은 신뢰할 수 있는 임상 환경의 VLM 배포를 위해 감사(auditing) 방식의 근본적인 변화가 필요하다고 주장한다.

• 감사의 한계: 자연어(산문) 감사에만 의존하는 것은 불충분하다. 왜냐하면 텍ocl스적 면책 조항이 있음에도 구조화된 필드가 채워지는 "헤징된 체제"를 놓치기 때문이다.
• 평가 차원: 프로브 단어 민감도(Probe-word sensitivity)는 "일급 평가 차원"으로 다뤄져야 한다. 모델은 단일 프로브 단어로 테스트할 때는 견고해 보일 수 있으나, 약간의 변형에도 처참하게 실패하거나(Claude의 사례), 그 반대의 경우를 보일 수 있다.
• 오류의 본질: 저자들은 두 가지 오류를 구분한다: (1) 인식론적 미교정(Epistemic miscalibration) (증거 없이 진단을 출력함) 및 (2) 인구통계학적 이동(Demographic shifting) (인구통계에 따라 특정 진단이 출력됨). 본 논문은 이러한 이동이 사전 학습 편향 때문인지 혹은 교정된 유병률 사전 확률(예: 고령 백인 남성의 높은 멜라노마 발생률) 때문인지는 명확히 가려내지 않지만, 사전 확률의 기원과 관계없이 산문과 구조화된 출력 사이의 해리(dissociation) 자체가 중요한 실패 모드라고 단언한다.

연구는 결론적으로, 이러한 위험을 완화하기 위해서는 스키마 수준의 제약(예: image_present=false일 때 진단을 null로 강제), 추론 시 프로빙, 그리고 이미지가 없을 때 거절하도록 하는 미세 조정이 필요하다고 제언한다. 본 연구의 결과는 신기루가 단일한 현상이 아니라 서로 다른 완화 전략을 요구하는 다양한 실패 모드의 집합임을 시사한다.