Detect Before You Leap: Mirage Detection in Vision-Language Models

기술 요약: 뛰어들기 전에 감지하라: 시각-언어 모델에서의 미라지(Mirage) 탐지

문제 정의
시각-언어 모델(VLM)은 관련 시각적 증거가 없거나, 빈 이미지(blank images)가 있거나, 관련 없는 실제 이미지가 제공되었음에도 불구하고 자신감 있고 유창한 시각적 답변을 생성하는 "미라지 추론(mirage reasoning)"이라는 실패 모드를 빈번하게 보입니다. 이는 의료 및 문서 시각 질의응답(VQA)과 같은 고위험 도메인에서 매우 위험하며, 그럴듯하지만 근거 없는 답변이 사실적 증거로 오인될 수 있기 때문입니다.

본 논문은 이를 런타임 미라지 탐지(runtime mirage detection) 문제로 규정합니다. 생성된 답변의 진실성을 평가하는 사후 생성 환각 탐지와 달리, 본 연구는 **사전 출시 결정 시스템(pre-release decision system)**을 제안합니다. 이미지 $x$와 질문 $q$가 주어졌을 때, 시스템은 VLM이 응답을 생성하기 전에 다음 세 가지 라벨 중 하나를 예측해야 합니다:

1. 관련됨(RELATED): 이미지에 질문과 관련된 증거가 포함되어 있음; VLM의 답변을 허용함.
2. 관련 없음-실제(UNRELATED-REAL): 이미지는 유효한 사진이지만 질문과 의미적으로 일치하지 않음.
3. 빈 화면/노이즈(BLANK/NOISE): 입력이 빈 화면이거나 노이즈가 섞인 이미지임.

쌍(pair)이 '관련됨'으로 분류되지 않으면, 시스템은 거절 메시지(예: "제공된 이미지를 바탕으로 답변할 수 없습니다")와 함께 답변을 유보합니다.

방법론: TC-LIA 및 앙상블 프레임워크
제안된 솔루션은 저수준 이미지 통계, 도메인 라우팅, 그리고 새로운 중간 표현 분석을 융합한 모델 불가지론적(model-agnostic) 5단계 파이프라인입니다.

1. 빈 화면/노이즈 탐지: 픽셀 통계(전역 표준 편차, 패치 분산, 스펙트럼 평탄도)를 사용하는 고재현율(high-recall) 게이트를 통해 비정보적 입력을 즉시 거부합니다.
2. 도메인 적응형 CLIP 라우팅: 별도의 의료 및 자연어 프롬프트 세트를 사용하는 제로샷 메커니즘을 사용하여 이미지를 적절한 CLIP 임베딩 공간(예: 의료 이미지의 경우 BioMedCLIP)으로 라우팅함으로써, 이질적인 도메인 전반에 걸친 관련성 추정 능력을 향상시킵 sleep다.
3. TC-LIA (텍스트 조건부 레이어별 내부 정렬): 이것이 핵심적인 독창성입니다. 단순히 최종 전역 CLIP 코사인 유사성에 의존하는 대신, TC-LIA는 동결된(frozen) CLIP ViT-H/14 시각 인코더의 중간 패치-토큰 표현을 조사합니다.
   • 각 레이어 $\ell$에 대해, 패치 토큰은 고정된 시각 투영 행렬을 사용하여 CLIP 결합 임베딩 공간으로 투영됩니다.
   • 투영된 패치 토큰과 질문의 텍스트 임베딩 사이의 코사인 유사도를 계산합니다.
   • 이 방법은 레이어를 가로지르는 질문 관련 증거의 **궤적(trajectory)**을 추적합니다. 관련 있는 쌍은 깊은 레이어에서 국소적이고 구체적인 패치-텍스트 정렬이 나타나는 것으로 가설을 세우는 반면, 관련 없거나 빈 입력은 평탄하거나 약하거나 불안정한 정렬 곡선을 보입니다.
   • 네 가지 스칼라 특징이 이 궤적으로부터 추출됩니다:
     • Late (후기): 두 번째 절반의 레이어들에서의 평균 top-$k$ 패치-텍스트 유사도.
     • Gain (이득): 후기 레이어와 초기 레이어 간의 정렬 차이 (레이어 불변 전역 사전 확률 제거).
     • Slope (기울기): 모든 레이어에 걸친 정렬의 선형 추세.
     • IAS (내부 정렬 점수): 최종 코사인, 후기, 이득, 기울기의 가중치 합성값.
4. 구조화된 VLM 자기 평가: VLM이 구조화된 클래스 라벨(RELATED/UNRELATED/BLANK)과 후보 답변을 제공하도록 프롬프트를 구성합니다. 이 예측은 특징으로 인코딩되지만, 이에만 전적으로 의존하지는 않습니다.
5. 앙상블 융합: 픽셀 통계, 라우팅 확률, TC-LIA 스칼라, VLM 클래스 인코딩 등 모든 특징을 부스팅 앙상블(XGBoost, LightGBM 등)을 사용하여 융합하고 최종 3클래스 결정을 내립니다.

주요 기여

• 문제 정의: 미라지 탐지를 사후 환각 진단과 구별되는, 답변 생성 전의 증거 존재 여부를 검증하는 사전 출시 결정 문제로 정립했습니다.
• TC-L-IA 방법: 시각 인코더 레이어를 통해 질문 관련 증거가 점진적으로 나타나는 정도를 정량화하는 텍스트 조건부 레이어별 정렬 방법을 도입했습니다. 이는 11개의 해석 가능한 스칼라 특징으로 추출되며, 레이어별 궤적이 최종 전역 유사성보다 더 변별력 있는 신호를 제공함을 입증했습니다.
• 강건한 프레임워크: 픽셀 수준의 체크, 도메인 라우팅, TC-LIA, 구조화된 VLM 자기 평가를 결합한 다단계 시스템을 제안했습니다. 이 접근 방식은 베이스 프롬프트의 미라지 비율(모델에 따라 21.7%66.6%)을 **2.73.3%**로 낮추면서도 관련 입력에 대한 높은 정확도를 유지합니다.

결과
프레임워크는 5가지 VQA 도메인(Chest VQA, PathVQA, TextVQA, DocVQA, InfoVQA)과 12개의 VLM 백본(Qwen2.5-VL, LLaVA, InternVL, Gemma를 포함한 2.7B~110B 파라미터 범위)에 걸쳐 평가되었습니다.

• 성능: 앙상블은 베이스라인을 크게 상회합니다. 예를 들어, Qwen2.5-VL-32B는 **94.7%**의 가장 높은 3클래스 탐지 정확도를 달성했으며 미라지 비율은 **3.0%**였습니다. Qwen2.5-VL-72B는 **94.6%**의 정확도와 더 낮은 **2.8%**의 미라지 비율을 달성했습니다.
• 특징 효능: 절제 연구(Ablation studies)를 통해 합성 IAS와 레이어별 특징(gain, slope)이 표준 CLIP 코사인 유사도 및 VLM 자기 평가와 상호 보완적인 신호를 제공함을 확인했습니다. VLM 클래스 특징을 제거했을 때 가장 큰 정확도 하락이 발생했으며, 이는 TC-LIA에 대한 강력한 상호 보완성을 나타냅니다.
• 답변 품질: 시스템은 관련 입력에 대한 답변 품질(BLEU, ROUGE-L, BERTScore로 측정)을 성공적으로 보존하면서, 관련 없거나 빈 입력을 일관된 거절 응답으로 안정적으로 전환하여 전반적인 시스템 안전성을 개선했습니다.

의의 및 주장
본 논문은 안전한 멀티모달 배포를 위해서는 단순히 출력을 사후에 확인하는 것이 아니라, 생성 전에 질문 관련 시각적 증거의 존재를 검증해야 한다고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 단순한 전역 이미지-텍스트 유사성은 복잡한 도메인(의료, 문서)에서 의미적 불일치를 탐지하기에 불충분합니다.
• 중간 레이어별 정렬 궤적(TC-LIA)은 "미라지" 입력을 탐지하기 위한 강건하고 모델 불가지론적인 신호를 제공합니다.
• 저수준, 의미적, 자기 평가 신호를 융합하는 앙상블 접근 방식은 전체 스펙트럼의 입력(빈 화면, 관련 없음-실제, 관련됨)을 처리하는 데 필수적입니다.

저자들은 명시적으로 한계를 밝힙니다: 이 탐지기는 관련성을 검증할 뿐 사실적 정확성을 검증하는 것은 아니며, 중간 ViT 토큰에 대한 접근이 필요하고(오픈 모델에 유리함), 중간 토큰의 투영은 근사치라는 점입니다. 본 연구는 단독 임상 결정 시스템이 아니라, 거절 또는 인간의 검토를 트리거하기 위한 사전 출시 안전 계층으로 위치합니다.