기술 요약: Mirage Probes: 시각 모델이 시각적 이해를 흉내 내는 방법

문제 정의

시각-언어 모델(VLM)은 의료 영상, 문서 분석, 과학적 추론과 같이 답변이 시각적 입력에 근거해야 하는 고위험 도메인에 점점 더 많이 배치되고 있습니다. 그러나 최근의 "미라지 행동(mirage behavior)" 관찰은 벤치마크 성공이 충실한 시각적 추론과 동일하다는 가정에 의문을 제기합니다. 미라지 행동은 VLM이 이미지가 부재한 상황에서도 이미지 기반 질문에 자신 있게 정답을 맞힐 때 발생합니다. 이는 멀티모달 벤치마크(예: MMMU, VQA-RAD)의 성능이 실제 시각적 증거 사용보다는 텍스트 사전 지식(textual priors), 데이터셋의 규칙성 또는 지름길(shortcuts)을 반영하고 있을 가능성을 시사합니다.

기존 연구들은 미라지 행동을 단일 실패 모드로 취급하는 경향이 있었습니다. 저자들은 이것이 지나친 단순화라고 주장하며, 동일한 출력 수준의 행동이 두 가지 서로 다른 내부 메커즘으로부터 발생할 수 있다고 제안합니다:

1. 텍스트 편향(Textual Biases): 모델이 시각적 표현을 활용하지 않고 언어적 사전 지식으로부터 직접 답변함.
2. 가짜 이미지(Spurious Images): 모델이 잠재 공간(latent space) 내에 허구의 시각적 콘텐츠를 구축하고, 마치 근거가 있는 것처럼 답변함. 즉, 응답을 뒷받침하기 위해 이미지를 "환각(hallucinating)"함.

이 두 메커즘을 구분하는 것은 매우 중요한데, 왜냐로 인해 완화 전략이 다르기 때문입니다. 텍스트 분포 정제(text-distribution cleaning)는 전자를 해결할 수 있지만, 모델의 시각적 표현에 존재하는 후자는 해결할 수 없습니다.

방법론

Mirage Probes 프레임워크

저자들은 표현 수준에서 미라지 행동을 탐지하고 분석하기 위해 설계된 대조적 프로빙(contrastive probing) 프레임워크인 Mirage Probes를 도입합니다.

1. 데이터셋 구축:

   • 저자들은 이미지와 함께 생성된 모델의 응답($r_{img}$)과 이미지가 없는 상태의 응답($r_{\emptyset}$)을 비교하여 데이터셋을 생성합니다.
   • 레이블링 휴리스틱: 만약 이미지가 없는 상태의 생성이 높은 의미적 유사성(bag-of-words 코사인 유사도 > 0.7)을 가지며 동일한 답변을 생성한다면, 이미지가 있는 응답을 "미라지 유사(mirage-like, $y=1$)"로 레이블링합니다. 반면, 이미지가 없는 상태의 생성이 명시적으로 불확실성을 표현하거나 이미지 없이는 작업이 불가능하다고 언급한다면 "미라지 비유사(non-mirage-like, $y=0$)"로 레이블링합니다.
   • 대조 쌍(Contrastive Pairs): 표면적인 텍스트 혼란(예: 주제 단어, 질문 스타일)을 줄이기 위해, 저자들은 GPT-4o-mini를 사용하여 각 기본 질문에 대해 네 가지의 패러프레이징된 변형을 생성합니다. 이미지와 근본적인 의도는 고정하되 질문의 문구는 다양하게 변화시켜 대조 쌍을 구성함으로써, 프로브가 표면적인 어휘적 특징이 아닌 미라지 메커즘을 학습하도록 합니다.

2. 활성화 추출(Activation Extraction):

   • 본 연구는 세 가지 오픈 소스 VLM인 Ovis2.5-2B, GLM-4.6-flash, Qwen3-32B-VL-Instruct를 조사합니다.
   • 트랜스포머 아키텍처 내의 네 가지 지점에서 활성화를 추출합니다:
     • 잔차 연결 상태 (Residual stream states)
     • MLP 출력 (MLP outputs)
     • 어텐션 이후 출력 (Post-attention outputs)
     • 개별 어텐션 헤드 출력 (Individual attention-head outputs)
   • 추출된 활성화는 세 가지 풀링 전략(text-nonspecial-mean, vision-tail, vision-text-mean)을 사용하여 집계됩니다.

3. 프로브 학습:

   • 내부 활성화로부터 미라지 레이블을 예측하기 위해 네 가지 계열의 프로브를 학습시킵니다:
     • 로지스틱 회귀 (선형): 미라지가 단일 선형 방향으로 인코딩되는지 테스트합니다.
     • 2층 MLP: 비선형 인코딩 여부를 테스트합니다.
     • 결합된 프로브 (Concatenated Probes): 모든 레이어의 활성화를 동시에 사용하여 학습합니다.
     • 차이 프로브 (Difference Probes): 이미지가 있는 경우와 없는 경우의 활성화 요소별 차이($\Delta h = h_{img} - h_{\emptyset}$)에 대해 학습합니다.
   • 베이스라인: 표면적인 어휘적 혼란을 배제하기 위해 응답 텍스트로 학습된 나이브 베이즈(Naive Bayes) 분류기를 사용합니다.
   • 지표: 모델이 텍스트만으로 정답으로부터 얼마나 많은 정보를 얻을 수 있는지 측정하는 새로운 **Prior Harnessing Index (PHI)**를 도입합니다 ($PHI = \log p(a^*|Q) - \log p(a^*|Q_{\emptyset})$).

주요 결과

1. 미라지 행동의 선형 디코딩 가능성

본 연구는 미라지 행동이 네 가지 활성화 지점(잔차 연결, MLP, 어텐션 이후, 어텐션 헤드) 모두에서 이미지 존재 VLM의 내부 활성화로부터 선형적으로 디코딩 가능함을 입증합니다.

• 정확도: 대조적 설정에서 선형 프로브는 잔차 연결에서 최대 75%(Ovis) 및 72%(Qwen)의 정확도를 기록했으며, 어텐션 헤드에서는 최대 **85%**에 달했습니다.
• 선형성: 2층 MLP 프로브가 선형 프로브보다 유의미하게 높은 성능을 보이지 않았는데, 이는 미라지 정보가 복잡한 비선형 추출을 필요로 하기보다 회복 가능한 선형 방향을 따라 인코딩되어 있음을 시사합니다.
• 대조적 우월성: 차이 프로브(활성화 차이로 학습된 프로브)가 가장 높은 정확도(일부 설정에서 최대 98%)를 기록하였으며, 이는 이미지를 추가함으로써 발생하는 표현의 변화가 미라지와 비미라지 응답을 명확하게 분리함을 나타냅니다.

2. 표면적 혼란의 감소

나이브 베이즈 텍스트 베이스라인과의 비교를 통해 프로브가 단순히 표면적인 어휘적 특징을 탐지하는 것이 아님을 확인했습니다.

• 대조적 설정에서 프로브 정확도는 나이브 베이즈 베이스라인(예: Ovis의 경우 VQA-RAD에서 61.88% vs 57.67%)을 유의미하게 상회했습니다.
• "모든 사례(all-examples)" 설정(대조 쌍 없이)에서는 프로브 정확도가 더 높았으나 표면적 분리 가능성의 증가와 상관관계가 있었는데, 이는 해당 프로브들이 심층 메커니즘보다는 텍스트 단서를 포착했을 가능성을 시사합니다. 이는 대조적 프레임워크의 필요성을 입증합니다.

3. 두 가지 뚜렷한 미라지 영역

교차 벤치마크 분리 패턴은 미라지 행동이 단일한 현상이 아니라 두 가지 뚜렷한 영역으로 구성될 가능성이 높음을 보여줍니다.

• 가짜 이미지 (Spurious Images): 질문이 이미지에 매우 의존적이고(인간이 이미지 없이 답할 수 없음) 텍스트 사전 지식이 약한(낮은 PHI) VQA-RAD에서 지배적입니다. 여기서 모델은 허구의 시각적 콘텐츠를 구축합니다.
• 텍스트 편향 (Textual Biases): 질문에 이미지가 없어도 답할 수 있는 충분한 텍스트 맥락이 포함된 MMMU-Pro 및 MedXpertQA에서 더 흔하게 나타납니다.
• 증거: VQA-RAD가 가장 높은 프로브 분리도를 보였습니다. 다른 벤치마크에서 "인간이 인지하는 이미지 의존적" 예시들로만 프로브를 학습시켰을 때는 분리도가 개선되지 않았습니다. 그러나 PHI 지표를 사용했을 때, VQA-RAD 질문들이 이미지가 없을 때 모델의 불확실성을 독특하게 증가시킨다는 점이 밝혀졌으며, 이는 미라지 행동과 강한 상관관계를 보였습니다. 이는 텍스트 사전 지식이 불충분할 때 모델이 가짜 이미지 구축에 의존하고, 사전 지식이 충분할 때는 텍스트 편향에 의료한다는 것을 시사합니다.

의의 및 주장

본 논문은 충실한 시각적 접지(visual grounding)를 위해서는 텍스트 수준이 아닌 표현 수준에서의 개입이 필요하다고 주장합니다.

• 메커니즘적 통찰: 저자들은 미라지 행동이 선형적으로 인코딩되며 두 가지 메커니즘으로 분해 가능하다는 최초의 표현 수준 증거를 제공합니다.
• 완화에 대한 시사점: 이 구분은 안전 및 정렬(alignment)에 직접적인 영향을 미칩니다. 텍스트 분포를 정제하는 것(예: 데이터셋의 지름길 제거)은 텍스트 편향 미라지는 줄일 수 있지만, 모델의 내부 시각적 표현에 뿌리를 둔 가짜 이미지 미라지를 해결하는 데는 실패할 가능성이 높습니다.
• 평가: Mirage Probes 프레임워크는 VLM이 진정으로 시각적 증거에 근거하여 답변하는지, 아니면 잠재 공간의 환각이나 텍스트 지름길을 통해 속이고 있는지를 평가하는 진단 도구를 제공합니다.

저자들은 두 메커니즘 가설이 경험적으로 동기 부여되었으며 향로(steering)나 절제(ablation)를 통한 인과적 검증이 필요하다는 점을 언급하며 신중한 입장을 유지합니다. 또한 자신들의 레이블링이 휴리스틱에 의존하고 있으며 핵심 주장이 여전히 상관관계적이라는 점을 강조하지만, 대조적 프로빙을 통해 표면적 혼란을 배제함으로써 연구 결과의 타당성을 강화했습니다.