기술 요약: 시각적 무지(Visual Ignorance)의 진단

문제 정의

시각-언어 모델(Vision-Language Models, VLMs)은 시각적 증거보다는 고착된 언어적 사전 지식(language priors)에 기반하여 확신에 찬 답변을 생성하는 '시각적 무지' 현상을 빈번하게 보입니다. 이러한 행동적 경향은 잘 문서화되어 있으나, 이를 유발하는 내부 메커니즘과 특정 벤치마크 유효성에 미치는 구체적인 영향에 대해서는 여전히 충분히 이해되지 않았습니다. 기존 문헌에 따르면 단순히 파라미터 규모를 키우는 것만으로는 이 문제를 해결할 수 없으며, 이미지가 부재한 상황에서도 모델은 허구의 세부 사항을 합성해내는 '신기루 효과(mirage effect)'를 지속합니다. 또한, 비전 인코더는 기하학적 원형(geometric primitives)을 보존하는 경우가 많음에도 불구하고 통합된 VLM이 이를 활용하지 못한다는 점은, 초기 시각 인지의 실패보다는 언어 디코더 스택 내의 정보 라우팅 및 억제 과정에서의 병목 현상을 시사합니다. 기존의 평가 방법들은 진정한 멀티모달 이해와 텍스트 숏컷(textual shortcuts)에 대한 의존을 구분하지 못하며, 결과적으로 시각적 입력을 무시하는 모델에게 보상을 주는 실수를 범하고 있습니다.

방법론

저자들은 언어적 사전 지식 의존성을 진단하기 위해 모델의 내부 메커니즘과 표준 벤치마크를 통한 외부적 행동 발현을 모두 분석하는 이중 관점 프레임워크를 제안합니다.

1. 내부 메커니즘 분석

그라운드 트루스(ground-truth) 시각적 의미론이 언어적 사전 지식 의미론과 어떻게 경쟁하는지 추적하기 위해, 저자들은 두 가지 상호 보완적인 기법을 사용합니다.

• 대조적 레이어 교체(Counterfactual Layer Replacement): 저자들은 편향이 제거된 언어 디코더 변체(VLMBias 데이터셋 사용)를 미세 조정(fine-tuning)한 후, 베이스라인 모델의 레이어를 이 미세 조정된 버전의 레이어로 체계적으로 교체합니다. 이를 통해 특정 레이어 범위(중간층 대 후기층)가 언어적 사전 지식 의존도에 기여하는 인과적 역할을 격리하여 분석합니다.
• 지도 학습 기반 레이어별 MLP 프로빙(Supervised Layer-wise MLP Probing): 초기 레이어에서 불안정할 수 있는 제로샷 어휘 투영(예: LogitLens)과 달리, 저자들은 각 디코더 레이어의 은닉 상태(hidden states)에 대해 지도 학습된 다층 퍼셉트론(MLP) 분류기를 훈련시킵니다. Pixmo-Count 데이터셋을 사용하는 이 프로브는 가공되지 않은 은닉 상태를 그라운드 트루스 정답과 언어적 사전 지식 정답에 대한 확률 분포로 매핑하여, 트랜스포머 깊이에 따른 의미론적 경쟁의 동적 진화를 밝혀냅니다.

2. 외부 행동 분석

언어적 사전 지식에 대한 의존도를 정량화하기 위해, 저자들은 **점진적 시각적 감쇠 지표(Progressive Visual Decay Metric)**를 도입합니다.

• 다단계 가우시안 블러링(Multi-Step Gaussian Blurring): 입력 이미지를 일련의 가우시안 커널($1\times1$에서 $61\times61$까지)을 통해 단계적으로 퇴화시킵니다.
• 연속적으로 동일한 답변 지표(Consecutively Identical Answer Indicator): 저자들은 모델의 답변이 모든 수준의 퇴화 단계에서도 불변(invariant)하는지 추적합니다. 이 지표는 제약된 답변 공간(예: 이진 또는 객관식)에서 발생하는 무작위 추측 노이즈를 필터링하여, 모델이 시각적 문맥을 완전히 무시하는 사례에 대한 통계적으로 신뢰할 수 있는 하한선을 제공합니다.
• 벤치마크 평가: 이 프레임워크는 세 가지 대표적인 VLM(Qwen2.5-VL-3B/7B, LLaVA-v1.6-Mistral-7B)을 사용하여 12개의 시각적 질의응답(VQA) 벤치마크(RePOPE, HallusionBench, MMMU, MMStar 포함)에 적용되었습니다.

주요 연구 결과

내부 라우팅 실패

분석 결과, 언어 디코더 내에서 **다단계 협력적 병목 현상(multi-stage cooperative bottleneck)**이 발견되었습니다.

• 중간 레이어(Intermediate Layers): 이 레이어들은 비전 인코더로부터 세밀하고 국소적인 시각 정보를 효과적으로 추출하는 데 종종 실패합니다.
• 후기 레이어(Late Layers): 중간 레이어를 통과하여 살아남은 시각 신호가 있더라도, 더 깊은 레이어들은 텍스트 공간의 편향을 선호하여 이러한 신호들을 능동적으로 억제합니다.
• 동적 경쟁: 프로빙 결과, 특정 중간 레이어에서는 그라운드 트루스 시각 신호가 언어적 사전 지식 확률과 대등하거나 이를 상회할 수 있지만, 디코더 스택의 마지막 1/4에서 1/3 지점에 도달하면 언어적 사전 지식 답변의 확률이 급격히 증가하며 지배적으로 변하는 것을 보여줍니다. 이는 시각적 무지가 단일 지점의 실패가 아니라, 누적된 라우팅 실패와 능동적 억제의 결과임을 나타냅 way.

벤치마크 취약성

외부 평가 결과, 현재의 벤치마크들이 시각적 무지를 제대로 처벌하지 못하고 있음이 드러났습니다.

• 높은 불변성 비율: 평가된 데이터셋 전반에 걸쳐, 심각하거나 완전한 시각적 왜곡 상황에서도 20%에서 40%의 사례가 완전히 불변하는 답변을 생성했습니다.
• 성능 저하 부재: 이미지가 퇴화됨에 따라 답변이 연속적으로 동일하게 유지되는 샘플 그룹의 경우, 모델의 정확도가 안정적으로 유지되거나 오히려 증가하기도 했습니다. 이는 이러한 벤치마크들이 시각적 증거가 아닌 맹목적인 언어적 기대에 의존하는 모델에게 의도치 않게 보상을 주고 있음을 시사합니다.
• 데이터 오염(Data Contamination): LLaVA-v1.6-Mistral-7B 모델은 Qwen 모델에 비해 퇴화된 이미지에서 더 높은 불변성과 정확도를 보였는데, 이는 사전 학습 과정에서 벤치마크 정답을 암기했을 가능성을 시사합니다.

핵심 기여

1. 메커니즘적 진단: 본 논문은 언어적 사전 지식이 시각 신호를 압도하는 과정을 레이어별로 매핑한 최초의 연구로, 이러한 의존성이 중간 레이어의 비효율적인 추출과 후기 레이어의 능동적 억제 모두에 의해 발생함을 규명했습니다.
2. 새로운 평가 지표: 점진적 시각적 감쇠 지표의 도입은 무작위 추측을 걸러내고 표준 벤치마크에서 순수한 언어적 사전 지식 의존성을 분리해내는 강력한 방법을 제공합니다.
3. 벤치마크 결함에 대한 실증적 증거: 본 연구는 저명한 VQA 벤치마크의 상당 부분의 예시들이 시각적 처리 없이도 풀릴 수 있음을 입증하여, 현재의 평가 프로토콜에 의문을 제기합니다.

의의 및 시사점

저자들은 언어적 사전 지식 의존성이 모델 내부와 벤치마크 유효성 모두에 영향을 미치는 **체계적인 라우팅 실패(systematic routing failure)**라고 주장합니다. 이 연구 결과는 다음과 같은 시사점을 가집니다.

• 현재의 학습 패러다임은 불충분함: 시각적 특징을 텍스트 중심의 백본 위에 단순히 얹는 방식은 표현상의 충돌을 야기하며, 자기회귀적 텍스트 예측 목표가 지배적으로 작용하여 표현을 시각적 증거로부터 멀어지게 만듭니다.
• 평가 프로토콜의 재설계 필요: 표준 벤치마크는 시각적 의존성을 강제하지 못합니다. 저자들은 텍스트 공간의 통계가 시각적 상태에 대해 근본적으로 무의미한, 구조적으로 격리되거나 대조적인 데이터를 구축하는 미래의 평가 프레임워크를 옹호합니다.
• 학습 분포의 변화: 진정한 교차 모달 접지(cross-modal grounding)를 강제하기 위해서는, 프롬프트와 답변 사이의 가짜 언어적 상관관계를 깨뜨려 모델이 암기된 텍스트 사전 지식이 아닌 시각적 증거에 의존하도록 만드는 학습 분포 설계가 필요합니다.

결론적으로, 시각적 무지를 해결하기 위해서는 모델을 훈련하는 방식(시각과 언어 분포의 분리)과 모델을 평가하는 방식(구조적 격리를 통한 시각적 의존성 강제) 모두에서 근본적인 변화가 필요합니다.