Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts

이 논문은 비전 - 언어 모델이 시각 정보를 잘 인식하지만 언어적 선입견과의 조정 (arbitration) 과정에서 실패하여 잘못된 답변을 내놓는다는 점을 규명하고, 이를 해결하기 위해 초기 층의 활성화 조작을 통한 개입이 효과적임을 보여줍니다.

핵심

이 논문은 **"AI 가 눈을 감고 있는 게 아니라, 눈은 잘 뜨고 있는데 '의사결정'을 잘못하고 있다"**는 놀라운 사실을 밝혀냈습니다.

한마디로 요약하면: 비전 - 언어 모델 (VLM) 은 '파란 바나나'를 제대로 보고 있습니다. 문제는 그걸 보고 '노랗다'고 말하는 것이 아니라, '바나나는 원래 노랗다'는 선입견에 너무 빠져서 본 것을 무시해 버린다는 점입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 문제: "눈은 멀지 않았다, 다만 '고집'이 세다"

상황: AI 에게 파란색으로 칠해진 바나나를 보여주고 "이게 무슨 색이야?"라고 물었습니다.
AI 의 반응: "노란색."

일반적인 생각: "아, AI 가 바나나의 색을 못 봤구나. 시력이 나빠서 '파란색'이라는 정보를 못 받아낸 거야." (이를 지각적 실명이라고 부릅니다.)

이 논문의 결론: "아니요! AI 는 파란색을 아주 선명하게 보고 있습니다. 하지만 AI 의 머릿속에는 '바나나는 노랗다'는 **강력한 선입견 (사전 지식)**이 있어서, 눈으로 본 '파란색' 정보를 무시하고 '노란색'이라고 고집을 부리는 것입니다."

비유: 친구가 초록색으로 칠해진 빨간 사과를 들고 와서 "이게 무슨 색이야?"라고 물었을 때, 당신이 **"빨간색"**이라고 답하는 상황입니다. 당신의 눈은 초록색을 똑똑히 보고 있지만, "사과는 빨간 거야"라는 당신의 고정관념이 눈으로 본 사실을 덮어씌운 것입니다.

2. 연구 방법: AI 의 뇌를 층층이 훑어보기

연구진들은 10 가지 다른 크기의 AI 모델들을 분석하며 두 가지 질문을 던졌습니다.

1. 인코딩 (Encoding): AI 가 파란색 바나나를 볼 때, 뇌속의 정보 (은닉 상태) 에 '파란색'이라는 신호가 들어갔을까?
2. 조정 (Arbitration): 그 신호가 들어갔는데도, 왜 최종 답변은 '노란색'이 나왔을까?

결과:

• 인코딩: 모든 AI 모델이 '파란색' 정보를 정확하게 뇌속에 저장했습니다. (심지어 틀린 답을 낸 경우라도, 뇌속의 데이터는 똑똑히 '파란색'을 기억하고 있었습니다.)
• 조정: 문제는 저장된 정보를 어떻게 처리하느냐였습니다. AI 는 마지막 단계에서 **'눈으로 본 사실 (시각)'**과 **'내 기억 (언어적 선입견)'**이 싸우게 되는데, 선입견이 이겨버린 것입니다.

비유: AI 의 뇌는 여러 층으로 된 건물입니다.

• 1 층 (초기 층): 파란색 바나나를 보고 "오, 파란색이네!"라고 정보를 받아냅니다. (여기서는 모든 AI 가 똑똑합니다.)
• 중간 층: 정보가 올라가면서 '바나나 = 노란색'이라는 선입견과 충돌합니다.
• 최상층 (최종 결정): 두 의견이 싸우는데, 선입견이 이겨서 "아니, 바나나는 노란색이야!"라고 최종 답을 내뱉습니다.

3. 해결책: "고집 부리는 AI 를 설득하는 법"

연구진은 이 문제를 해결하기 위해 AI 의 뇌를 직접 건드리는 실험을 했습니다.

• 기존 방법 (실패): AI 가 답을 내기 직전인 '마지막 층'만 건드려봤습니다. 하지만 시각 정보는 AI 의 뇌 전체에 퍼져있어서, 마지막 부분만 건드리는 건 효과가 없었습니다. (마치 건물의 지붕만 고쳐서 1 층의 문제를 해결하려는 것과 같습니다.)
• 새로운 방법 (성공): **초기 층 (1 층~3 층)**에서 AI 의 뇌 상태를 살짝 조정했습니다.
  • "눈으로 본 '파란색' 신호를 조금 더 키워주고, '노란색' 선입견 신호를 살짝 누르자."
  • 결과: AI 가 틀렸던 답을 정답으로 바꾸는 데 성공했습니다. (정확도가 최대 3.8% 향상됨)

비유: AI 는 처음에 "파란색이네!"라고 말하다가, 중간에 "아니야, 바나나는 노란 거야"라고 생각하며 고개를 갸웃거립니다.
연구진은 초기 단계에서 "아니, 지금 눈앞에 있는 건 파란색이야! 그걸 믿어!"라고 AI 에게 조용히 속삭여주거나 (신호 증폭) "바나나는 노란 거야"라는 생각을 잠시 멈추게 (신호 억제) 했습니다. 그랬더니 AI 가 "아, 맞다! 파란색이네!"라고 올바르게 답했습니다.

4. 요약 및 시사점

이 논문의 가장 중요한 메시지는 다음과 같습니다:

1. AI 는 '눈'이 멀지 않았습니다: AI 는 이상한 색의 사물도 잘 보고, 그 정보를 뇌속에 잘 저장합니다.
2. 문제는 '고집'입니다: AI 가 틀리는 이유는 정보를 못 받아서가 아니라, 과거의 지식 (선입견) 이 새로운 정보를 무시해버리기 때문입니다.
3. 해결책은 간단합니다: AI 를 다시 가르칠 필요 (재학습) 없이, 생각하는 초기 단계에서 약간의 신호만 조정해주면 훨씬 더 정확하게 세상을 볼 수 있습니다.

결론적으로, 우리는 AI 가 세상을 '보는' 능력을 걱정할 필요가 없습니다. 대신 AI 가 본 것을 어떻게 '받아들이고 행동'하게 할지에 집중해야 합니다. 이 연구는 AI 의 '고집'을 다스리는 새로운 방법을 제시했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 많은 멀티모달 벤치마크에서 우수한 성능을 보이지만, 시각적 증거와 언어적 편향 (Prior) 이 상충되는 상황에서는 종종 실패합니다.

• 대표적 예시: 파란색 바나나를 보여주고 "색깔이 무엇인가요?"라고 물었을 때, 모델이 실제 시각 정보 (파란색) 를 무시하고 언어적 사전 지식 (바나나는 노란색이다) 에 따라 "노란색"이라고 답변하는 경우.
• 기존 가설: 이러한 실패는 모델이 시각 정보를 제대로 **지각하지 못했기 때문 (Perceptual Blindness, 지각의 무능력)**이라고 여겨졌습니다. 즉, 비전 인코더가 중요한 시각적 디테일을 포착하지 못해 언어 모델이 잘못된 정보를 입력받았다는 설명입니다.
• 본 연구의 질문: VLM 이 잘못된 답변을 할 때, 문제는 시각 정보의 **인코딩 (지각)**에 있는 것일까, 아니면 인코딩된 정보를 바탕으로 최종 결정을 내리는 중재 (Arbitration) 과정에 있는 것일까?

2. 연구 방법론 (Methodology)

저자들은 10 개의 다양한 크기의 VLM(7B~72B 파라미터) 을 대상으로 4 단계의 분석을 수행했습니다.

(1) 멀티모달 중재 교차점 분석 (Multimodal Arbitration Crossover, MAC)

• Logit Lens 기법 활용: 각 레이어에서 모델이 시각적 토큰 (예: "blue") 과 언어적 사전 지식 토큰 (예: "yellow") 중 어느 것을 선호하는지 로그이트 (Logit) 값을 추적합니다.
• 6 가지 변형 토큰 매칭: 소문자, 대문자, 대문자화, 공백 접두사 등 6 가지 형태의 토큰 변형을 모두 고려하여 가장 높은 로그이트 값을 추출함으로써 분석의 정확도를 높였습니다.
• MAC 레이어 정의: 시각적 로그이트가 언어적 사전 지식 로그이트를 안정적으로 초과하는 첫 번째 레이어를 'MAC 레이어'로 정의합니다.

(2) 인코딩 - 그라운딩 해리 (Encoding-Grounding Dissociation) 검증

• 잠재 진실 (Latent Truth) 확인: 모델이 정답 (시각 정보) 을 말하든 오답 (사전 지식) 을 말하든, **MAC 레이어 이전의 은닉 상태 (Hidden States)**에서 시각적 차이가 얼마나 강하게 인코딩되었는지 L2 거리와 선형 프로브 (Linear Probe) 를 통해 측정했습니다.

(3) 인과성 검증: 풀 시퀀스 활성화 패치 (Full-Sequence Activation Patching)

• 패치 실험: 시각적 정보가 언어적 편향에 의해 무시된 사례 (Counterfactual) 에서, MAC 레이어의 은닉 상태를 정상적인 이미지 (Standard) 의 은닉 상태로 교체하여 모델의 출력이 바뀌는지 확인했습니다.
• 차별점: 기존 LLM 해석 기법인 '마지막 토큰 (Last-token) 패치'가 VLM 에서는 효과가 없음을 발견하고, 시각 정보가 전체 토큰 시퀀스에 분산되어 있으므로 '풀 시퀀스 (Full-sequence)' 패치를 수행했습니다.

(4) 개입 및 개선 (Intervention)

• 학습 없는 조정 (Training-free Steering): MAC 분석과 패치 결과를 바탕으로, 모델의 초기 레이어에서 **선형 활성화 추가 (Linear Steering)**와 희소 오토인코더 (SAE) 기반 조정을 적용하여 시각적 그라운딩 성능을 개선할 수 있는지 실험했습니다.

3. 주요 결과 (Key Results)

(1) 핵심 발견: 지각이 아닌 중재의 실패

• 인코딩 - 그라운딩 해리: 모델이 잘못된 답변 ("노란색") 을 했을 때도, 시각 정보 ("파란색") 는 정답을 낸 경우와 동일한 강도로 초기 레이어에 인코딩되어 있었습니다.
• 통계적 유의미성: 성공/실패 그룹 간의 인코딩 강도 (L2 거리) 차이는 통계적으로 유의미하지 않았으며, 오히려 실패 그룹에서 더 강한 인코딩을 보이는 경우도 있었습니다.
• 예측 인자: 최종 레이어의 **로그이트 간격 (Logit Gap, 시각 vs 사전 지식)**이 성공 여부를 강력하게 예측 ($\rho = 0.847$) 하지만, 인코딩 강도는 예측하지 못했습니다 ($\rho = 0.198$).

(2) 인과성 입증

• 풀 시퀀스 패치의 효과: MAC 레이어에서 은닉 상태를 교체했을 때, 60~84% 의 샘플에서 모델의 답변이 시각적 정답에서 언어적 편향으로 뒤집혔습니다.
• 마지막 토큰 패치의 실패: 기존 LLM 기법인 마지막 토큰만 패치한 경우, 변화율은 **0~1%**에 불과했습니다. 이는 VLM 에서 시각 정보가 단일 토큰이 아닌 전체 이미지 토큰 시퀀스에 분산되어 있음을 의미합니다.
• 토큰 유형 분석: 이미지 토큰만 패치하면 인과적 효과의 대부분을 설명했으나, 텍스트 토큰 패치는 효과가 없었습니다.

(3) 스케일링의 영향

• 모델 크기가 커질수록 (예: 8B → 26B/72B) 시각적 인코딩이 더 강해지고, MAC 교차점이 더 일찍 발생하며, 최종 로그이트 간격이 넓어집니다.
• 그러나 72B 모델에서도 여전히 해리 현상이 존재하며, 이는 단순한 용량 부족이 아닌 아키텍처적 구조적 문제임을 시사합니다.

(4) 개입을 통한 성능 향상

• 초기 레이어 조정: MAC 레이어가 아닌 **초기 레이어 (Early Layers)**에서 선형 또는 SAE 기반의 활성화 조정을 가했을 때, 시각적 그라운딩 정확도가 최대 +3.8% 향상되었습니다.
• 무학습 (Training-free): 추가적인 미세 조정 (Fine-tuning) 없이 추론 시에만 적용 가능한 경량 기법으로 효과를 입증했습니다.

4. 주요 기여 (Key Contributions)

1. VLM 실패 원인의 재정의: VLM 의 시각 - 언어 충돌 실패는 "보지 못함 (Perceptual Blindness)"이 아니라, 본래 보인 정보를 바탕으로 결정을 내리는 **"중재 과정 (Arbitration) 의 실패"**임을 입증했습니다.
2. MAC 분석 프레임워크: 시각적 증거와 언어적 편향이 경쟁하는 시점과 깊이를 정량화하는 새로운 분석 도구 (MAC) 를 제안했습니다.
3. 풀 시퀀스 인과성 검증: VLM 의 시각 정보가 분산되어 있음을 규명하고, 이를 검증하기 위해 '마지막 토큰 패치'를 넘어선 '풀 시퀀스 활성화 패치'의 필요성을 강조했습니다.
4. 실용적 해결책: 진단 (Diagnosis) 에서 개입 (Intervention) 으로 이어지는 파이프라인을 제시하며, 학습 없이 초기 레이어를 조정함으로써 모델의 시각적 충실도 (Visual Grounding) 를 개선할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 VLM 이 "보이는 것"과 "말하는 것" 사이의 괴리가 지각 능력의 결여가 아니라, 생성 과정에서의 의사결정 메커니즘 (Arbitration) 에 기인함을 명확히 했습니다.

• 안전 및 신뢰성: 고위험 환경 (의료, 자율주행 등) 에서 VLM 이 실제 시각 정보를 신뢰할 수 있도록 하려면, 인코딩 능력을 높이는 것보다 언어적 편향을 억제하고 시각적 증거를 최종 결정에 반영하는 중재 메커니즘을 개선해야 함을 시사합니다.
• 향후 방향: 모델의 크기를 키우는 것만으로는 이 문제를 완전히 해결할 수 없으며, 아키텍처적 구조나 중재 로직에 대한 체계적인 개입이 필요함을 강조합니다.

결론적으로, **"모델은 이미 잘 보고 있다 (VLMs already see well), 문제는 그들이 본 것을 어떻게 행동 (답변) 으로 옮기느냐에 있다."**는 것이 이 논문의 핵심 메시지입니다.