💻 computer science

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

이 논문은 멀티모달 거대 언어 모델이 거친 수준의 시각적 증거를 성공적으로 인코딩하지만, 언어적 사전 지식 대비 그 의존도를 안정적으로 제어하는 데 어려움을 겪는다는 점을 밝히며, 이러한 한계는 지도 미세 조정과 활성화 스티어링을 통해 완화될 수 있음을 보여준다.

원저자: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거의 모든 책을 읽고 수백만 시간의 영화를 본, 아주 똑똑한 로봇과 대화하고 있다고 상상해 보세요. 이 로봇은 '멀티모달 거대 언语言 모델(MLLM)'입니다. 마치 자신의 학습 데이터인 '사전 지식'으로부터 세상의 모든 것을 알고 있는 천재 사서와 같습니다. 하지만 이 로봇에게는 눈도 있습니다. 로봇은 사진을 보고 자신이 아는 것과 결합할 수 있습니다. 과학자들이 던져온 큰 질문은 이것입니다. 만약 로봇이 자신이 아는 것과 모순되는 사진(예를 들어 다리가 다섯 개 달린 말의 사진)을 본다면, 로봇이 실패하는 이유가 추가된 다리를 '보지 못해서'일까요, 아니면 다리를 '보았지만' 무시하기로 결정했기 때문일까요? 이 논문은 이 미스터리를 파헤치며, 로봇의 뇌를 탐정 소설처럼 다루어 어디에서 문제가 발생하는지, 즉 '감각'(보는 것)의 문제인지 아니면 '의사결정'(본 것을 사용하는 것)의 문제인지를 밝혀냅니다.

리 쟈앙(Jiaang Li)과 동료들이 이끄는 연구진은 영리한 두 단계의 조사를 통해 이 퍼즐을 풀고자 했습니다. 첫째, 연구진은 로봇이 실제로 사진 속의 이상한 부분을 '보고' 있는지 알고 싶었습니다. 이를 테스트하기 위해, 그들은 단순히 로봇에게 질문을 던지는 대신, 로봇의 내부 뇌 신호로부터 사진을 재구성해 보았습니다. 그 결과, 로봇이 틀린 답을 냈을 때조차도, 이상한 사진(예: 다리가 다섯 개 달린 말)의 '설계도'는 로봇의 최종적인 생각 속에 여전히 명확하게 남아 있음을 발견했습니다. 그것은 마치 로봇의 눈은 완벽하게 작동하고 있지만, 뇌가 눈을 감기로 선택한 것과 같았습니다. 이는 로봇이 세부 사항을 보지 못해 눈이 먼 것이라는 가설을 배제했습니다.

다음으로, 팀은 로봇이 자신의 눈을 믿는 것과 자신의 기억을 믿는 것 사이를 얼마나 잘 전환할 수 있는지 테스트하기 위해 'WhatIfVis'라는 새로운 게임을 만들었습니다. 그들은 자연의 법칙을 깨뜨리는 사진(예: 빨간색 수박)을 로봇에게 보여주고, 두 가지 방식으로 답하도록 요청했습니다: "사진만 보고 답하라" 또는 "사진은 무시하고 아는 것을 사용하라." 연구 결과, 추가적인 훈련 없이는 로봇이 기복이 심하다는 것을 발견했습니다. 어떤 때는 사진을 무시하고 교과서적인 답(예: 수박이 빨갛더라도 초록색이라고 말함)을 내놓았습니다. 또 어떤 때는 사진에 너무 꽂힌 나머지, 사진을 무시하라는 지시를 따르지 못했습니다. 로봇이 고장 난 것이 아니라, 언제 보고 언제 생각할지를 결정하는 신뢰할 수 있는 '스위치'가 없었던 것입니다.

하지만 좋은 소식은 연구진이 그 스위치를 찾아냈다는 점입니다. 단 한 종류의 까다로운 사진만으로 '지도 미세 조정(Supervised Fine-Tuning)'이라는 약간의 연습을 시킴으로써, 연구진은 로봇에게 주의력을 조절하는 법을 가르쳤습니다. 훨씬 더 나아가, 그들은 로봇의 뇌 안에 있는 특정 '노브(knob, 조절 손잡이)'—즉, 하나의 수학적 방향—을 발견했습니다. 이 노브를 통해 구두 지시 없이도 로토의 집중력을 켜거나 끌 수 있었습니다. 이 노브를 돌렸을 때, 로봇은 사진을 보든 무시하든 규칙을 따르는 데 훨씬 더 능숙해졌습니다.

또한, 이 연구는 로봇이 사진과 문장을 어떻게 다르게 처리하는지 비교했습니다. 연구진은 로봇이 자연의 법칙을 깨는 문장을 따르는 것이 사진을 따르는 것보다 훨씬 쉽다는 것을 발견했습니다. 이는 로봇이 보는 것보다 듣는 것에 훨씬 더 능숙하다는 뜻입니다. 이 격차는 로봇이 더 똑똑해지고 커질수록 더 벌어졌는데, 이는 모델이 성장할수록 자신이 보는 것을 무시하려는 고집이 더 세질 수 있음을 시사합니다.

결론적으로, 이 논문은 우리가 공부하는 크고 명백한 것들(색상, 크기, 동물의 다리 개수 등)에 대해, 이 AI 모델들이 실패하는 이유는 볼 줄 몰라서가 아니라고 제안합니다. 그들은 자신의 눈을 믿을지 아니면 기억을 믿을지를 결정하는 일관된 방법을 배우지 못했기 때문에 실패하는 것입니다. 하지만 연구진이 이 행동을 제어할 수 있는 특정 '노브'를 찾아냈다는 것은, 미래에 우리가 이 디지털 뇌를 더 유연하고 신뢰할 수 있게 만들어, 세상이 교과서와 다르게 보일 때도 잘 대처하도록 가르칠 수 있음을 의미합니다.

기술 요약: 보고 있는 것인가, 알고 있는 것인가? 멀티모달 거대 언어 모델의 시각적 문맥 민감도

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 입력과 사전 학습된 언어 모델(LLM)의 풍부한 파라미터적 사전 지식(parametric priors)을 통합합니다. 많은 작업에서 효과적임에도 불구하고, 시각적 증거가 내부의 세계 지식과 충돌할 때 시각 중심적인 작업에서 빈번하게 실패합니다. 학계는 전통적으로 이러한 실패를 지각 결함(Hypothesis H1)의 탓으로 돌려왔으며, 비전 인코더가 세밀한 디테일을 버리고 모델이 사전 지식에 의존하도록 강제한다고 주장해 왔습니다.

그러나 저자들은 두 가지 이중 실패 모드를 관찰했습니다:

사전 지식 주도 실패(Prior-dominant failures): 모델이 비정상적인 시각적 입력(예: 다리가 5개인 말)을 무시하고 사전 지식(다리 4개)에 기반하여 답변함.
문맥 주도 실패(Context-dominant failures): 이미지를 무시하라는 명시적 지시를 무시하고, 정형적인 지식과 상충되는 시각적 증거에 기반하여 답변함(예: 수박 껍질의 색을 물었을 때 평소 색상을 답하는 것이 아니라 이미지에 따라 "빨간색"이라고 답함).

본 논문은 핵심 문제가 모델이 증거를 볼 수 없는 것이 아니라, 언제 시각적 문맥에 의존하고 언제 파라미터적 사전 지식에 의달할지에 대한 **제어 가능한 정책(controllable policy)**이 부족한 것이라고 가정합니다(Hypothesis H2). 이를 **시각적 문맥 민감도(Visual Context Sensitivity)**라고 부릅니다. 저자들은 지각(보는 것)과 활용(사용하는 것)을 분리하여 병목 현상이 어디에 있는지, 그리고 이를 제어할 수 있는지 확인하고자 합니다.

2. 방법론

본 연구는 활용 실패를 격리하고 해결하기 위해 세 가지 접근 방식을 채택했습니다.

A. 이미지 재구성을 통한 지각 프로빙 (H1 테스트)

시각적 증거가 LLM 백본에 도달하기 전에 손실되는지 확인하기 위해, 저자들은 생성적 프로브(generative probe)를 수행합니다.

설정: MLLM을 동결(freeze)하고, 오직 최종 레이어의 이미지 토큰만을 사용하여 역설적(counterfactual) 이미지를 재구성하려고 시도합니다.
설계: Metaquery에서 변형된 프레임워크를 사용하여, 동결된 MLLM과 학습 가능한 커넥터(connector), 그리고 이미지 디코더(SANA)를 쌍으로 구성합니다. 결정적으로, 커넥터와 디코더는 실제 세계의 이미지만으로 학습되었으며, 역설적 이미지는 한 번도 본 적이 없습니다.
목표: 만약 디코더가 동결된 MLLM의 토큰으로부터 역설적 속성(예: 비정상적인 다리 개수)을 성공적으로 재구성할 수 있다면, 시각적 증거는 표현(representation) 내에 보존되어 있었음을 의미하며, 이는 H1을 반박합니다.

B. WhatIfVis 벤치마크 (H2 테스트)

시각적 문맥과 사전 지식 사이를 전환하는 모델의 능력을 측정하기 위해, 저자들은 3,049개의 역설적 샘플로 구성된 WhatIfVis 벤치마크를 도입합니다.

구조: 공간-시간(Spatial-Temporal), 색상(Color), 개수(Count), 크기(Size), 무게(Weight)의 5가지 거시적 차원을 다룹니다.
메커니즘: 각 예시는 역설적 이미지(또는 텍스트 진술)와 질문을 쌍으로 가집니다. 모델은 두 가지 엄격한 의도 지시 하에 테스트됩니다:
1. 문맥 주도(Context-dominant): "이미지/진술만을 고려하십시오."
2. 사전 지식 주도(Prior-dominant): "이미지/진술를 무시하십시오."
지표: 동일한 예시에 대해 두 의도 모두에 대해 올러바르게 답해야 하는 결합 지표인 PairAcc(Pair Accuracy)를 사용합니다. 이는 단순히 단일 작업에 대한 정확도가 아니라, 문맥 민감도를 제어하는 능력을 격리하여 측정합니다.

C. 활성화 패칭(Activation Patching) 및 서브스페이스 스티어링(Subspace Steering)

시각 대 사전 지식의 트레이드오프를 조절하는 메커니즘을 찾아내고 제어하기 위해 다음을 수행합니다:

활성화 패칭: 두 의도를 안정적으로 따르는 지도 미세 조정(SFT) 모델을 사용하여, 트레이드오프가 계산되는 특정 레이어를 식별하기 위해 인과적 추적(causal tracing)을 적용합니다.
서브스페이스 스티어링: 저자들은 트레이드오프가 잔차 스트림(residual stream) 내의 1차원 서브스페이스(벡터)에 인코딩되어 있다고 가설을 세웁니다. 이 서브스페이스를 가로지르는 단위 벡터 $u$ 를 학습합니다.
제어: 텍스트 지시를 사용하는 대신, 추론 중에 학습된 이 벡터를 따라 스칼라 상수 $c(w)$ 를 적용하여 모델을 시각적 문맥 또는 사전 지식 중 하나로 유도(steer)합니다.

3. 주요 결과 및 발견

1. 시각적 증거는 보존됨 (H1 반박)

재구성 성공: 세 가지 서로 다른 모델 제품군(Qwen2.5-VL, Qwen3.5, Gemma-4) 전체에서 거시적인 역설적 속성(정체성, 포즈, 개수, 지배적 색상)이 최종 레이어 이미지 토큰으로부터 성공적으로 재구성되었습니다.
지표 증거: 역설적 토큰으로부터의 재구성은 실제 이미지보다 역설적 참조 이미지에 메트릭 측면에서 더 가까웠습니다 (예: 실제 이미지의 경우 mIoU < 0.83인 반면, 역설적 이미지의 경우 mIoU > 0.86).
결론: 시각적 증거는 지각 과정에서 저하되지 않습니다. 실패의 원인은 지각 문제가 아니라 활용 문제입니다.

2. 일반 모델은 안정적인 제어가 부족함 (H2 확인)

취약성: 일반(비 SFT) 모델은 불안정한 문맥 민감도를 보입니다. 어떤 속성(예: 색상)에 대해서는 이미지를 따르지만, 다른 속성(예: 무게)에 대해서는 무시하는 등 일관성이 없습니다.
PairAcc 붕동: 일반 모델은 추론 집약적 작업(개수, 무게)에서 거의 0에 가까운 PairAcc를 기록했으며, 다른 작업에서도 낮은 점수를 보였습니다. 이는 모델이 요구에 따라 문맥을 신뢰할 수 있게 전환하지 못함을 나타냅니다.
SFT는 제어 능력을 향상시킴: 단일 하위 집합(공간-시간)에 대한 지도 미세 조정(SFT)은 모든 작업과 모델에서 PairAcc를 크게 높였으며, 이는 제어 가능성이 학습 가능한 일반적 능력임을 입증합니다.

3. 트레이드오프는 국소화되어 있으며 제어 가능함

레이어 국소화: 활성화 패칭은 시각 대 사전 지식의 트레이드오프가 각 아키텍처에 특화된 좁고 반복적인 레이어 대역(중상단부)에서 해결됨을 보여줍니다.
스티어링 벡터: 이 서브스페이스 내의 단일 학습된 벡터가 "노브(knob)" 역할을 합니다. 이 벡터를 적용하면 의도 지시 없이도 일반 모델보다 제어 능력이 향상됩니다 (매크로 Pair Acc를 14.7%에서 37.7%로 상승시킴).
특이성: 동일한 서브스페이스 내의 무작위 벡터는 성능을 저하시키며, 이는 효과가 단순한 랭크-1 개입이 아니라 특정 학습된 방향에서 온다는 것을 확인시켜 줍니다.

4. 양상 간의 비대칭성

텍스트 vs. 시각: 양상 간의 격차가 큽니다. 텍스트 기반 문맥 민감도는 시각적 문맥 민감도보다 훨씬 더 제어하기 쉽습니다.
스케일링: 모델 크기가 커질수록 텍스트와 시각 간의 제어력 격차는 더 벌어집니다 (Qwen2.5-VL에서 9.1 pp에서 20.6 pp로 증가).
근본 원인: 결함은 주로 시각적 증거를 따르라는 요구를 따르는 것에 대한 실패이지, 그것을 무시하는 데 대한 실패가 아닙니다. 증거를 무시하는 능력(사전 지식 의도)은 양상 간에 거의 동일합니다.

4. 의의 및 주장

본 논문은 MLLM 실패의 병목 지점을 지각에서 활용으로 재정의할 것을 주장합니다.

문제의 재정의: 거시적 속성에 대해 MLLM은 시각적 증거를 충실히 인코딩하지만, 이를 언제 사용할지에 대한 일관되고 제어 가능한 정책이 부족합니다. 문제는 "맹목"이 아니라 "신뢰할 수 없는 의존"입니다.
메커니즘 식별: 시각 대 사전 지식의 트레이드오프는 네트워크 아키텍처의 국소화되고 압축적인 속성이며, 특정 레이어에 존재하고 학습된 벡터를 통해 제어될 수 있습니다.
지시 없는 제어: 저자들은 명시적인 프롬프트 지시 없이도 학습된 서브스페이스 벡터를 조작함으로써 시각적 문맥 민감도를 효과적으로 조절할 수 있음을 보여줍니다.
양상 격차: 이 연구는 MLLM이 텍스트 기반의 역설적 상황보다 시각적 역설적 상황을 따르는 데 훨씬 더 서툴며, 이 격차가 모델 규모가 커짐에 따라 지속되고 심화된다는 점을 강조합니다.

저자들은 "보는 것"과 "사용하는 것"을 분리함으로써, 사전 지식과 충돌할 때 시각적 증거를 따르도록 명시적으로 지시할 수 있는 MLLM을 구축하는 데 있어 더 확고한 토대를 마련할 수 있다고 결론짓습니다.