기술 요약: 시각-언어 모델(VLM) 내 시각 정보 흐름의 경로

문제 정의

시각-언어 모델(VLM)은 복잡한 멀티모달 과제를 성공적으로 해결하지만, 텍스트 생성 과정 중 언어 모델 내부에서 시각 정보가 구체적으로 어떻게 라우팅되고 통합되는지에 대한 메커니즘은 여전히 불분명하다. 기존 연구들은 이러한 메커니즘에 대해 상충하는 결론을 내놓았다. 일부 연구는 시각 정보가 이미지 토큰에서 최종 출력 토큰으로 직접 흐른다(직접 경로, direct pathway)고 주장하는 반면, 다른 연구들은 시각 정보가 항상 텍스트/쿼리 토큰을 거쳐 최종 토큰에 도달한다(텍별 매개 경로, text-mediated pathway)고 주장한다.

기존 연구의 결정적인 한계는 어텐션 개입(예: attention knockouts)에 의존한다는 점이다. 이러한 방법들은 특정 구성 요소의 필요성(모델이 특정 구성 요소 없이 과제를 수행할 수 있는지 여부)을 테스트할 뿐, 사용성(모델이 표준 추론 중에 실제로 해당 구성 요소를 사용하는지 여부)을 테스트하지는 못한다. 결과적으로, VLM이 정상적인 조건 하에서 정보를 어떻게 라우팅하는지, 그리고 잠재적인 대체 경로(fallback)로서 다른 경로가 존재하는지 여부는 불확실한 상태로 남아 있다.

방법론

저자들은 무엇을 할 수 있는지와 무엇을 통상적으로 하는지를 구분하기 위해 카운터팩추얼(counterfactual, 반사실적) 예제를 활용한 **인과적 패칭(causal patching)**을 채택한다. 본 연구는 세 가지 시각적 과제에 걸쳐 통제된 실험 설계를 활용한다:

1. 객체 인식 (Object Recognition): 엔티티 식별.
2. 공간 관계 (Spatial Relations): 엔티티 간의 위치 관계 추론.
3. 객체 위치 파악 (Object Localization): 엔티티를 전역 위치에 매핑.

데이터: 일반화 성능을 테스트하기 위해 합성 데이터셋(제어된 프리미티브를 가진 유색 도형)과 자연 데이터셋(예: COCO, Visual Genome, What's Up) 모두에서 실험을 수행한다.

모델: 본 연구는 Qwen3-VL-4B, InternVL3.5-4B, LLaVA-1.5-7B를 평가한다.

개입(Interventions):

• 인과적 패칭 (Causal Patching): 카운터팩추얼 입력(다른 이미지, 동일 텍스트)으로부터 추출된 은닉 표현(hidden representations)을 특정 레이어에서 원래 입력의 순방향 패스(forward pass)에 삽입한다. 이는 "복구 점수(Restoration Score)"를 측정하며, 패칭된 토큰 세트가 모델의 예측을 바꿀 만큼 충분한 정보를 포함하고 있는지를 나타낸다.
• 어텐션 녹아웃 (Attention Knockouts): 특정 어텐션 엣지(attention edges)를 억제하여 경로의 필요성을 테스트한다.
• 손상된 입력 패칭 (Corrupted-Input Patching): 유효한 이미지의 텍스트 표현을 이미지가 무작위 노이즈로 대체된 추론 실행 과정에 패칭한다. 이를 통해 텍스트 토큰만으로 충분한 시각적 신호를 인코딩할 수 있는지 테스트한다.

경로 정의:

• 직접 경로 ($r_{I \to last}$): 최종 토큰이 이미지 토큰을 직접 어텐션(attend)함.
• 텍스트 매개 경로 ($r_{I \to T} \to r_{T \to last}$): 시각 정보가 이미지 토큰에서 텍스트/쿼리 토큰으로 전달된 후, 해당 텍스트 토큰을 최종 토큰이 읽음.

주요 결과

1. 과제 의존적 경로 선택

본 연구는 VLM이 특정 과제에 따라 서로 다른 경로를 활용함을 확인했다:

• 객체 인식: 직접 경로에 의존한다. 인과적 패칭 결과, 최종 토큰은 네트워크 전반에 걸쳐 이미지 토큰으로부터 시각 정보를 직접 읽는다. 텍스트 토큰을 패칭하는 것은 출력에 영향을 미치지 않는다.
• 공간 관계: 텍스트 매개 경로에 의존한다. 시각 정보는 중간 레이어에서 텍스트 토큰으로 전달된다. 일단 이 전이가 발생하면, 이미지 토큰을 패칭해도 더 이상 예측에 영향을 주지 않으며, 이는 최종 토큰이 텍스트 표현에 의존함을 나타낸다.
• 객체 위치 파악: 경로는 데이터 분포에 의해 조절된다.
  • 합성 데이터에서는 모델이 직접 경로를 사용한다.
  • 자연 데이터에서는 모델이 텍스트 매개 경로로 전환되는데, 이는 시각적 복잡성이 증가하고 방해 요소가 많은 장면에서의 그라운딩(grounding)이 필요하기 때문으로 보인다.

2. 프롬프트 설계에 의한 조절

프롬프트 설계는 경로 선택에 영향을 미친다. 객체 인식의 경우, "개방형(open)" 생성 프로토콜(자유 형식 텍스트)은 직접 경로를 유지한다. 그러나 "선택지(choices)" 프로토콜(고정된 후보군 중에서 선택)은 텍스트 매개 경로로의 전환을 유도하며, 이는 출력 공간의 제약이 내부 라우팅 전략을 변화시킨다는 것을 시사한다.

3. 유연한 대체 경로(Fallback)로서의 경로

이러한 경로들은 고정된 것이 아니라, 백업 대안으로서 공존한다는 중요한 발견이 있었다.

• 손상된 입력 패칭: 이미지가 노이즈로 대체되었을 때도 모델은 텍스트 매개 경로만을 사용하여 정답을 복구할 수 있다. 이는 직접 경로가 지배적인 과제(예: 객체 인식)에서도 마찬가지로 적용된다.
• 어텐션 녹아웃: 직접 경로($r_{I \to last}$)를 차단하더라도 정확도에 미치는 영향은 미미하다. 모델은 성능을 유지하기 위해 텍스트 매개 경로를 통해 성공적으로 재라우팅(reroute)한다. 반대로, 텍스트 매개 경로를 방해하면 성능이 크게 저하된다.

의의 및 주장

본 논문은 시각 정보 흐름에 대한 **메커니즘적 특성화(mechanistic characterization)**를 제공함으로써, 문헌의 상충하는 결론들을 통합한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 개입 편향 (Intervention Bias): 표준적인 절제 기반 개입(예: 어텐션 녹아웃)은 fallback 경로를 활성화할 위험이 있다. 모델이 특정 구성 요소 없이 과제를 수행할 수 있다는 능력이 그 구성 요소를 정상적으로 사용한다는 것을 의미하지는 않는다. 이것이 왜 서로 다른 연구들이 동일한 과제에 대해 상충하는 메커니즘을 보고했는지에 대한 설명이 된다.
2. 내부 메커니즘의 유연성: VLM은 유연한 라우팅 전략을 보유하고 있다. 텍스트 매개 경로는 직접적인 시각 스트림이 제거되거나 손상되더라도 과제를 해결할 수 있는 충분한 시각 정보를 인코딩한다.
3. 방법론적 시사점: 모델의 정보 처리 방식을 정확하게 규명하기 위해서는, 사용성 민감 개입(인과적 패칭)과 필요성 테스트(녹아웃)를 반드시 결합해야 한다. 단일 방법에 의존하는 것은 모델 행동에 대해 불완전하거나 오도된 결론을 초래할 수 있다.

저자들은 VLM의 시각 정보 통합이 단일한 고정 메커니즘이 아니라, 과제, 데이터 분포, 프롬프트 설계에 따라 경로 선택이 달라지는 동적인 시스템이며, 텍스트 매개 라우팅이 견고하고 잠재적인 fallback 메커니즘 역할을 한다고 결론짓는다.