Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

기술 요약: 비전 인코더를 넘어: 대규모 시각-언어 모델(LVLM)의 공간적 편향 식별 및 완화

1. 문제 정의

대규모 시각-언어 모델(LVLM)은 다양한 멀티모달 작업에서 상당한 성공을 거두었으나, 공간적 변화에 대한 불충분한 강건성을 보입니다. 구체적으로, 현재의 LVLM은 동일한 핵심 시각 정보가 이미지 내의 서로 다른 위치에 배치될 때 일관되지 않거나 모순된 출력을 생성하는 경향이 있습니다. **공간적 편향(spatial bias)**이라 불리는 이 현상은 모델의 의미론적 이해가 위치 불변적(position-invariant)이지 않고 특정 공간적 선호도에 치우쳐 있음을 시사합니다.

기존 연구들은 공간적 편향을 객체 환각(object hallucination)이나 회전 위치 임베딩(RoPE)의 장기적 감쇠 효과와 연결 지었으나, 본 논문은 이러한 설명들이 일반성이 부족하거나 근본적인 의미론적 이해의 핵심 원인을 해결하지 못한다고 주장합니다. 본 논문은 이러한 편향이 비전 인코더의 지각 또는 인코딩 능력 때문이 아니라, 비전 인코더와 대규모 언어 모델(LLM) 백본 사이의 어텐션 메커니즘 간의 불일치에서 기인한다고 상정합니다.

2. 방법론 및 분석

A. 공간적 강건성의 체계적 탐색
저자들은 공간적 편향을 정량화하기 위해 이미지-텍스트 매칭에 기반한 통제된 탐색 데이터셋을 구축했습니다.

• 데이터셋 구축: LAION에서 10,000개의 이미지-캡션 쌍을 샘플링했습니다. 각 핵심 이미지에 대해 8개의 방해 이미지를 추출했습니다. 핵심 이미지와 방해 이미지들을 $3 \times 3$ 그리드 형태로 배치하여 합성 이미지를 만들었습니다.
• 실험 설정: 캡션과 방해 이미지는 고정한 채, 핵심 이미지를 9개의 그리드 위치($n=0$부터 $8$까지)로 체계적으로 이동시켰습니다. 모델에게 합성 이미지가 타겟 이미지를 포함하고 있는지 여부를 묻는 이진 질문을 던졌습니다.
• 결과: Qwen2.5-VL, LLaVA-v1.6, InternVL3를 포함한 6개의 대표적인 LVLM을 대상으로 실험한 결과, 서로 다른 그리드 위치에 따라 유의미한 정확도 변동이 나타났습니다. 특히, 성능이 토큰 거리와 강한 상관관계를 보이지 않았는데, 이는 편향이 주로 RoPE의 장기적 감쇠에 의해 발생하는 것이 아님을 시사합니다.

B. 근본 원인 분석
저자들은 편향의 원인을 격리하기 위해 시각 처리 파이프라인을 두 단계로 분해했습니다.

1. 지각 단계 (Eraser Search): 마스킹 실험을 통해, LVLM이 공간적 위치와 관계없이 핵심 영역을 일관되게 식별함을 확인했습니다. 즉, 지각(Perception)은 공간적으로 강건합니다.
2. 의미론적 이해 단계 (비전 인코더): 위치에 따른 시각적 특징과 텍스트 임베딩 간의 코사인 유사도를 측정한 결과, 비전 인코더는 위치와 독립적으로 안정적이고 의미론적으로 정렬된 표현을 생성함을 발견했습니다.
3. LLM 병목 현상: 지각과 비전 인코딩이 모두 강건함에도 불구하고 편향이 발생하는 이유는 LLM의 교차 모달 추론에서 기인합니다. 저자들은 LLM의 인과적 셀프 어텐션(causal self-attention) 메커니즘(토큰이 이전 토큰에만 주의를 기울이도록 제한하는 방식)이 Vision Transformer(ViT) 인코더가 구축한 **양방향 글로벌 정보 흐름(bidirectional global information flow)**을 방해한다고 가설을 세웠습니다. 이로 인해 이미지 토큰이 LLM 레이어를 통과하면서 전역적인 맥락(global context)에 접근하는 능력을 상실하게 되며, 결과적으로 각 토큰의 기여도가 위치에 과도하게 의존하게 됩니다.

C. 제안된 솔루션: 적응형 글로벌 맥락 주입 (AGCI)
구조적 변경 없이 이를 완화하기 위해, 저자들은 각 이미지 토큰에 공유된 글로벌 시각 맥락을 동적으로 주입하는 경량 메커니즘인 AGCI를 제안합니다.

• 메커니즘:
  1. 모든 이미지 토큰의 평균 표현으로서 글로벌 이미지 맥락 $\tilde{g}$를 계산합니다.
  2. 각 이미지 토큰 $\tilde{v}_i$와 글로벌 맥락 사이의 의미론적 유사도 $w_i$를 계산합니다.
  3. $(1 - w_i)$에 비례하는 적응적 강도로 글로벌 맥락을 각 토큰에 주입합니다:
     $$\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$$
  4. 여기서 $\lambda$는 미세한 디테일을 보존하기 위한 안전 밸브 역할을 하는 하이퍼파라미터입니다. 글로벌 의미론적 관련성이 낮은 토큰일수록 더 강한 보충을 받게 됩니다.

3. 주요 결과

A. 공간적 강건성 (탐색 태스크)

• AGCI는 테스트된 모든 모델에서 그리드 위치에 따른 정확도 편차($\Delta$)를 유의미하게 감소시켰습니다.
• 초기 편향이 높았던 모델(예: LLaVA-v1.6)의 경우, AGCI를 통해 편차를 14.93에서 8.05로 줄였으며 평균 정확도를 70.82에서 80.75로 향상시켰습니다.
• 더 큰 규모의 모델(예: Qwen2.5-VL-72B)의 경우, AGCI는 평균 정확도를 70.12에서 86.11로 높이면서도 낮은 편차를 유지했습니다.

B. 다운스트림 태스크 성능
AGCI는 경량 LoRA 파인튜닝을 통해 6개의 다운스트림 벤치마크에서 평가되었습니다:

• 복합 추론 (MMMU-Pro, ScienceQA): AGCI는 특히 10지선다형 설정에서 성능을 향상시켜, 시각적 단서와 글로벌 이해의 결합이 개선되었음을 보여주었습니다.
• 환각 벤치마크 (CRPE, HallusionBench, POPE): AGCI는 일반적으로 환각 경향을 줄이고 예측 신뢰도를 높였습니다. 예를 들어, POPE에서 Qwen3-VL의 평균 정확도는 84.51에서 86.96으로 향상되었습니다.
• OCR 태스크 (TextVQA): AGCI는 강력한 이득을 보였으며(예: LLaVA-v1.6에서 +4.93), 이는 글로벌 맥락이 분산된 텍스트 영역을 통합하는 데 도움이 됨을 시사합니다.

C. 정보 흐름 시각화
어텐션 맵 시각화를 통해, 베이스라인 모델들이 위치 편향으로 인해 종종 무관한 공간 영역(예: 좌측 상단 모서리)에 집중한다는 것을 확인했습니다. AGCI를 적용한 후에는 어텐션이 작업 관련 영역(예: 특정 OCR 텍스트)에 더 집중되었으며, 이는 AGCI가 균형 잡힌 맥락 표현을 복원함을 입증합니다.

4. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. 체계적 조사: 동일한 시각적 콘텐츠의 공간적 위치에 따라 LVLM의 예측이 크게 달라질 수 있음을 실증적으로 입증하여, 현재의 공간적 이해 능력에 있는 결정적인 약점을 밝혀냈습니다.
2. 근본 원인 식별: 공간적 편향의 원인이 비전 인코더나 RoPE 감쇠가 아니라, LLM의 인과적 어텐션 메커니즘으로 인한 글로벌 이미지 맥락의 손실에 있음을 명확히 규명했습니다.
3. 효과적인 완화: 구조에 구애받지 않는 단순한 방법인 AGCI를 도입하여, 고유한 능력을 희생하지 않으면서도 공간적 강건성과 다운스트림 성능을 모두 향상시켰습니다.

저자들은 AGCI가 양방향 비전 인코딩과 인과적 언어 모델링 사이의 불일치로 발생하는 불일치를 완화함으로써, 교차 모달 추론 과정에서 글로벌 맥락에 대한 안정적인 접근을 복원한다고 강조합니다. 이 연구는 위치 불변적인 멀티모달 이해를 달객하기 위해서는 글로벌 시각 의미론을 명시적으로 강화하는 것이 필수적임을 시사합니다.