기술 요약: 멀티모달 대규모 언어 모델의 공간적 어휘 편향(Spatial Lexical Bias)에 대한 기계론적 진단

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 특히 객관식 질문(MCQ) 형식의 공간 추론 작업에서 빈번하게 실패한다. 기존 연구들은 이러한 실패를 약한 시각적 접지(visual grounding), 시각적 증거 부족, 또는 잘못된 시각적 주의(visual attention)의 탓으로 돌리는 경우가 많았으나, 본 논문은 이와 상보적이면서도 체계적인 실패 모드인 **공간적 어휘 편향(Spatial Lexical Bias)**을 식별한다.

관찰된 핵심 현상은 이진 안정적이나 삼항 취약적(Binary-Stable but Ternary-Fragile, BSTF) 행동이다. BSTF 사례에서 MLLM은 이진 공간 질문(예: "물체가 왼쪽에 있습니까, 오른쪽에 있습니까?")에는 올바르게 답하지만, 세 번째로 그럴듯한 공간 옵션이 추가될 경우(예: "왼쪽, 오른쪽, 뒤쪽") 옵션의 순서와 상관없이 일관되게 실패한다. 모델은 새로 추가된 공간 단어를 정답으로 선택하는 경향이 있으며, 이는 실패의 원인이 시각 정보의 손실 때문이 아니라, 추가된 공간 어휘의 의미 구조에 의해 유발된 언어 측면의 의사결정 과정 왜곡임을 시사한다.

2. 방법론

2.1 진단 프레임워크

저자들은 9개의 오픈 웨이트 MLLM(LLaVA, Qwen, InternVL 제품군)과 3개의 합성 데이터셋(Sphere–Cube, Sphere–Dog, Sphere–Dog Outdoor)을 사용하여 통제된 평가 파이프라인을 구축하였다.

• 엄격한 채점: 위치 편향을 제거하기 위해, 모든 옵션 순서의 순열(예: 삼항 질문의 경우 6가지 모든 순열)에 대해 모델이 올바르게 답해야만 정답으로 간주한다.
• BSTF 선택: 이진 강건 정확도(binary robust accuracy)는 완벽(1.00)하지만, 특정 공간 옵션을 추가했을 때 삼항 정확도가 최소 80 퍼센트 포인트 이상 하락하는 사례를 필터링하였다. 이를 통해 7개 모델에서 55개의 고신뢰도 진단 사례를 확보하였다.

2.2 기계론적 해석 가능성(Mechanistic Interpretability)

실패의 위치를 결정하기 위해 저자들은 세 가지 진단 도구를 사용하였다:

1. 시각적 주의 분석(Visual Attention Analysis): 이진 정답 프롬프트와 삼항 오답 프롬프트 간의 어텐션 맵을 비교하여 모델이 관련 객체로부터 주의를 돌리는지 확인한다.
2. 잔차 스트림 프로빙(Residual Stream Probing): 마지막 토큰의 잔차 스트림 벡터에 선형 프로브를 학습시켜, 모델이 오답을 출력할 때조차 올바른 공간 관계가 디코딩 가능한 상태인지 확인한다.
3. 활성화 패칭 및 희소 개입(Activation Patching & Sparse Intervention):
   • 패칭(Patching): 결정을 내리는 신호가 전환되는 지점을 식별하기 위해 레이어별로 이진 정답 프롬프트와 삼항 오답 프롬프트 사이의 잔차 스트림 상태를 교체한다.
   • 희소 제거(Sparse Knockout): 추가된 옵션 토큰 위치의 특정 잔차 스트림 채널과 MLP 뉴런을 제로화하여 오류를 수정할 수 있는지 확인한다.

2.3 완화 전략

저자들은 이 편향이 **LLM 전용 직접 선호 최적화(LLM-only Direct Preference Optimization, DPO)**를 통해 복구될 수 있는지 테스트하였다.

• 데이터: 단일 객체 쌍(torus–pyramid)과 네 가지 관계 변형에서 유도된 최소한의 합성 선호 데이터셋을 사용한다.
• 학습: 비전 인코더와 프로젝터는 동결한 채, LoRA 어댑터를 사용하여 LLM 디코더만을 업데이트한다.
• 목표: 새로운 시각적 감독 없이 언어 측면의 의사결정 과정만을 조정함으로써 편향을 완화할 수 있는지 검증한다.

3. 주요 결과

3.1 시각적 증거는 회복 가능하다

• 주의(Attention): 이진 정답 및 삼항 오답 프롬프트에 대한 어텐션 히트맵은 동일한 객체 영역에 집중되어 있다. 추가된 공간 옵션이 관련 증거로부터 시각적 주의를 분산시키지 않는다.
• 프로빙(Probing): 선형 프로브는 삼항 오답 사례에서도 마지막 토큰의 잔차 스트림으로부터 실제 공간 관계를 거의 100% 정확도로 회복한다(매크로 정확도 0.998). 이는 시각적 정보가 내부적으로 존재하지만 최종 결정에는 활용되지 않음을 확인해 준다.

3.2 편향은 언어 측면에 존재하며 구조적이다

• 특이성(Specificity): 추가된 공간 옵션을 무관한 단어(예: "violin")로 대체했을 때는 정확도가 소폭 하락(16.7 pp)했으나, 공간 옵션을 추가했을 때는 대폭 하락(97.8 pp)했다. 이는 편향이 단순히 선택지의 수가 늘어난 것이 아니라, 공간 단어 간의 의미적 상호작용에서 기인함을 확인시켜 준다.
• 국소화(Localization):
  • 레이어별: 활성화 패칭 결과, 결정 전환은 LLM의 중후반 레이어(약 60~64% 깊이)에서 발생한다.
  • 구성 요소별: 초기-중기 레이어의 추가된 옵션 토큰 위치에서 단 100개의 잔차 채널 또는 200개의 MLP 뉴런을 희소 제거(Sparse knockout)하는 것만으로도 올바른 예측을 복구할 수 있었으며, 이를 통해 편향의 "지렛대 지점(leverage points)"을 식별하였다.

3.3 LLM 전용 복구가 효과적이다

• 합성 데이터: 단일 쌍 데이터셋을 사용하여 LLM 디코더에 LoRA-DPO를 적용한 결과, 합성 테스트 세트의 4방향 강건 정확도가 최대 100 퍼센트 포인트까지 향상되었다(예: 0% 근처에서 ~80-100%로).
• 일반화: 복구 효과는 더 넓고 노이즈가 있는 공개 벤치마크로 전이되었다:
  • WhatsUp: +68.0 포인트
  • SpatialMQA-Direct: +32.6 포인트
  • VSR: +20.1 포인트
• 보존: 복구 과정에서 이진 정확도는 유지하면서 삼항 및 4방향 실패를 해결하였는데, 이는 모델이 원래의 공간 추론 능력을 잃지 않으면서 언어적 편향에 저항하도록 학습되었음을 나타낸다.

4. 의의 및 주장

본 논문은 MLLM의 공간 추론 실패에 대한 이해를 순수한 시각적 결함에서 언어 측면의 어휘 편향으로 전환한다고 주장한다.

• 기계론적 통찰: 특정 LLM 측 구성 요소(잔차 채널 및 MLP 뉴런)가 공간 옵션 선택을 조절하며, 이러한 실패 중에도 올바른 시각적 관계가 내부에 존재한다는 인과적 증거를 제공한다.
• 실행 가능성: 이 연구는 이러한 편향이 조치 가능하다는 것을 보여준다. 최소한의 합성 데이터를 사용한 가벼운 LLM 전용 업데이트가 이러한 실패 모드를 실질적으로 복구할 수 있음을 입증하며, 이는 전체 멀티모달 아키텍처를 재학습하는 대신 언어 모델의 의사결정 과정을 튜닝함으로써 공간 추론의 강건성을 개선할 수 있음을 시사한다.
• 한계: 저자들은 자신들의 결과가 통제된 4방향 공간 관계에 국한된다는 점을 언급한다. 메커니즘은 국소화될 수 있으나, 본 연구가 완전한 회로(circuit)를 매핑했다고 주장하는 것은 아니며, 더 풍부한 공간 관계를 가진 복잡한 오픈 월드 장면에서의 복구 효능은 여전히 미해결 과제로 남아 있다.

요약하자면, 본 연구는 MLLM이 올바른 공간 관계를 "알고" 있음에도 불구하고 정답의 어휘 구조에 의해 오도될 수 있다는 점을 규명하였으며, 이러한 특정 실패 모드는 언어 모델 측에 대한 표적 개입을 통해 진단 및 완화될 수 있음을 입증하였다.