기술 요약: MLLM은 제대로 이해했다가, 다시 틀린다: 후기 레이어의 텍스트 편향 추적 및 교정

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 증거와 텍스트 정보가 충돌할 때 텍스트 정보에 대해 일관된 편향을 보입니다. 이미지가 명확한 사실(예: 빨간색 자동차)을 제공하더라도, MLLM은 종종 상충하는 텍스트(예: "파란색 자동차")가 제안하는 답을 출력합니다. 이러한 "텍스트 덮어쓰기(textual override)" 현상은 의료 진단이나 자율 주행과 같이 안전이 중요한 응용 분야에서 시각적 인지보다 잘못된 텍스트를 신뢰함으로써 심각한 오류를 초래할 수 있어 큰 위험이 됩니다.

기존 연구들은 이 현상을 기록해 왔으나, 그 근저에 있는 메커니즘은 밝혀내지 못했습니다. 이러한 실패가 미흡한 초기 시각적 인코딩 때문인지, 교차 모달 융합 과정에서의 정보 손실 때문인지, 아니면 시각 데이터를 올바르게 처리한 후 깊은 레이어에서 텍스트 사전 지식(priors)에 의해 정보가 사후적으로 덮어씌워지는 것인지 여부는 여전히 불분명합니다.

2. 방법론 및 분석

2.1 레이어별 추적 및 모달 지배도 비율 (MDR)

실패 메커니즘을 조사하기 위해, 저자들은 각 레이어에서 예측 궤적을 추적합니다. 이들은 각 레이어 $l$에서의 은닉 상태(hidden states)를 언어 모델 헤드로 투영하여 출력 확률을 구합니다. 또한 시각적($w_{vis}$) 답변과 텍스트적($w_{text}$) 답변에 대한 선호도를 정량화하기 위해 **모달 지배도 비율(MDR)**을 도입합니다:
$$\text{MDR}^{(l)} = \log \frac{P^{(l)}_t(w_{vis})}{P^{(l)}_t(w_{text})}$$

• 양(+)의 MDR: 시각적 답변 선호.
• 음(-)의 MDR: 텍스트적 답변 선호.

2.2 "후기 레이어 텍스트 덮어쓰기" 현상

Conflict-Incorrect 샘เซล플(모델이 실패하는 경우)을 분석한 결과 놀라운 패턴이 발견되었습니다:

1. 초기 정확성: 중간 레이어에서 모델은 정답인 시각적 답변에 더 높은 확률을 할당합니다 (양의 MDR).
2. 덮어쓰기: 후기 레이어로 갈수록 MDR이 음수로 바뀌며, 모델은 오답인 텍스트적 답변으로 선호도를 전환합니다.
3. 결론: 시각 정보는 성공적으로 인코딩되었으나, 전체 순방향 패스(forward pass)를 거치는 동안 후기 레이어의 처리 과정으로 인해 생존하지 못하고 실패합니다.

2.3 정확성의 방향성 시그니처

저자들은 예측의 변화가 성공적인 경우와 실패하는 경우 모두에서 발생한다는 점을 관찰했습니다. 그러나 변화의 방향이 이 둘을 구분합니다:

• 실패 (Conflict-Incorrect): 85%의 전이가 텍스트 쪽으로 이동합니다 ($\Delta \text{MDR} < 0$).
• 성공 (Conflict-Correct 및 Non-Conflict): 89–91%의 전이가 시각 쪽으로 이동하거나 안정적으로 유지됩니다 ($\Delta \text{MDR} > 0$).

이러한 방향성 비대칭성은 후기 레이어가 때로는 예측을 정교화(유익함)하지만, 때로는 시각적 증거를 억제(해로움)한다는 것을 시사합니다.

2.4 충돌 인식 레이어 참조 디코딩 (CALRD)

이러 연구 결과를 바탕으로, 저자들은 훈련이 필요 없는 추론 시점의 개입 방법인 CALRD를 제안합니다. 이는 외부 지식이나 재학습을 요구하지 않습니다.

탐지 메커니즘:
CALRD는 가장 급격한 분포 변화를 보이는 레이어인 전이 레이어($L_{trans}$, 젠슨-샤논 발산(JSD)을 통해 탐지)로부터 유도된 두 가지 신호를 사용하여 "해로운 덮어쓰기"를 식별합니다:

1. 앵커 확신도 ($D_{conf}$): 전이 레이어에서의 최상위 예측 확률. 높은 확신도는 강한 중간 선호도를 나타냅니다.
2. 예측 유지율 ($\rho$): 동일한 토큰에 대한 최종 레이어의 확률과 전이 레이어의 확률 간의 비율. 낮은 유지율은 예측이 억제되었음을 나타냅니다.

개입 로직:
교정 강도 $\lambda$는 다음과 같이 계산됩니다:
$$\lambda = D_{conf} \cdot (1 - \rho)$$

• 만약 확신도가 높지만($D_{conf}$ 높음) 억제되었다면($\rho$ 낮음), $\lambda$는 커집니다.
• 만약 예측이 안정적이거나 불확실하다면, $\lambda$는 0에 가깝게 유지됩니다.

디코딩 전략:
최종 출력 로짓(logits)은 전이 레이어의 로짓과 최종 레이어의 로짓을 혼합하여 조정됩니다:
$$\phi'_t = (1 - \lambda) \cdot \phi^{(N)}_t + \lambda \cdot \phi^{(L_{trans})}_t$$
이를 통해 중간 레이어에는 존재했으나 최종 출력에서 덮어씌워진, 시각에 기반한 답변을 복구합니다.

3. 주요 기여

1. 메커니즘적 발견: 본 논문은 "후기 레이어 텍스트 덮어쓰기"를 시각-텍스트 충돌 실패의 주요 원인으로 식별하며, 모델이 처음에 "제대로 이해했다가" 마음을 바꾸는 과정을 입증했습니다.
2. 방향성 예측기: 예측 변화의 방향(텍스트 쪽 vs 시각 쪽)이 유익한 정교화와 해로운 덮어쓰기를 구분하는 신뢰할 수 있는 예측 변수임을 보여주었습니다.
3. CALRD 방법론: 내부 모델 신호를 사용하여 덮어씌워진 예측을 선택적으로 복구하면서도 표준 성능을 유지하는, 훈련이 필요 없는 디코딩 전략을 제시했습니다.
4. Conflict-VQA 벤치마크: 메커니즘적 분석을 용이하게 하기 위해 명시적인 시각-텍스트 주석이 포함된 새로운 진단 벤치마크(5,969개 샘플)를 구축했습니다.

4. 실험 결과

저자들은 다양한 아키텍처를 가진 5개의 MLLM(InstructBLIP, LLaVA-1.5/1.6, Qwen2.5-VL, Qwen3-VL)에 대해 CALRD를 평가했습니다.

• 충돌 벤치마크: CALRD는 충돌 작업(예: PhD-icc 및 Conflict-VQA)에서 최대 9.4%의 절대적 개선을 달왔습니다.
  • PhD-icc의 경우, LLaVA-1.5의 성능이 27.72%에서 36.35%로 향상되었습니다 (+8.63%).
  • 개선 폭은 일반적으로 약한 모델에서 더 크게 나타났는데, 이는 강력한 모델은 이미 후기 레이어에서 더 많은 충돌을 올바르게 해결하고 있기 때문입니다.
• 표준 벤치마크 (Non-Conflict): CALRD는 표준 환각 벤치마크(POPE 및 CHAIR)에서 성능을 거의 유지하거나 약간 향상시켜, 이 방법이 비충돌 작업의 성능을 무차별적으로 저하시키지 않음을 입증했습니다.
• 비교: CALRD는 균일한 교정을 적용하여 성능을 저하시킬 수 있는 DoLa나 DeCo와 같은 기존 레이어 기반 방법들보다 우수한 성능을 보였습니다.
• 효율성: CALRD는 일반적인 디코딩과 비교했을 때 최소한의 오버헤드(토큰당 약 1.5ms 및 80MB 메모리)만을 추가하여 실무 배포가 가능합니다.

5. 의의 및 주장

본 논문은 MLLM의 신뢰성을 높이기 위한 관점의 전환을 주장합니다. 즉, 모델에게 단순히 "더 잘 보는 법"(더 나은 시각적 인코딩)을 가르치는 것에만 집중할 것이 아니라, 모델이 이미 본 것을 유지하도록 돕는 것이 신뢰성 향상의 핵심일 수 있다는 것입니다.

저자들은 자신들의 방법이 겸손한(modest) 범위 내에 있음을 강조합니다:

• 모든 환각이 아닌 특정 실패 모드(후기 레이어 덮어쓰기)를 다룹니다.
• 외부 지식 베이스나 추가 학습 데이터 없이 모델 자체의 내부 표현에 의존합니다.
• 개입은 적응적입니다. 특정 형태의 해로운 덮어쓰기(높은 확신도 + 낮은 유지율)가 감지될 때만 활성화되어, 유익한 후기 레이어 처리가 방해받지 않도록 보장합니다.

이 연구는 MLLM에서 관찰되는 "텍스트에 대한 맹목적 신뢰"가 반드시 시각적 이해의 부족 때문이 아니라, 네트워크 깊이에 따른 정보 보존의 실패일 수 있음을 시사합니다. CALRD는 이 손실된 정보를 복구하는 메커니즘을 제공합니다.