기술 요약: Logit-Attention Divergence: 어텐션 기반 보정을 통한 다중 이미지 검색에서의 위치 편향 완화

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLMs) 은 여러 이미지가 포함된 교차 모달 검색 작업에서 강력한 능력을 입증해 왔습니다. 그러나 이러한 모델은 이미지의 의미적 관련성보다는 입력 순서에 의해 예측 정확도가 좌우되는 심각한 위치 편향 (position bias) 에 시달립니다.

• 현상: 다중 이미지 검색 작업 (예: $N$개의 후보 이미지 중 올바른 이미지를 선택) 에서 MLLM 은 시각적 내용과 무관하게 특정 위치 (예: 7 번째 위치) 에 비합리적인 선호를 보이며 다른 위치는 무시합니다. 이로 인해 성능이 극심하게 변동합니다. 정답이 선호되는 위치와 일치하면 정확도가 약 99% 에 달하지만, 무시된 위치에 해당하면 0% 로 추락할 수 있습니다.
• 근본 원인: 이 편향은 대규모 언어 모델 (LLM) 에서 계승된 자기회귀 (autoregressive) 아키텍처에서 비롯됩니다. 시간적 위치 인코딩과 인과적 어텐션 마스크는 텍스트 생성에는 유용하지만, 비시간적 시각 시퀀스에 적용될 때 의도치 않은 구조적 비대칭성을 초래하여 예측이 입력 순서에 매우 민감하게 반응하게 만듭니다.
• 기존 해결책의 한계:
  • 프롬프팅: 지시 기반 또는 사고 연쇄 (Chain-of-Thought, CoT) 프롬프팅은 이러한 편향의 역동적 특성에 적응하지 못합니다.
  • 정적 보정: PriDe 와 같은 방법은 위치 편향이 정적이고 콘텐츠와 무관한 편차 (전역 사전) 라고 가정합니다. 그러나 실증 분석에 따르면 MLLM 의 편향은 조건부 (conditional) 로, 대상의 위치에 따라 역동적으로 변화합니다. 정적 사전은 이러한 조건부 모호성을 해결하지 못합니다.

2. 핵심 통찰: Logit-Attention Divergence

실증 분석을 통해 저자들은 Logit-Attention Divergence라는 중요한 현상을 규명했습니다.

• 관찰: MLLM 은 종종 정답을 "본다" (내부 어텐션 맵이 관련 시각적 증거와 잘 정렬됨) 고는 하지만, 잘못된 것을 "말한다" (출력 로짓이 위치 사전에 의해 심하게 편향됨).
• 함의: 실패는 의미적 지각에 있는 것이 아니라 결정 보정 (decision calibration) 에 있습니다. 디코딩 단계에서의 강력한 구조적 사전이 올바른 내부 특징을 압도하여 정확한 시각적 근거에도 불구하고 오류를 범한 예측으로 이어집니다.

3. 방법론: 어텐션 기반 편향 제거

본 논문은 내재적 어텐션 신호를 활용하여 위치 편향을 보정하는 학습 불필요 (training-free) 추론 시 프레임워크를 제안합니다. 이 방법은 최소한의 보정 세트 (예: 5 개 샘플) 만 필요로 하며 계산 오버헤드는 미미합니다.

3.1. 조건부 편향 추정

전역 정적 사전 대신, 이 방법은 반사실적 통계적 접근을 사용하여 조건부 위치 편향을 추정합니다.

• 대칭화 보정: 후보 이미지와 정답 인덱스의 순환 치환을 통해 소규모 보정 세트를 구성합니다. 이를 통해 정답이 모든 위치를 균일하게 통과하도록 보장합니다.
• 분해: 관찰된 생성 확률은 위치 의존적 편향 항 ($P_{bias}$) 과 대상별 시각 신호 ($P_{vis}$) 의 곱으로 모델링됩니다.
• 추정: 치환에 따른 관찰 확률의 비율을 분석함으로써, 정답 위치에 조건부인 구조적 편향 성분을 분리해냅니다.

3.2. 어텐션 사전 추정

원시 어텐션 점수 또한 구조적 아티팩트 (예: "어텐션 싱크") 에 의해 혼란을 겪는다는 점을 인식하여, 이 방법은 정적 어텐션 사전을 추정합니다.

• 대칭화된 보정 세트에 대한 평균 어텐션 분포를 계산하여 어텐션 메커니즘 자체의 근본적인 구조적 편향을 포착합니다.
• 이 사전은 추론 중 시각적 증거를 보정하기 위한 기준선으로 작용합니다.

3.3. 추론 시 보정

편향 제거 과정은 베이지안에서 영감을 받은 프레임워크를 따릅니다.

1. 적응적 레이어 선택: 모델은 후보 이미지에 할당된 어텐션 확률의 합이 가장 높은 상위-$K$개 Transformer 레이어를 식별하여 가장 정보량이 풍부한 신호를 추출합니다.
2. 내재적 시각적 증거 검색: 선택된 레이어의 원시 어텐션 점수에서 정적 어텐션 사전 (로그 도메인에서) 을 제거하여 수정합니다. 이를 통해 정답 위치에 대한 모델의 진정한 믿음을 나타내는 정제된 시각적 사후 분포 ($\pi$) 를 도출합니다.
3. 기대 편향 보정: 추론 중에는 진정한 정답이 잠재되어 있으므로, 이 방법은 추정된 시각적 사후 $\pi$에 대해 사전 계산된 조건부 편향 프로파일을 마진화하여 동적 혼합 사전을 구성합니다.
4. 최종 보정: 추정된 동적 사전이 원시 출력 로짓에서 차감되어 최종 예측을 위한 내재적 시각 확률을 회복합니다.

4. 실험 결과

이 방법은 Random 및 Adversarial(hard negative) 설정 하에서 세 가지 MLLM 백본 (Qwen2.5-VL-3B, LLaVA-OneVision-8B, InternVL3-8B) 에서 MS-COCO 기반 벤치마크를 통해 평가되었습니다.

• 성능 향상: 제안된 방법은 베이스라인 (Vanilla, PriDe, Self-Consistency 등) 대비 40% 이상의 정확도 향상을 이루어 최첨단 (state-of-the-art) 성능을 달성했습니다.
  • LLaVA-OneVision (N=4, Random) 에서 정확도는 Vanilla 의 67.52% 에서 **98.66%**로 증가했습니다.
  • Adversarial 설정에서는 49.56% 에서 **71.06%**로 향상되었습니다.
• 치환 불변성: 이 방법은 Recall 표준 편차 (RStd) 를 극적으로 줄이고 일관성 (Cons.) 을 높여, 예측이 입력 순서가 아닌 시각적 증거에 의해 주도됨을 입증했습니다.
• 확장성: 후보 풀 크기 ($N$) 가 2 에서 12 로 증가함에 따라 베이스라인이 급격한 저하를 겪는 반면, 이 방법은 더 완만한 감소와 함께 높은 정확도를 유지합니다.
• 일반화: 이 방법은 작업별 재보정 없이 도메인 (Flickr8k 에서 MS-COCO 로) 과 난이도 (Random 에서 Adversarial 로) 간에 효과적으로 일반화됩니다.
• 효율성: 이 방법은 단일 순전파 (forward pass) 내에서 작동합니다. 반사실적 편향 추정 및 어텐션 추출로 인해 약간의 지연 오버헤드가 발생하지만, 앙상블 방법의 높은 비용을 피합니다.

5. 의의 및 주장

본 논문은 다음과 같은 기여와 의의를 주장합니다.

• Logit-Attention Divergence 의 규명: 기존 로짓 수준 보정 방법의 근본적인 한계를 드러내며, 출력이 편향으로 오염되더라도 내부 어텐션은 종종 의미적으로 정렬되어 있음을 보여줍니다.
• 학습 불필요 프레임워크: 모델 재학습이 필요 없고 최소한의 보정 데이터 (최소 5 개 샘플) 만 요구하는 실용적인 어텐션 기반 편향 제거 메커니즘을 도입했습니다.
• 강건성 회복: 이 방법은 다중 이미지 검색에서 치환 불변성을 효과적으로 복원하며, MLLM 이 현재 구조적 디코딩 사전에 의해 가려진 잠재적 시각 지각 능력을 보유하고 있음을 시사합니다.
• 광범위한 함의: 이러한 발견은 특정 MLLM 벤치마크에서 보고된 낮은 정확도가 실제 능력 한계가 아닌 위치 편향을 반영할 수 있음을 시사합니다. 즉, 모델은 내부적으로 정답을 "보지만" 표현하지 못하기 때문입니다.

이 연구는 복잡한 다중 이미지 컨텍스트에서 MLLM 의 강건성을 향상시키기 위해 내재적 어텐션 메커니즘이 가진 미활용 잠재력을 강조합니다.