기술 요약: RAG가 해가 될 때: 검색 증강 LVLM에서의 어텐션 분산 진단 및 완화

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 지식 기반 시각적 질의응답(KB-VQA) 작업에서 대규모 시각-언어 모델(LVLM)의 성능을 향상시키기 위한 지배적인 패러다임이지만, 최근 연구에 따르면 RAG가 항상 성능을 개선하는 것은 아니라는 점이 관찰되었습니다. 구체적으로, 본 논문은 **어텐션 분산(Attention Distraction, AD)**이라 명명된 뚜렷한 실패 모드를 식별했습니다. 이는 검색된 텍스트 컨텍스트의 도입이 LVLM의 성능을 저하시키는 현상으로, 검색된 정보가 정확하고 매우 관련성이 높음에도 불구하고 모델이 기존의 폐쇄형(closed-book) 설정에서는 정답을 맞혔던 질문에 대해 틀리게 되는 경우를 의미합니다.

저자들은 AD를 멀티모달 생성 과정 중 발생하는 체계적인 어텐션 할당 오류로 진단하며, 이는 두 가지 구체적인 현상으로 특징지어집니다:

1. 교차 모달 어텐션 분산(Cross-Modal Attention Distraction): 검색된 컨텍스트가 이미지 토큰에 할당된 전역 어텐션을 능동적으로 억제합니다. 폐쇄형 추론과 비교했을 때, 모델은 시각적 모달리티에서 텍스트 모달리티로 초점을 옮기며 이미지 어텐션 비율을 12.1%~41.1% 감소시킵니다.
2. 이미지 내 어텐션 분산(Intra-Image Attention Distraction): 시각적 모달리티 내부에서도 어텐션이 질문과 관련된 영역에서 배경이나 의미론적으로 무관한 영역으로 이동합니다. 이는 검색된 텍스트가 모델이 특정 시각적 증거에 근거하여 추론하는 능력을 방해하기 때문에 발생합니다.

본 논문은 이전 연구들이 컨텍스트 어텐션 부족(및 이를 해결하기 위해 텍스트 어텐션을 높이는 제안)에 주목하며 이들 사이의 내재적 상호 의존성을 간과하고 있다고 주장합니다. 단순히 컨텍스트 토큰에 대한 어텐션을 높이는 것은 핵심 문제를 해결하지 못합니다. 즉, 검색된 컨텍스트에 의한 시각적 그라운딩(visual grounding)의 억제를 해결할 수 없습니다.

방법론: MAD-RAG

어텐션 분산을 해결하기 위해, 저자들은 MAD-RAG(Mitigating Attention Distraction in Retrieval-Augmented Generation for LVLMs)를 제안합니다. 이는 시각적 그라운딩과 컨텍스트 통합을 분리하도록 설계된 학습이 필요 없는 추론 시점의 개입 방법입니다. 이 방법은 두 가지 주요 구성 요소로 이루어집니다:

1. 이중 질문 구성 (Dual-Question Formulation)

표준 RAG 입력은 $[I, Q, C]$ (이미지, 질문, 컨텍스트) 구조를 따릅니다. 저자들은 이 형식에서 질문 토큰이 시각적 어텐션을 위한 쿼리 역할을 하지만, 인과적 마스킹(causal masking)으로 인해 검색된 컨텍스트로부터 격리되어 정보 병목 현상을 생성한다는 점을 관찰했습니다.
MAD-RAG는 입력을 $[I, Q_I, C, Q_C]$로 재구성합니다:

• $Q_I$ (이미지-질문 토큰)는 이미지 토큰 바로 뒤에 추가되어, 모델이 컨텍스트를 보기 전에 시각적 그라운딩을 우선시하도록 강제합니다.
• $Q_C$ (컨텍스트-질문 토큰)는 검색된 문서 뒤에 추가되어, 모델이 외부 지식을 통합할 수 있도록 합니다.
  이러한 분리는 모델이 외부 정보를 통합하기 전에 신뢰할 수 있는 시각적 참조를 형성하도록 보장하여 교차 모달 간섭을 줄여줍니다.

2. 시각적 그라운딩 보존을 위한 어텐션 믹싱 (Attention Mixing for Visual Grounding Preservation)

이중 질문 구조에도 불구하고, 긴 검색 컨텍스트는 여전히 "최신성 편향(recency bias)"을 유발하여 모델이 멀리 떨어진 이미지 토큰보다 텍스트에 불균형적으로 집중하게 만들 수 있습니다. 이를 방지하기 위해 MAD-RAG는 어텐션 믹싱 메커니즘을 도입합니다.
각 트랜스포머 레이어에서, 컨텍스트-질문 토큰($Q_C$)의 어텐션 가중치는 이미지-그라운딩된 이미지-질문 토큰($Q_I$)으로부터 유도된 어텐션 가중치를 주입함으로써 수정됩니다. 혼합된 어텐션 출력 $\hat{O}(Q_C)$는 다음과 같은 볼록 조합(convex combination)으로 계산됩니다:
$$\hat{O}(Q_C) = \alpha \cdot O(Q_I) + (1 - \alpha) \cdot O(Q_C)$$
여기서 $\alpha \in [0, 1]$는 믹싱 가중치입니다. 이 연산은 $Q_I$에 의해 확립된 시각적 그라운딩을 $Q_C$의 컨텍스트 통합 단계 내에 명시적으로 보존하여, 추론이 질문과 관련된 이미지 영역에 계속 집중되도록 보장합니다.

주요 기여

본 논문의 주요 기여는 세 가지입니다:

1. 어텐션 분산(AD)의 특성화: 저자들은 AD를 검색 증강 LVLM에서의 뚜렷한 실패 모드로 식별하고 정의하였으며, 이는 시각적 어텐션의 교차 모달 억제와 이미지 내 어텐션 표류를 모두 포함합니다. 이들은 이러한 저하가 검색 품질과는 독립적으로, 생성 중의 부적절한 어텐션 역학에서 비롯됨을 입증했습니다.
2. 경험적 분석: 어텐션 히트맵과 토큰 레벨 어텐션 비율에 대한 광범-한 분석을 통해, 본 논문은 AD가 롱 컨텍스트 멀티모달 추론 시 검색 증강과 자기회귀적(autoregressive) 어텐션 역학 사이의 상호작용에서 발생한다는 증거를 제시합니다.
3. MAD-RAG 프레임워크: 저자들은 시각적 어텐션을 질문과 견고하게 정렬시키는 단순하고 효율적이며 학습이 필요 없는 방법을 소개합니다. 이 방법은 재학습이 필요 없고, 검색기(retriever)를 수정할 필요가 없으며, 계산 오버헤드가 미미합니다.

실험 결과

저자들은 여러 LVLM 제품군(LLaVA-1.5, Qwen2.5-VL)에 대해 세 가지 KB-VQA 벤치마크(OK-VQA, E-VQA, InfoSeek)에서 MAD-RAG를 평가했습니다.

• 성능 향상: MAD-RAG는 바닐라 RAG 및 기존 베이스라인(CAD, AdaCAD, ALFAR와 같은 RAG 지향 방식 및 DoLA, VCD와 같은 환각 완화 방식 포함)을 일관되게 능가했습니다.
  • 바닐라 RAG 대비 절대적 성능 향상은 OK-VQA에서 최대 4.76%, E-VQA에서 9.20%, InfoSeek에서 **6.18%**에 달했습니다.
• 실패 모드 회복: 이 방법은 특히 "폐쇄형은 정답, RAG는 오답(Closed-book Correct, RAG Incorrect)"인 실패 사례를 타겟팅합니다. MAD-RAG는 OK-VQA에서 이러한 어텐션 분산 케이스를 최대 **74.68%**까지 바로잡았으며, 다른 데이터셋에서도 유사하게 높은 회복률을 보였습니다.
• 강건성: 이 방법은 다양한 컨텍스트 길이와 검색 품질(오라클 및 실제 검색기 모두)에 대해 강건함을 입증했습니다. 베이스라인 방법들이 성능이 저하되는 것과 달리, MAD-RAG는 컨텍스트 길이가 증가함에 따라 성능 향상을 유지했습니다.
• 효율성: MAD-RAG는 미미한 오버헤드를 도입하며, 바닐라 RAG 대비 추론 시간을 약 **9~11%**만 증가시킵니다. 반면, 다른 캘리브레이션 방법들(예: CAD, OPERA)은 지연 시간을 3배 이상 증가시킵니다.

의의 및 주장

본 논문은 어텐션 분산이 이전에 간과되었던 멀티모달 RAG의 근본적인 문제라고 주장합니다. MAD-RAG의 의의는 값비싼 재학습이나 복잡한 구조 변경 없이 시각적 그라운딩을 안정화할 수 있는 능력에 있습니다.

저자들은 자신들의 접근 방식이 모델이 올바른 내부 지식을 가지고 있음에도 불구하고 검색된 텍스트에 의해 오도되는 시나리오에서 RAG 유발 실패의 근본 원인을 해결한다는 점을 강조합니다. 시각적 증거와 외부 컨텍스트 사이의 균형을 회복함으로써, MAD-RAG는 LVLM이 KB-VQA 작업에 필수적인 시각적 추론 능력을 희생하지 않으면서 검색 증강을 활용할 수 있게 합니다. 이 연구는 향후 시각-언어 모델을 위한 RAG 시스템이 텍스트 컨텍스트에 의한 시각적 증거의 억제를 방지하기 위해 어텐션 역학을 명시적으로 관리해야 함을 시사합니다.