기술 요약: RAVE (대규모 멀티모달 모델에서 시각적 주의력 재할당)

1. 문제 제기

LLAVA 및 QWEN-VL 계열과 같은 대규모 멀티모달 모델 (LMM) 은 일반적으로 시각적 특징을 언어 토큰 공간에 투영한 후 디코더 스타일 트랜스포머를 사용하여 통합된 시퀀스 내에서 처리합니다. 효과적이기는 하지만, 이러한 모델은 사전 훈련된 언어 백본 (이를 "표준 주의력"이라고 함) 의 자기 주의력 메커니즘을 계승합니다. 저자들은 이 계승된 메커니즘이 모드별 주의력 할당을 위한 명시적 규제가 부족하여 시각적 증거 활용의 두 가지 주요 비최적 형태를 초래한다고 지적합니다.

• 교차 모드 불균형: 시각 토큰은 텍스트 토큰에 비해 체계적으로 덜 주의를 받습니다. 이는 깊은 디코더 레이어에서 시각 토큰이 받는 주의력이 감소하고, 생성된 답변 토큰이 누적됨에 따라 시각적 주의력이 점진적으로 감소하는 ("시각적 망각" 또는 "시각적 희석"이라고 함) 현상으로 나타납니다.
• 시각 내부 불균형: 시각 블록 내의 주의력은 고르지 않게 분포됩니다. 시각적으로 정보가 없는 패치 (예: 모서리, 균일한 배경) 가 불균형적으로 많은 주의를 흡수 ("시각적 싱크") 할 수 있으며, 행 우선 평탄화 및 회전 위치 임베딩 (Rotary Position Embeddings) 으로 인한 위치 편향은 의미적으로 관련 있는 콘텐츠보다는 특정 공간 영역에 주의력이 집중되게 할 수 있습니다.

기존의 완화 전략은 종종 수동으로 설계된 추론 시간 휴리스틱에 의존하거나, 통합을 복잡하게 만드는 아키텍처 재설계를 요구하거나, 큐레이션된 데이터가 필요한 보조 훈련 파이프라인을 필요로 합니다. 백본 아키텍처를 변경하지 않고도 컨텍스트 인식 주의력 재보정을 가능하게 하는 최소주의적이고 학습 가능한 메커니즘이 필요합니다.

2. 방법론: RAVE

저자들은 표준 주의력에 대한 "드롭인 (drop-in)" 수정으로 설계된 경량 페어 게이팅 메커니즘인 RAVE(Visual Attention Re-Allocating) 를 제안합니다. RAVE 는 시각적 키와 관련된 소프트맥스 전 주의력 점수에 학습된 쿼리 - 키 편향을 추가함으로써 작동합니다.

핵심 메커니즘

1. 게이팅 신호의 원천: 로터리 위치 인코딩 (RoPE) 후 특징을 사용하는 방법과 달리, RAVE 는 사전 RoPE 쿼리 ($\bar{Q}$) 및 키 ($\bar{K}$) 특징에서 게이팅 신호를 유도합니다. 이 선택은 RoPE 로 인해 도입된 위치 감쇠 편향으로부터 게이팅 신호를 분리하여, 메커니즘이 주로 모드 조건부 콘텐츠 특징에 의존하도록 합니다.
2. 페어 게이팅 구성: 각 레이어 $\ell$에서 RAVE 는 모든 쿼리 헤드에 공유되는 일련의 학습 가능한 선형 투영 ($W_{gq}, W_{gk}$) 쌍을 부착합니다. 이러한 투영은 사전 RoPE 특징으로부터 토큰별 스칼라 점수 ($s_q, s_k$) 를 생성합니다. 쌍별 게이트 $G_{ij}$는 이러한 점수의 외적을 함수 $\phi$를 통해 매핑하여 형성됩니다. 이는 모든 쿼리 - 키 쌍에 대한 컨텍스트 인식 보정을 제공합니다.
3. 소프트맥스 전 재보정: 게이트는 시각적 키에 대한 주의력 로그it ($L_{ij}$) 에 가산적으로 주입됩니다.
   $$\tilde{L}_{ij} = L_{ij} + \gamma \cdot G_{ij} \cdot \mathbb{1}[j \in I_{img}]$$
   여기서 $\gamma$는 재보정의 강도를 제어하고 $\mathbb{1}$은 시각 토큰에 대한 지시 함수입니다. 재보정된 로그it 은 그런 다음 표준 소프트맥스를 통과합니다.
   • 이 접근법은 정규화 이전 에 주의력 질량 경쟁을 수정하여 모드 간 (교차 모드) 및 시각 토큰 세트 내 (시각 내부) 모두에서 동적 재분배를 가능하게 합니다.
4. 부분 헤드 적용: 사전 훈련된 백본에서 계승된 강력한 언어 사전 지식을 방해하지 않도록, RAVE 는 각 그룹화 쿼리 주의력 (GQA) 그룹 내 쿼리 헤드의 일부 ($p$) 에만 적용됩니다. 나머지 헤드는 표준 주의를 유지합니다. 저자들은 주요 구성에서 $p=0.25$를 사용합니다.
5. 훈련: RAVE 는 보조 감독이나 특수 데이터가 필요 없이 표준 다음 토큰 교차 엔트로피 손실을 사용하여 모델의 나머지 부분과 함께 엔드 투 엔드로 훈련됩니다.

3. 주요 기여

• 병목 현상 식별: 이 논문은 LMM 의 표준 주의력을 재검토하여, 비최적 시각적 주의력 할당 (교차 모드 희석 및 시각 내부 불균형 모두) 이 효과적인 시각적 그라운딩의 주요 병목 현상임을 실증적으로 보여줍니다.
• RAVE 메커니즘: 매개변수 오버헤드가 거의 없이 시각적 키에 대한 소프트맥스 전 주의력 점수를 조절하는 경량, 아키텍처 보존 페어 게이팅 메커니즘을 제안합니다.
• 실증적 검증: RAVE 가 다양한 멀티모달 벤치마크에서 일관되게 성능을 향상시켜 표준 주의력 대비 평균 약 3 점의 개선을 달성했으며, 특히 시각적 인식이 많은 작업에서 특히 강력한 결과를 보임을 입증했습니다.

4. 실험 결과

저자들은 Mistral-v0.3-7B 및 Gemma-2-9B 백본을 사용하여 다양한 벤치마크에서 RAVE 를 평가하고, 표준 주의력 및 D-Attn(주의력 경로를 분해하는 방법) 과 비교했습니다.

• 시각적 인식이 많은 작업: RAVE 는 다국어 OCR(MTVQA, OCRBench), 차트 이해 (ChartQA), 문서 VQA(DocVQA), 텍스트가 풍부한 VQA(InfoVQA, TextVQA) 를 포함한 세밀한 시각적 그라운딩이 필요한 작업에서 가장 큰 개선을 보였습니다. 예를 들어, Mistral 백본에서 RAVE 는 인식이 평균 25.05(표준) 에서 25.93 으로 향상되었으며, MTVQA(9.50 대 6.51) 와 DocVQA(43.55 대 35.85) 에서 주목할 만한 향상을 보였습니다.
• 추론/지식 중심 작업: MathVista, MMMU, MMMU-Pro 와 같은 벤치마크에서 RAVE 는 경쟁력 있는 성능을 유지하여 Mistral 백본에서는 표준 주의력보다 향상되었고, Gemma-2-9B 에서는 D-Attn 과 유사한 성능을 보였습니다. 이는 RAVE 가 계승된 추론 능력을 크게 방해하지 않으면서 시각적 증거 할당을 향상시킨다는 것을 시사합니다.
• 애블레이션 연구:
  • 위치: 소프트맥스 후 또는 곱셈 형태보다 소프트맥스 전 가산 재보정이 더 효과적이었습니다.
  • 헤드 비율: $p=0.25$의 부분 헤드 비율이 보정 능력과 언어 사전 지식 보존 사이의 가장 좋은 균형을 보였으며, 비율을 높여도 추가적인 이득은 얻지 못했습니다.
  • 적용 단계: 디코딩 전용 적용보다 프리필 및 디코딩 중 RAVE 를 적용하는 것이 더 우수하여, 초기 표현 구성 중 질문 - 시각 주의력 재보정의 중요성을 나타냈습니다.

5. 중요성 및 주장

이 논문은 RAVE 가 표준 훈련 및 추론 워크플로우와 본질적으로 호환되면서도 컨텍스트 인식 주의력 할당 재보정을 가능하게 하는 최소주의적이고 드롭인 가능한 메커니즘을 제공한다고 주장합니다.

• 메커니즘 수준 보정: 추론 시간에 수동으로 설계된 규칙으로 개입하거나 아키텍처 재설계를 요구하는 방법과 달리, RAVE 는 주의력 질량 경쟁을 직접 해결하는 학습 가능하고 엔드 투 엔드로 훈련 가능한 솔루션을 제공합니다.
• 이중적 이점: 시각적 키에 대한 소프트맥스 전 점수를 작동함으로써, RAVE 는 교차 모드 오할당 (시각 토큰이 덜 주의를 받지 않도록 보장) 과 시각 내부 불균형 (정보 없는 "싱크"에서 주의를 재분배) 을 동시에 해결합니다.
• 겸손함: 저자들은 한계를 인정하며, 실험은 처음부터 훈련된 모델이 아닌 사전 훈련된 언어 백본으로 구축된 인스트럭션 튜닝 LMM 에서 수행되었음을 명시합니다. 또한, 현재 구현은 SDPA 에 의존하며 FlashAttention 스타일 커널과 아직 통합되지 않았으므로 효율성에 영향을 미칠 수 있습니다.

요약하자면, RAVE 는 디코더 전용 LMM 에서 시각적 증거 활용을 개선하기 위해 네이티브 주의력 연산자 내에서 명시적이고 학습된 시각적 주의력 조절이 효과적인 전략임을 보여줍니다. 특히 정밀한 시각적 그라운딩이 필요한 작업에서 그렇습니다.