Attend to Evidence: Evidence-Anchored Spatial Attention Supervision for Multimodal RLVR

기술 요약: EASE (Evidence-Anchored Spatial Attention) - 멀티모달 RLVR를 위한 연구

1. 문제 정의

강화 학습 기반 검증 가능한 보상(RLVR, Reinforcement Learning with Verifiable Rewards)은 최종 답변에서 도출된 결과 보상을 최적화함으로써 시각-언어 모델(VLM)을 개선하는 표준 패러다임이 되었습니다. 그러나 저자들은 결과 중심의 RL(outcome-only RL)이 가진 결정적인 한계를 지적합니다. 즉, 결과 중심 RL은 시각적 증거 습득(visual evidence acquisition) 과정을 감독하지 못한다는 점입니다.

VLM이 질문에 올바르게 답할 때, 결과 보상은 해당 응답이 관련 시각적 증거에 근거한 것인지, 아니면 언어적 사전 지식(language priors), 데이터셋 편향, 또는 운 좋은 추측에 의한 것인지를 구분하지 못합니다. 이는 "지각 신용 할당 문제(perception credit assignment problem)"를 생성하며, 모델이 정답을 뒷받받는 이미지 영역을 무시하더라도 처벌받지 않게 만듭니다. 결과적으로 모델은 그럴듯한 텍스트를 생성할 수는 있지만, 미약한 근거(weakly grounded) 상태로 남게 되어, 특히 정밀한 지각, 객체 계수, 또는 다중 영역 추론이 필요한 작업에서 환각(hallucination) 위험을 높일 수 있습니다.

2. 방법론: EASE

저자들은 시각적 증서 기반의 프로세스 감독을 통해 멀티모달 RLVR을 확장하는 프레임워크인 **EASE (Evidence-Anchored Spatial Attention)**를 제안합니다. EASE는 높은 보상을 받는 궤적(trajectory)이 단순히 정답을 내놓는 것에 그치지 않고, 그 답변을 뒷받침하는 시각적 증거와 일치하는 주의(attention)를 보여야 한다는 원칙 하에 작동합니다.

핵심 메커니즘

• 증거 주석(Evidence Annotation): 이 방법은 훈련 데이터로부터 주석 처리된 바운딩 박스(증거 영역)를 활용합니다. 이러한 주석은 보조적인 타겟 분포를 구축하기 위해서만 사용되는 **특권 훈련 레이블(privileged training labels)**로 취급되며, 추론 시에는 입력으로 제공되지 않습니다.
• 매끄러운 타겟 분포(Smoothed Target Distribution): EASE는 주석된 증거 박스를 시각적 토큰에 대한 부드럽고 매끄러운(smoothed) 타겟 분포로 변환합니다. 각 박스는 박스의 중심점을 기준으로 하는 가우시안 성분으로 모델링되며, 이 가우시안의 공분산은 경계 노이즈를 허용하면서도 대부분의 확률 질량이 주석된 영역 내에 머물도록 합니다. 다중 증거 질문의 경우, 이 가우시안들의 동일 가중치 혼합(equal-weight mixture)을 사용하며, 컨텍스트를 과도하게 제약하지 않도록 균등 배경 분포(uniform background distribution)를 통해 추가로 매끄럽게 처리합니다.
• 보상 인식 게이팅(Reward-Aware Gating): 어텐션 감독은 높은 검증 보상을 받는 궤적(즉, 정답을 맞힌 경우)에만 적용됩니다. 저자들은 낮은 보상을 받는 응답은 신뢰할 수 없는 어텐션 패턴을 보이는 경우가 많으며, 오답에 대해 정렬을 강제하는 것은 노이즈를 유발할 수 있다고 주장합니다.
• 어텐션 감독(Attention Supervision): 액터 업데이트(actor update) 중에, EASE는 트랜스포머의 의미론적 중간 레이어(구체적으로 $\ell^* = \lfloor 2L/3 \rfloor$ 레이어)에서 응답-대-비전 어텐션을 추출합니다. 모델의 어텐션 분포와 증거 기반 타겟 사이의 쿨백-라이블러(KL) 발산을 계산합니다. 이 KL 손실은 표준 RL 목적 함수(예: DAPO 또는 GRPO)에 추가되는 보조 항 역할을 합니다.

훈련 및 추론

• 훈련: 모델은 단일 증거 및 다중 증거 예시가 균형 있게 섞인 데이터셋으로 훈련됩니다. 보조 손실은 모델이 성공적인 궤적을 위해 관련 영역에 집중하도록 유도합니다.
• 추론: 추론 과정은 변경되지 않습니다. 모델은 원래의 이미지와 질문만을 받으며, 증거 메타데이터를 요구하지 않고 기본 VLM과 동일한 아키텍처 및 디코딩 절차를 유지합니다.

3. 주요 기여

1. 누락된 신호의 식별: 본 논문은 시각적 증거 습득을 멀티모달 RLVR에서의 누락된 프로세스 신호로 식별하고, 추론 시 증거 메타데이터 없이도 이를 해결하기 위한 EASE를 도입했습니다.
2. 어텐션을 통한 프로세스 감독: 주석된 증거 영역을 매끄러운 타겟 분포로 매핑하고, 이를 높은 보상을 받는 궤적에 구체적으로 적용하여, 정답이 올바른 시각적 초점에 의해 뒷받침되도록 보장하는 방법을 제안했습니다.
3. 실증적 검증: EASE는 다양한 VLM 백본(Qwen2.5-VL-7B, Qwen3-VL-4B, Qwen3-VL-8B)과 다양한 벤치마크를 통해 검증되었습니다. 진단 결과, EASE가 시각적 어텐션과 주석된 증거 영역 간의 정렬을 개선함을 확인했습니다.

4. 실험 결과

논문은 세 가지 모델 규모에 걸쳐 결과 중심의 RL 베이스라인(GRPO 및 DAPO) 대비 일관된 성능 향상을 보고합니다.

• 성능 향상: Qwen2.5-VL-7B 백본에서 EASE는 DAPO 대비 평균 점수를 2.9점 높였습니다. Qwen3-VL-4B 및 Qwen3-VL-8B에서는 각각 3.1점과 2.5점의 향상을 보였습니다.
• 벤치마크 특이사항: 성능 향상은 지각 집약적 추론, 환각 강건성, 시각 수학 및 논리 벤치마크에서 가장 두드러졌습니다. 예를 들어, Qwen2.5-VL-7B에서 EASE는 MathVista에서 +6.5점, WeMath에서 +4.9점의 성능 향상을 기록하며 DAPO를 앞질렀습니다.
• 경쟁력: EASE-7B는 공유 벤치마크(예: MathVista, LogicVista)에서 비교된 공개 7B 규모 멀티모달 추론 방법들 중 가장 높은 평균 점수를 달성했습니다.
• 진단: 절제 연구(Ablation studies) 및 진단 지표(Attention Mass, Pointing Accuracy, Multi-evidence Coverage)는 EASE가 주석된 증거 영역 내에 떨어지는 어텐션의 양을 성공적으로 증가시키고, 다중 지원 영역의 커버리지를 개선함을 입증합니다.

5. 의의 및 주장

저자들은 EASE가 더 견고한 멀티모달 추론을 달기 위해 시각적 증거 습득을 감독하는 것이 최종 답변 보상을 보완하는 실질적이고 효과적인 방법임을 보여준다고 주장합니다. 모델이 정답을 맞힐 때 이미지의 올바른 부분을 "바라보도록" 유도함으로써, EASE는 언어적 지름길에 대한 의존도를 줄이고 환각을 완화합니다.

본 논문은 EASE를 추론 인터페이스를 변경하지 않으면서 내부 추론 과정(특히 공간적 어텐션)을 개선하는 방법으로 포지셔닝합니다. 저자들은 이 방법이 훈련 중에 증거 주석에 의존하지만, 추론 시에는 이를 요구하지 않으므로 표준 VLM 배포 시나리오에 적용 가능하다는 점을 언급했습니다.

인정된 한계점

논문은 다음과 같은 몇 가지 한계점을 겸허히 인정합니다.

• 데이터 구축 비용: 신뢰할 수 있는 증거 박스를 얻기 위해서는 추가적인 주석 작업이 필요합니다.
• 증거의 범위: 이 방법은 증거가 특정 이미지 영역으로 국소화될 수 있는 작업에 가장 적합합니다. 전체론적(holistic), 스타일적, 또는 전역적으로 분포된 단서에는 효과가 덜할 수 있습니다.
• 인과적 측정: 저자들은 어텐션 진단이 향상된 공간적 근거(spatial grounding)의 증거 역할을 하지만, 시각적 의존성에 대한 완전한 인과적 측정치는 아님을 명시했습니다.

요약하자면, EASE는 순수하게 결과 기반인 강화 학습에서 프로세스를 인식하는 감독(process-aware supervision)으로의 전환을 나타내며, 정답에 이르는 경로가 올바른 시각적 증거를 포함하도록 보장합니다.