Bridging Visual Representation and Reinforcement Learning from Verifiable Rewards in Large Vision-Language Models

1. 연구 배경 및 문제 정의 (Problem)

배경:
최근 검증 가능한 보상 (Verifiable Rewards) 을 통한 강화학습 (RLVR, 예: GRPO) 은 대규모 언어 모델 (LLM) 의 추론 능력을 획기적으로 향상시켰습니다. 그러나 이 기술이 대규모 시각 - 언어 모델 (LVLM) 로 확장될 때는 구조적인 표현 병목 현상에 직면합니다.

핵심 문제:
기존 LVLM 의 RLVR 접근법은 시각 정보를 명시적으로 모델링하거나 효과적으로 활용하지 못합니다.

1. 시각적 표현의 병목: LVLM 은 밀집된 토큰화 (dense tokenization) 를 가정하여 모든 시각 정보를 균일하게 처리하려 하지만, 실제 시각 장면 (도형, 차트 등) 은 본질적으로 희소 (sparse) 하고 구조적 (structured) 입니다.
2. 시각적 오류의 주된 원인: 실험 결과 (MathVerse 벤치마크), LVLM 의 실패 원인 중 시각 지각 오류 (Visual Perception, VP) 가 약 48.9% 로 가장 큰 비중을 차지했습니다. 이는 추론 능력 부족이 아니라, 중요한 시각적 단서를 놓치거나 오해하여 발생하는 문제임을 시사합니다.
3. 기존 방법의 한계:
   • 의미적 간접성: 기존 방법들은 시각적 의존성을 간접적인 통계적 대리 변수로 근사하여, 보상 신호가 구조화된 시각 의미에 명시적으로 연결되지 못합니다.
   • 아키텍처 비호환성: 일부 방법은 교차 모달 어텐션 가중치를 명시적으로 추출해야 하므로, 효율적인 학습을 위한 플래시 어텐션 (FlashAttention) 등 최적화 연산자와 충돌하여 확장성이 떨어집니다.

2. 제안 방법론: KAWHI (Methodology)

저자들은 KAWHI (Key-Region Aligned Weighted Harmonic Incentive) 라는 플러그 앤 플레이 (plug-and-play) 보상 재가중치 (reweighting) 메커니즘을 제안합니다. 이는 균일한 보상 정책 최적화 방법 (GRPO, GSPO 등) 에 시각 정보를 명시적으로 통합합니다.

주요 구성 요소:

1. 구조 유도 유니온 - 파인드 (SGUF, Structure-Guided Union-Find):

   • 목적: 자연 이미지와 달리 수식, 도형, 차트 등 구조화된 시각 입력에서 정보 밀도가 높은 핵심 영역 (Key Regions) 을 자동 식별합니다.
   • 작동 원리:
     • 입력 이미지를 CIELab 색 공간으로 변환하고, 구조 텐서 (Structure Tensor) 를 추출하여 국소적인 기하학적 패턴 (선, 경계, 텍스트 등) 을 분석합니다.
     • 유니온 - 파인드 (Union-Find) 알고리즘을 사용하여 구조적 일관성과 밝기 (Luminance) 일관성을 기준으로 패치들을 병합합니다.
     • 에너지 임계값을 설정하여 '핵심 영역'과 '배경 영역'을 분리하고, 핵심 영역의 토큰은 모두 유지하되 배경 영역은 희소 샘플링하여 계산 효율성을 높입니다.

2. 시각적 중요도 어텐션 헤드 식별 (Vision-Critical Head Identification):

   • MME 벤치마크를 기반으로 전역 어블레이션 (Global Ablation) 을 수행하여, 시각 정보 처리에 결정적인 역할을 하는 어텐션 헤드 (Attention Heads) 를 식별합니다.
   • 이 헤드들을 기준으로 시각적 신호와 텍스트 생성 간의 정렬을 측정합니다.

3. 공간 인식 크레딧 할당 (Spatially-Aware Credit Assignment):

   • 쿼리 - 키 (Q-K) 정렬: 생성된 응답 토큰 (Query) 과 SGUF 로 선택된 핵심 시각 토큰 (Key) 간의 코사인 유사도를 계산하여, 모델이 추론 과정에서 시각적 증거에 얼마나 주의를 기울였는지 측정합니다.
   • 단락 수준 (Paragraph-level) 가중치 할당:
     • 토큰 단위나 문장 단위의 세분화는 추론의 문맥을 파괴할 수 있으므로, 단락 (Paragraph) 단위로 추론 과정을 분할합니다.
     • 각 단락 내의 공간적 중요도 점수 ($\alpha_t$) 를 평균화하고, 이를 기반으로 가중치 ($w_j$) 를 계산합니다.
     • 보상 재가중치: 그룹 상대적 이득 (Group Relative Advantage) 에 단락별 가중치를 곱하여, 시각적 증거와 논리적으로 밀접한 단락에 더 높은 그라디언트 신호를 부여합니다.

3. 주요 기여 (Key Contributions)

1. 구조적 병목 현상의 규명: RLVR 을 LVLM 에 적용할 때 발생하는 시각적 표현과 보상 최적화 간의 불일치를 체계적으로 규명하고, 시각 - 기하학적 정보를 보상 모델링에 명시적으로 통합한 최초의 시도 중 하나입니다.
2. 시각 인식형 보상 재가중치 (KAWHI): 아키텍처 수정 없이 기존 균일 보상 최적화 방법 (GRPO, DAPO, GSPO 등) 에 적용 가능한 모듈을 제안했습니다. 이는 미세한 크레딧 할당을 통해 시각적 중요도에 따라 보상을 동적으로 조정합니다.
3. 일관된 성능 향상: 수학 및 차트 이해 벤치마크에서 다양한 모델과 RL 방법에 대해 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

실험 설정:

• 모델: Qwen2.5-VL-7B-Instruct, Qwen3-VL-4B-Instruct
• 데이터: Geo3K (수학 추론), ChartQA (차트 이해) 등
• 평가: MathVista, MathVerse, MathVision, WeMath 및 여러 차트 이해 벤치마크.

주요 성과:

• 수학 추론: Qwen2.5-VL-7B 에서 KAWHI 를 적용한 GRPO 는 평균 성능을 3.32% 향상시켰으며, GSPO 기반에서는 5.26% 향상되었습니다. 특히 MathVerse 에서 2.00%p, MathVision 에서 5.92%p의 큰 향상을 보였습니다.
• 차트 이해: ChartQA 및 관련 벤치마크에서 일관된 성능 향상 (약 1.7%~4.9% 증가) 을 보이며, 구조화된 시각 작업에서도 KAWHI 의 일반화 능력을 입증했습니다.
• 효율성: KAWHI 적용으로 인한 추가 계산 오버헤드는 약 3.6% (초당 19.6 초 증가) 에 불과하여, 성능 대비 비용 효율이 매우 높습니다.
• 정성적 분석: KAWHI 는 중요한 제약 조건과 규칙 적용이 포함된 단락 (예: 문제 정의, 핵심 추론 단계) 에 높은 가중치를 부여하고, 서론이나 결론 등 부수적인 단락에는 낮은 가중치를 부여하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 시각적 지각 오류가 LVLM 의 다중 모달 추론 실패의 주된 원인임을 실증적으로 증명했습니다. 기존 RLVR 방법론이 시각적 공간 정보와 구조적 맥락을 간과하고 있었음을 지적하고, KAWHI를 통해 이를 해결했습니다.

• 기술적 의의: 시각적 중요도와 추론 단계를 정렬하여 보상 신호를 재분배함으로써, 모델이 '무엇을 봐야 하는지'와 '어떻게 추론해야 하는지'를 동시에 학습하도록 유도합니다.
• 실용적 가치: 복잡한 수학 문제 해결, 차트 분석, 도형 이해 등 구조화된 시각 정보를 요구하는 분야에서 LVLM 의 정확도와 신뢰성을 높이는 데 기여합니다.
• 미래 전망: KAWHI 는 아키텍처 변경 없이 다양한 RL 알고리즘에 적용 가능한 범용 모듈로, 다중 모달 강화학습의 새로운 표준을 제시합니다.

요약하자면, KAWHI 는 시각적 핵심 영역을 식별하고 이를 추론 과정의 보상 할당에 정교하게 반영함으로써, 대규모 시각 - 언어 모델의 추론 능력을 한 단계 도약시킨 혁신적인 방법론입니다.