Self-Rewarding Vision-Language Model via Reasoning Decomposition

**"Vision-SR1: 추론 분해 및 다중 보상 정책 최적화를 통한 자기 보상형 비전 - 언어 모델"**에 대한 상세 기술 요약입니다.

1. 문제 제기

비전 - 언어 모델 (VLM) 은 현재 추론 능력 측면에서 두 가지 치명적인 한계에 직면해 있습니다:

• 시각적 환각 (Visual Hallucinations): 시각 입력과 일치하지 않는 설명이나 답변을 생성하는 것.
• 언어 단축 (Language Shortcuts): 시각 이해를 완전히 우회하고 정답을 추측하기 위해 텍스트 사전 지식 (언어 단축) 에만 의존하는 것.

기존의 사후 학습 방법, 특히 R1 스타일 모델과 같은 강화 학습 (RL) 접근법은 이러한 문제를 종종 악화시킵니다. 이러한 방법들은 일반적으로 **최종 답변 일치 (final answer matching)**를 유일한 보상 신호로 사용합니다. 이러한 희소 감독 (sparse supervision) 은 중간 시각 추론 과정을 안내하지 못해, 모델이 시각 지각보다 언어 기반 추론을 우선시하게 만듭니다. 또한, 시각 감독을 추가하려는 시도들은 종종 다음에 의존합니다:

• 인간 주석: 노동 집약적이며 비용이 많이 들고 확장하기 어렵습니다.
• 외부 보상 모델: 높은 지연 시간을 초래하고 추가 GPU 자원을 요구하며, 증류 소스에서 유래된 분포 편향이나 편향을 겪습니다.

2. 방법론: Vision-SR1

저자들은 외부 감독 없이 시각 추론을 개선하는 3 단계 자기 보상형 RL 프레임워크인 Vision-SR1을 제안합니다. 핵심 혁신은 모델 스스로 검증하는 추론의 분해를 시각 및 언어 구성 요소로 분리하는 것입니다.

A. 추론 분해 (See-Think 형식)

모델은 다음 세 가지 구성 요소를 분리한 구조화된 출력을 생성하도록 프롬프트됩니다:

1. 시각 추론 ($c$): 작업을 해결하기 위해 이미지에서 필요한 모든 세부 정보를 포착하는 자체 완결형 시각 설명.
2. 언어 추론 ($t$): 시각 설명에 기반한 사고의 사슬 (Chain-of-Thought, CoT) 추론.
3. 답변 ($a$): 최종 응답.

B. 3 단계 학습 과정

학습은 두 번의 롤아웃 (rollout) 통과와 특정 최적화 목표를 포함합니다:

1. 첫 번째 통과 (표준 롤아웃):

   • 입력: 이미지 ($i$) + 쿼리 ($q$).
   • 출력: 구조화된 응답 ($c, t, a$).
   • 보상: 정답과 기준 정답 (ground truth) 의 정확성에 기반하여 **답변 보상 ($r_{ans}$)**이 계산됩니다.

2. 두 번째 통과 (자기 보상 롤아웃):

   • 입력: 쿼리 ($q$) + **생성된 시각 추론 ($c$)**만. 원래 이미지는 제외됩니다.
   • 과정: 모델은 첫 번째 통과에서 생성된 텍스트 설명만을 사용하여 정답을 유도하려고 시도합니다.
   • 보상: **시각 보상 ($r_{visual}$)**이 할당됩니다. 모델이 생성된 설명만을 사용하여 질문에 올바르게 답할 수 있다면, 해당 설명은 "자체 완결형"이고 "신뢰할 수 있는" 것으로 간주됩니다. 이는 정확한 시각 지각에 대한 내재적 보상 역할을 합니다.

3. 다중 보상 정책 최적화:

   • 단순히 보상을 합산하는 것 (신호를 혼란스럽게 만듦) 대신, Vision-SR1 은 그룹 상대 정책 최적화 (GRPO) 기반의 다중 보상 정책 최적화 전략을 사용합니다.
   • 분리된 이점 (Decoupled Advantages): 이점 ($\hat{A}$) 과 로그 확률은 답변 생성과 시각 추론 생성에 대해 별도로 계산됩니다.
   • 손실 함수: 총 손실은 두 보상 모두에 대한 정책 기울기 ($L_{actor}$) 와 각 구성 요소에 대한 별도의 KL 발산 패널티 ($L_{KL}$) 를 결합합니다. 이는 명확한 기울기 귀속을 보장하여 모델이 시각 지각과 언어 추론을 독립적으로 최적화할 수 있게 합니다.

C. 계산 효율성

• 외부 모델 없음: Vision-SR1 은 외부 보상 모델이나 인간 주석가가 필요하지 않습니다.
• 추가 GPU 없음: 자기 보상 메커니즘은 정책 모델 자체를 재사용하여 별도의 판정 모델을 호스팅하는 오버헤드를 방지합니다.
• 오버헤드: 2 단계 롤아웃은 표준 단일 단계 GRPO 에 비해 약 10-15% 의 계산 오버헤드만 추가하므로 확장성이 매우 높습니다.

3. 주요 기여

1. 자기 보상 프레임워크: 생성된 설명으로 모델을 다시 프롬프트하여 VLM 이 자신의 시각적 근거를 검증하는 방법을 도입함으로써 외부 시각 감독의 필요성을 제거합니다.
2. 추론 분해: 시각 지각을 언어 추론에서 명시적으로 분리하여, 모델이 추론하기 전에 자체 완결형 시각 설명을 생성하도록 강제합니다.
3. 다중 보상 정책 최적화: 시각 및 언어 구성 요소에 대해 이점과 KL 패널티를 별도로 계산하는 분리된 손실 함수를 제안하여 보상 혼란을 방지하고 세분화된 최적화를 가능하게 합니다.
4. 언어 단축률 (LSR) 지표: 모델이 부정확하거나 자체 완결형이 아닌 시각 추론을 함에도 불구하고 정답을 얼마나 자주 맞추는지 정량화하는 새로운 지표를 도입하여 언어 단축에 대한 의존도를 측정할 수 있는 방법을 제공합니다.

4. 실험 결과

이 방법은 Qwen2.5-VL(3B 및 7B) 과 Mimo-VL-7B 백본을 사용하여 다양한 벤치마크에서 평가되었습니다.

• 성능 향상: Vision-SR1 은 일반적인 시각 이해 (MMMU, RealWorldQA), 수학적 추론 (MathVerse, MATH-Vision), 그리고 환각 감지 (HallusionBench) 를 포함한 모든 분야에서 베이스라인 (Vision-R1 및 Perception-R1 포함) 을 능가했습니다.
  • 예시: 7B 백본에서 Vision-SR1 은 평균 점수 52.2를 기록한 반면, Vision-R1 은 44.5를 기록했습니다.
• 환각 완화: 모델은 시각적 환각을 크게 줄이고 언어 단축에 대한 견고성을 향상시켰습니다.
• LSR 감소: Vision-SR1 은 베이스라인에 비해 낮은 언어 단축률 (LSR) 을 보여주어 텍스트 사전 지식보다 진정한 시각 지각에 더 강하게 의존하고 있음을 나타냈습니다.
• Ablation 연구:
  • 자기 보상 메커니즘을 제거하면 성능이 저하되어 시각 보상 신호의 필요성이 확인되었습니다.
  • 이 방법은 다른 RL 방법들처럼 텍스트 전용 능력을 심각하게 저하시키지 않으면서 공간 추론 (MMSI-Bench, OmniSpatial) 과 일반 지식 작업을 개선했습니다.
• 주의 분석 (Attention Analysis): 레이어별 분석은 사후 학습이 초기 특징 추출 및 후기 통합 레이어에서 시각 토큰에 대한 주의를 증가시켰음을 보여주어, 모델이 시각 정보를 더 잘 처리하도록 학습했음을 확인했습니다.

5. 의의 및 영향

• 확장성: 외부 보상 모델과 인간 주석에 대한 의존성을 제거함으로써 Vision-SR1 은 데이터 라벨링 또는 추론 인프라의 prohibitive 비용 없이 VLM 을 개선할 수 있는 확장 가능한 경로를 제공합니다.
• "보기보다 생각하기" 대응: 이 프레임워크는 모델이 이미지 (보기) 를 지각하지 않고 언어를 통해 추론 (생각) 하도록 학습하는 RL 훈련의 경향을 직접적으로 반박합니다. 모델은 충분한 설명을 생성함으로써 이미지를 보았음을 증명하도록 강제합니다.
• 효율성: 이 접근법은 최소한의 계산 오버헤드로 최첨단 결과를 달성하여 제한된 자원을 가진 모델에게도 고급 시각 추론을 접근 가능하게 합니다.
• 향후 방향: 이 논문은 RL 의 정확도 향상이 때로는 단축을 악용한 가짜 (spurious) 일 수 있음을 강조합니다. Vision-SR1 은 진정한 시각적 근거와 언어 단축 학습을 분리하는 메커니즘을 제공하여 VLM 추론 평가의 새로운 기준을 설정합니다.