Reward Design for Physical Reasoning in Vision-Language Models

1. 문제 정의 (Problem)

• 물리학적 추론의 난이도: 이미지 기반 물리 문제 해결은 시각적 조건 해석, 물리 법칙 식별, 다단계 기호 추론, 그리고 올바른 단위 도출을 통합해야 하므로, 단순한 수학 추론이나 지식 검색보다 훨씬 어렵습니다.
• 기존 방법의 한계:
  • **SFT **(Supervised Fine-Tuning) 고정된 참조 출력의 확률을 최대화하여 표면적 모방을 장려할 뿐, 견고한 추론 능력을 키우기 어렵습니다.
  • 보상 설계의 부재: 언어 모델에서는 GRPO 와 같은 강화학습이 추론 능력을 향상시켰으나, 과학적 도메인 (특히 물리) 에서 VLM 에 적용할 때 어떤 보상 신호가 효과적인지에 대한 체계적인 연구가 부족했습니다.

2. 방법론 (Methodology)

2.1 실험 설정

• 모델: IBM Granite Vision 3.3 (2B 파라미터) 사용.
• 데이터셋: PhyX 벤치마크 (3,000 개 문제, 학습용) 및 testmini (1,000 개 문제, 평가용). 6 가지 물리 영역 (역학, 전자기학, 열역학 등) 과 6 가지 추론 유형 (공간 관계, 다중 공식 등) 을 포함하며, 객관식 (MCQ) 과 서술형 (OE) 문제를 모두 다룹니다.
• 학습 알고리즘: GRPO 사용. 가치 네트워크 (Value Network) 없이 그룹 내 상대적 이득 (Advantage) 을 기반으로 정책을 최적화합니다.

2.2 보상 신호 설계 (4 가지 유형)

저자들은 의미적 풍부도가 증가하는 4 가지 보상 신호를 비교 분석했습니다.

1. **형식 준수 보상 **(Format Reward, R1) 출력 구조 (생각, 답변, 단위, 원리 태그) 가 올바른지 확인하는 기본 보상.
2. **정확도 보상 **(Accuracy Reward, R2) 답변의 정답 여부만 평가 (객관식은 정답 매칭, 서술형은 3 인 심사단 LLM 을 통한 점수화).
3. **루브릭 보상 **(Rubric Reward, R3) 정답성, 물리 원리 식별, 단위 일관성, 추론 품질을 종합적으로 평가하는 복합 보상.
   • 객관식: 규칙 기반 매칭.
   • 서술형: LLM 심사단을 통해 정답성, 원리, 단위, 추론 과정을 평가.
4. **주의 가중치 보상 **(Attention-Weight Reward, R4, ASM) 모델의 내부 주의 메커니즘을 활용한 새로운 보상.
   • 이미지 토큰에 대한 모델의 주의 분포 (Attention Map) 를 추출하여, 모델이 이미지의 전경 (Foreground) 영역에 집중했는지를 평가합니다.
   • 특징: 추가적인 공간 주석 (Bounding Box 등) 이 필요 없으며, 모델이 생성 과정에서 '어디를 보느냐'를 직접 감독합니다.

3. 주요 결과 (Key Results)

3.1 객관식 (MCQ) 성능

• 최고 성능: **형식 + 정확도 + 주의 **(Fmt+Acc+ASM) 조합이 전체적으로 가장 높은 성능 (0.462) 을 보였습니다. SFT 대비 약 6.7% 향상.
• 영역별 차이:
  • 공간 추론: 주의 보상 (ASM) 을 추가하면 공간 관계 추론 정확도가 0.27 에서 0.50 으로 크게 상승했습니다.
  • 기호 추론: 열역학이나 파동/음향학처럼 공식 적용이 중요한 영역에서는 주의 보상이 오히려 성능을 저하시켰습니다 (시각적 집중이 기호 추론 능력을 방해함).

3.2 서술형 (OE) 성능

• 최고 성능: **형식 + 정확도 **(Fmt+Acc) 조합이 전체 점수 (0.027) 에서 가장 높았습니다. SFT 대비 2 배 (100%) 향상.
• 루브릭의 트레이드오프: 루브릭 보상은 정답률보다는 추론의 일관성을 높였습니다.
  • 정확도는 Fmt+Acc 보다 낮았으나, LLM 심사단이 평가한 **추론 품질 **(Reasoning Quality)은 지속적으로 향상되었습니다.
  • 반면, Fmt+Acc 모델은 학습이 진행될수록 정답은 맞지만 이를 뒷받침하는 추론 과정이 부실해지는 현상이 관찰되었습니다.

3.3 주의 보상 (ASM) 의 효과 분석

• 시각적 집중: ASM 보상을 받은 모델은 이미지 전경 영역에 더 집중하며 (마스크 점수 0.0531), 주의 엔트로피가 낮아 집중도가 높았습니다.
• 역설적 결과: 시각적 지각이 중요한 작업에서는 성능을 높였으나, 공식 유도 등 추상적 추론이 필요한 작업에서는 모델의 표현 자원이 시각적 주의로 쏠려 성능이 떨어졌습니다.

4. 주요 기여 및 결론 (Contributions & Significance)

1. 보상 설계의 도메인 의존성: 보상 설계는 성능을 균일하게 향상시키지 않으며, 도메인별 추론 행동에 특화된 영향을 미칩니다.

   • 정확도 기반 보상: 전반적인 성능 향상에 가장 효과적.
   • 루브릭 보상: 구조화된 추론의 질을 높이지만, 작은 모델 (2B) 에서는 다중 목표 최적화로 인한 신호 변동성 (Variance) 으로 인해 정확도 향상에는 한계가 있음.
   • 주의 기반 보상: 시각적 지각이 필요한 작업 (공간 관계) 에는 획기적인 개선을 가져오나, 기호 추론 영역에서는 역효과를 낼 수 있음.

2. 내부 주의 메커니즘의 활용: 외부 주석 없이 모델의 내부 주의 가중치를 보상 신호로 사용하여 시각적 지각을 향상시킬 수 있음을 증명했습니다. 이는 시각 기반 물리 추론을 위한 유망한 방향을 제시합니다.

3. 추론의 본질 제어: 보상 설계는 단순히 "무엇을 맞추게 할지"뿐만 아니라 "어떻게 추론할지"를 결정합니다.

   • 정확도만 보상하면 정답은 나오지만 추론 과정이 무너질 수 있음.
   • 추론 과정을 명시적으로 보상하면 (루브릭), 정확도는 다소 희생되더라도 논리적 일관성을 유지하는 모델이 됨.

4. 실무적 시사점: 배포 목적 (단순 정답률, 해석 가능한 추론 과정, 시각적 grounding) 에 따라 최적의 보상 신호를 선택해야 하며, 단일 보상이 모든 상황에 최적일 수는 없습니다.

요약

이 연구는 VLM 의 물리 추론 능력을 향상시키기 위해 GRPO 기반 학습에서 보상 신호의 설계가 모델의 추론 행동과 성능에 결정적인 영향을 미친다는 것을 입증했습니다. 특히, 주의 메커니즘을 직접 보상하는 새로운 접근법이 시각적 추론에 효과적이지만, 모델의 크기와 작업 유형에 따라 시각적 집중과 기호 추론 간에 자원 경쟁이 발생할 수 있음을 보여주었습니다. 이는 향후 멀티모달 모델의 학습 전략 수립에 중요한 통찰을 제공합니다.