논문 요약: Rationale Matters: Learning Transferable Rubrics via Proxy-Guided Critique for VLM Reward Models

이 논문은 비전 - 언어 모델 (VLM) 을 위한 생성형 보상 모델 (Generative Reward Models, GRMs) 의 성능을 향상시키기 위해, 중간 단계인 '평가 기준 (Rubric)'의 품질을 명시적으로 최적화하는 새로운 프레임워크인 Proxy-GRM을 제안합니다.

1. 문제 정의 (Problem)

기존의 VLM 생성형 보상 모델은 일반적으로 3 단계 파이프라인을 따릅니다:

1. Rubric 생성 (평가 기준 작성)
2. 기준 기반 점수 매기기 (Criterion-based scoring)
3. 최종 판단 (Final verdict)

그러나 기존 연구들은 최종 답변 (Verdict) 에만 보상을 부여하거나, LLM-as-a-Judge 와 같은 외부 모델을 사용하여 Rubric 을 검증하는 방식을 주로 사용했습니다. 이는 다음과 같은 한계가 있습니다:

• 중간 단계의 무감독 (Unsupervised Intermediate Step): Rubric 생성 단계는 직접 최적화되지 않아, 모델이 정답을 유추하기 위해 Rubric 을 사후 합리화 (Post-hoc rationalization) 하는 경향이 있습니다.
• 전송 불가능성 (Lack of Transferability): 생성된 Rubric 이 독립적인 평가자나 다른 작업 분포에서는 제대로 작동하지 않아 신뢰성이 떨어집니다.
• LLM-as-a-Judge 의 비가역성: 외부 모델의 검증은 미분 가능 (Differentiable) 하지 않아 강화학습 (RL) 의 보상 신호로 직접 활용하기 어렵습니다.

2. 방법론 (Methodology: Proxy-GRM)

저자들은 Proxy-Guided Rubric Verification을 강화학습 루프에 통합하여 Rubric 의 품질을 직접 개선하는 Proxy-GRM을 제안합니다.

핵심 구성 요소

1. 프록시 에이전트 (Proxy Agent) 학습:

   • Rubric 을 생성하는 것이 아니라, 주어진 Rubric 을 기반으로 선호도 (Preference) 를 예측하는 전용 에이전트를 훈련합니다.
   • Proxy-SFT: 감독 학습 (SFT) 을 통해 고품질 Rubric 을 따르는 능력을 학습시킵니다.
   • Proxy-RL: 강화학습을 통해 다양한 Rubric 품질 하에서도 견고한 판단 능력을 기릅니다.
   • 주요 발견: 의외로 Proxy-SFT 가 Proxy-RL 보다 더 우수한 검증자로 작용했습니다. 이는 결과 중심의 RL 학습이 과정 (Rubric) 의 일관성을 해칠 수 있음을 시사합니다.

2. Proxy-Guided 강화학습 (Policy Model Training):

   • 정책 모델 (GRM) 은 GRPO (Group Relative Policy Optimization) 알고리즘을 사용하여 훈련됩니다.
   • 복합 보상 함수 (Composite Reward):
     • 정확도 보상 ($r_{acc}$): 최종 선호도 판단이 맞는지 확인.
     • 형식 보상 ($r_{format}$): XML 태그 등 구조적 형식 준수 확인.
     • 프록시 보상 ($r_{proxy}$): 핵심 혁신. 생성된 Rubric 을 프록시 에이전트에 입력했을 때, 프록시가 올바른 선호도를 예측할 수 있는지 확인합니다.
   • 이 과정에서 프록시 에이전트는 고정 (Frozen) 되어 있으며, 정책 모델이 Rubric 을 독립적인 에이전트에게도 유효하게 만들도록 유도합니다.

3. 추론 (Inference):

   • 표준 모드: 정책 모델이 직접 판단.
   • 프록시 검증 모드: 생성된 Rubric 을 프록시 에이전트에 통과시켜 일관성을 확인 (불일치 시 기록).

3. 주요 기여 (Key Contributions)

1. Rubric 전송 가능성 (Transferability) 의 중요성 규명: 멀티모달 GRM 의 품질에서 Rubric 이 독립적인 평가자에게도 유효해야 함을 강조하고, 이를 검증하는 프록시 기반 솔루션을 제안했습니다.
2. 폐루프 (Closed-loop) 훈련 프레임워크: LLM-as-a-Judge 의 개방형 (Open-loop) 한계를 극복하고, Rubric 품질 신호를 RL 루프에 통합한 Proxy-GRM 을 개발했습니다.
3. SFT 기반 프록시의 우월성 발견: Rubric 평가 작업에서는 결과 중심의 RL 학습보다 SFT 기반 모델이 더 신뢰할 수 있는 검증자임을 증명했습니다.
4. 데이터 효율성과 성능: 약 5 만 개의 샘플 (기존 방법 대비 4 배 적은 데이터) 로 VL-RewardBench 등 주요 벤치마크에서 SOTA(최고 성능) 를 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • VL-RewardBench: 75.22% (Overall Acc) 달성. 기존 SOTA 인 Unified-Reward-Think(73.8%) 보다 1.42%p 향상.
  • Multimodal Reward Bench: 85.62% 달성. R1-Reward(82.2%) 및 GPT-4o(70.8%) 등을 압도.
  • MM-RLHF-Reward Bench: 82.94% 달성.
• 데이터 효율성: 20 만 개 이상의 데이터로 훈련된 기존 모델들보다 4 배 적은 데이터 (약 5 만 개) 로 더 높은 성능을 기록했습니다.
• Rubric 전송성 검증: Proxy-GRM 이 생성한 Rubric 은 재학습 없이도 보지 못한 (Unseen) 평가자 모델에게 적용되었을 때 정확도를 크게 향상시켰습니다. 이는 Rubric 이 모델 특유의 편향이 아닌 보편적인 평가 원리를 포착했음을 의미합니다.
• 프록시 에이전트 분석:
  • Proxy-SFT 가 Proxy-RL 보다 성능이 우수했습니다.
  • 여러 프록시 에이전트를 앙상블하면 오히려 성능이 저하되었습니다 (상호 간섭 및 노이즈 발생).
  • 프록시 모델의 크기가 너무 작으면 (예: 3B) 오히려 학습 신호를 해칠 수 있습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성형 보상 모델의 신뢰성과 해석 가능성을 높이는 데 중요한 통찰을 제공합니다.

• 과정 감독 (Process Supervision) 의 확장: 최종 답변뿐만 아니라, 그 답변에 도달하기 위한 '이유 (Rubric)' 자체를 검증 가능하게 만드는 새로운 패러다임을 제시했습니다.
• 효율적인 학습: 방대한 데이터에 의존하기보다, 검증 가능한 중간 단계 (Rubric) 를 최적화함으로써 데이터 효율성을 극대화할 수 있음을 증명했습니다.
• 실용적 가치: 학습된 Rubric 은 다양한 평가자 모델에 적용 가능하므로, 실제 VLM 배포 환경에서 더 안정적이고 일관된 평가 기준을 제공할 수 있습니다.

결론적으로, Proxy-GRM은 Rubric 의 '전송 가능성 (Transferability)'을 핵심 최적화 목표로 삼음으로써, VLM 보상 모델의 성능과 신뢰성을 획기적으로 개선한 혁신적인 접근법입니다.