기술 요약: OPENREWARD

문제 정의

보상 모델(Reward Models, RMs)은 훈련과 추론 단계 모두에서 대규모 언어 모델(LLMs)을 정렬하기 위한 핵심 요소이며, 인간의 평가를 대체할 수 있는 확장 가능한 대리 도구 역할을 합니다. 그러나 이진 선호도 분류기로 학습되거나 "LLM-as-a-Judge" 패러다임을 사용하는 기존의 RM들은 **개방형, 지식 집약적, 장문 작업(open-ended, knowledge-intensive, long-form tasks)**에서 상당한 어려움을 겪습니다. 이러한 콘텐츠(예: 의료 보고서, 여행 일정, 심층 연구 결과물 등)를 평가하려면 모델의 내부 파라미터 지식을 초과하는 외부 정보에 근거해야 합니다. 현재의 접근 방식들은 상용 LLM에 검색 엔진을 포함한 프롬프트를 제공하거나(유연성 부족), 단문 검증을 위한 단순한 도구 상호작용을 사용하는데, 이는 오픈 도메인 환경에서 복잡한 장문 응답을 효과적으로 평가하는 데 있어 공백을 남깁니다.

방법론

본 논문은 적응적으로 추론하고 외부 도구를 호출하여 판단을 내리기 전 증거를 수집하도록 설계된 도구 증강 보상 모델링 프레 framework인 OPENREWARD를 제안합니다.

1. 에이전트 기반 보상 프레임워크 (Agentic Reward Framework)

OPENREWARD는 순차적 의사결정 과정으로 작동합니다. 쿼리 $q$와 두 개의 후보 응답($x_1, x_2$)이 주어졌을 때:

• 도구 호출 (Tool Invocation): 모델은 현재 컨텍스트를 바탕으로 어떤 도구(예: Wikipedia 검색, arXiv 검색, PubMed 검색)를 호출할지 반복적으로 결정합니다.
• 증거 수집 (Evidence Gathering): 선택된 도구가 실행되어 외부 결과($e_i$)를 검색하며, 이는 후속 추론을 가이드하기 위해 컨텍스트에 추가됩니다.
• 최종 판단 (Final Judgment): 충분한 증거를 수집한 후, 모델은 더 나은 응답($y$)을 선택하고 그에 대한 설명을 제공합니다.

2. 강화 학습(RL)을 통한 훈련

모델이 도구를 효과적으로 활용하고 정확한 판단을 내리도록 훈련하기 위해, 저자들은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 채택합니다.

• 훈련 신호 (Training Signal): 중간 행동과 최종 결과를 모두 감독하기 위해 합성 보상 함수 $R$이 설계되었습니다:
  $$R = R_{EM} + \text{sign}(R_{EM}) \cdot \lambda \cdot R_{tool}$$
  • $R_{EM}$ (결과 정확도): 최종 판단이 정답과 일치하는지에 따른 이진 보상 (1 또는 0).
  • $R_{tool}$ (도구 사용): 올바른 도구 선택 시 +1, 잘못되거나 무관한 호출 시 0의 보상.
  • 핵심 설계: 도구 보상은 최종 결과 정확도($\text{sign}(R_{EM})$)에 의해 게이팅(gated)됩니다. 이는 모델이 도구를 빈번하게 호출하지만 정답은 맞히지 못하는 "보상 해킹(reward hacking)" 현상을 방지합니다.
• 최적화 (Optimization): GRPO는 그룹 내 트래젝토리(trajectories)를 비교하여 그룹 상대적 이점을 계산함으로써, 시행착오를 통해 효과적인 다단계 추정 전략을 발견하도록 유도합니다.

3. 제어 가능한 데이터 합성 (OPENRM-LIB)

장문 작업에 대한 신뢰할 수 있는 쌍체 데이터(pairwise data)의 부족 문제를 해결하기 위해, 저자들은 비지도 데이터 합성 프레임워크인 OPENRM-LIB를 도입합니다.

• 대상 인식 쿼리 생성 (Target-aware Query Generation): 강력한 LLM이 샘플링된 문서(예: Wikipedia, arXiv)로부터 쿼리를 생성합니다.
• 긍정/부정 응답 쌍 구축 (Positive/Negative Pair Construction):
  • 긍정 응답 (Positive Response): 참조 문서에 접근할 수 있는 LLM에 의해 생성됩니다.
  • 부정 응답 (Negative Response): 참조 문서에 접근할 수 없는 동일한 LLM에 의해 생성됩니다.
• 이러한 대조적 설정은 수동 주석 없이도 명확한 품질 격차(근거가 있는 응답 vs 환각 또는 불완전한 응답)를 보장하며, 27,000개 이상의 고품질 훈련 쌍을 생성합니다.

주요 기여

1. OPENREWARD 프레임워크: 정적인 내부 지식의 한계를 극려하기 위해, 외부 증거를 자율적으로 검색하여 복잡한 장문 응답을 판단할 수 있는 도구 증강 RM을 도입했습니다.
2. 제어 가능한 데이터 합성: 비지도 방식으로 27K 이상의 고품질 쌍체 훈련 데이터를 생성하는 새로운 전략(OPENRM-LIB)을 통해 장문 평가의 데이터 병목 현상을 극복했습니다.
3. RLVR 훈련 전략: 도구 선택 정확도와 최종 판단 정확도를 공동 최적화하는 GRPO 기반의 합성 보상 함수를 사용하여 보상 해킹을 효과적으로 방지했습니다.
4. 실험적 검증: 세 가지 새로운 인도메인(in-domain) 데이터셋(Wikipedia, Scientific, Medical)과 두 개의 외도메인(out-of-domain) 벤치마크(RewardBench, PandaLM)에 대해 OPENREWARD가 기존 베이스라인(LLM-as-a-Judge 및 기타 훈련된 RM 포함)보다 우수함을 입증했습니다.

실험 결과

본 논문은 세 가지 신규 수집된 인도메인 데이터셋(Wikipedia, Scientific, Medical)과 두 개의 외도메인 벤치마크(RewardBench, PandaLM)에서 OPENREWARD를 평가합니다.

• 인도메인 성능: OPENREWARD(Qwen-2.5-7B 기반)는 새로운 데이터셋에서 평균 **91.33%**의 정확도를 달성하였으며, 이는 GPT-4o(62.80%), Claude-Opus(63.23%), 그리고 다른 훈련된 RM(예: RM-R1 54.32%)과 같은 강력한 베이스라인을 크게 상회하는 수치입니다.
• 외도메인 일반화 능력: 일부 베이스라인이 100K 이상의 데이터를 사용하는 것과 달리, 단 27K개의 예시로 훈련되었음에도 불구하고 OPENREWARD는 RewardBench와 PandaLM에서 평균 **78.54%**의 정확도를 달축성하며 훨씬 더 큰 데이터셋으로 훈련된 모델들을 능가했습니다. 저자들은 이를 모델이 훈련 분포를 암기하기보다 검색된 증거를 바탕으로 추론하는 능력 덕분이라고 설명합니다.
• 절제 연구 (Ablation Studies):
  • 도구 보상 신호를 제거하면 "게으른 검색(lazy searching)"(내부 지식에 의존함) 현상이 나타납니다.
  • 도구 보상을 최종 정확도와 분리하면 "보상 해킹"(정답을 맞히지 못한 채 과도하게 검색함)이 발생합니다.
  • 게이팅된 보상 설계는 추론과 도구 사용 사이의 균형을 맞추는 데 필수적입니다.
• 다운스트림 유용성:
  • 데이터 선택: DPO를 위한 훈련 데이터를 필터링하는 데 OPENREWARD를 사용했을 때, RM-R1(68.87%)보다 높은 선택 정확도(75.18%)를 보였습니다.
  • 모델 정렬: OPENREWARD가 선택한 데이터로 정렬된 LLM은 기존 RM으로 정렬된 모델보다 일관된 성능 향상(예: 7B 모델에서 평균 +4.57%)을 보여주었습니다.

의의

본 논문은 **도구 증강 보상 모델링(tool-augmented reward modeling)**이 LLM의 신뢰할 수 있는 평가 및 사후 훈련 정렬을 위한 중요한 진전임을 시사합니다. OPENREWARD는 RM이 외부 증거를 통해 주장을 검증하는 에이전트 시스템으로 기능하게 함으로써, 지식 집약적 시나리오에서 표준 RM이 가진 근본적인 한계를 해결합니다. 이 연구는 외부 도구를 강화 학습과 통합하는 것이 보상 모델 자체의 정확도를 높일 뿐만 아니라, 다운스트림 LLM 정렬의 품질도 향 향상시킨다는 것을 보여주며, 더욱 신뢰할 수 있는 AI 시스템을 향한 확장 가능한 경로를 제시합니다.