1. 문제 정의 (Problem)

최근 OpenAI o1, DeepSeek-R1 과 같은 대규모 추론 모델 (Large Reasoning Models, LRMs) 은 복잡한 추론 과제에서 뛰어난 성능을 보여주고 있습니다. 이러한 모델들의 훈련 핵심은 강화 학습 (RL) 과정에 참조 기반 보상 시스템 (Reference-based Reward Systems) 을 통합하는 것입니다. 즉, 모델의 출력과 정답 (Ground Truth) 을 비교하여 정확성을 평가하고 보상을 부여하는 방식입니다.

그러나 기존 reward 벤치마크 (RewardBench, RM-Bench 등) 는 주로 두 개의 응답 중 어느 것이 더 나은지에 대한 선호도 비교 (Preference Comparison) 에 초점을 맞추고 있습니다. 이는 모델이 정답과 얼마나 일치하는지를 절대적으로 검증해야 하는 LRMs 의 실제 훈련 시나리오와 괴리가 있습니다.

• 핵심 문제: 참조 정답 (Reference Answer) 을 기반으로 단일 응답의 정확성을 검증하는 시스템을 평가할 수 있는 표준화된 벤치마크가 부재합니다. 이로 인해 추론 모델 훈련에 사용되는 검증 시스템의 정확성을 체계적으로 평가하고 개선하는 데 한계가 존재합니다.

2. 방법론 (Methodology)

저자들은 이 격차를 해소하기 위해 VerifyBench와 그 난이도가 높은 변형인 VerifyBench-Hard를 제안했습니다.

가. 벤치마크 구성 (Benchmark Construction)

• 데이터 수집 및 선별: 일반 추론, 논리 추론, 수학 추론 등 3 가지 주요 도메인의 41 개 소스에서 질문과 정답을 수집했습니다.
• 답변 유형 분류: 답변 형식을 4 가지로 분류하여 균형을 맞췄습니다.
  1. 수치 값 (Numeric Values)
  2. 수식/대수식 (Expressions)
  3. 객관식 (Multi-choice)
  4. 자유형 텍스트 (String)
• 생성 및 라벨링: 22 개의 오픈소스 및 독점 LLM 을 사용하여 8,000 개의 질문에 대한 응답을 생성했습니다. 이후 자동화된 모델 판단과 최소 2 인 이상의 인간 어노테이터를 통한 정밀한 검증을 거쳐 정답/오답 라벨을 확정했습니다.
• VerifyBench: 1,000 개의 질문으로 구성되며, 각 질문에 대해 정답과 오답 응답이 1 개씩 균형을 이루도록 설계되었습니다.
• VerifyBench-Hard: 기존 모델들 간에 판단이 크게 엇갈리는 (Disagreement) 사례를 선별하여 구성되었습니다. 상위 성능 모델 5 개가 검증한 결과 중 3 대 2 로 의견이 갈리는 경우 등을 필터링하여, 검증이 매우 어려운 난이도 높은 샘플을 포함시킵니다.

나. 평가 지표 (Evaluation Metric)

기존의 쌍별 비교 (Pairwise Comparison) 방식이 아닌, 참조 정답을 기준으로 단일 응답의 정확성 (Correctness) 을 이진 분류 (True/False) 로 평가합니다.

• $Accuracy = \frac{1}{|D|} \sum I[E(R_\phi(q, gt, r)) = y]$
  • 여기서 $gt$는 정답,$r$은 모델 응답,$y$는 실제 정답 라벨입니다.

3. 주요 기여 (Key Contributions)

1. VerifyBench 및 VerifyBench-Hard 제안: RL 기반 추론 모델 훈련에 필수적인 '참조 기반 보상 시스템'의 정확성을 평가하기 위해 설계된 최초의 전문 벤치마크입니다.
2. 고품질 데이터셋: 41 개 소스의 데이터를 기반으로 41 개의 다양한 도메인과 4 가지 답변 유형을 포함하며, 엄격한 인간 검증 과정을 거쳐 신뢰도를 확보했습니다. 특히 VerifyBench-Hard 는 현재 모델들의 한계를 드러내는 난이도 높은 사례를 제공합니다.
3. 포괄적인 분석 및 통찰: 다양한 모델 (규칙 기반, LLM-as-a-Judge, 전문 검증 모델) 에 대한 평가와 오류 유형 분석을 통해, 참조 정답의 중요성과 모델의 취약점을 규명했습니다.

4. 실험 결과 (Results)

가. 전체 성능 (Overall Performance)

• VerifyBench: 최신 대형 모델 (GPT-4o-mini, Qwen3-32B 등) 은 평균 90% 이상의 높은 정확도를 보였습니다. 이는 LLM 이 검증자 (Verifier) 로서 유효함을 시사합니다.
• VerifyBench-Hard: 난이도가 높은 데이터셋에서는 모든 모델의 성능이 급격히 하락했습니다. 최고 성능 모델조차 72.4% 정도의 정확도만 기록하여, 현재 시스템이 어려운 사례를 처리하는 데는 여전히 큰 개선의 여지가 있음을 보여주었습니다.
• 모델 크기 영향: 파라미터 수가 적은 소형 모델 (<3B) 은 VerifyBench 에서도 60~80% 대의 낮은 성능을 보였으며, 추론 RL 훈련 시 보상 시스템으로 사용 시 모델 성능을 저하시킬 위험이 있음을 발견했습니다.

나. 참조 정답의 중요성 (Role of Reference Answers)

• Ablation Study: 프롬프트에서 참조 정답 (Reference Answer) 을 제거하고 모델에게만 질문과 응답을 주어 판단하게 했을 때, 대부분의 모델에서 정확도가 5~18% 하락했습니다. 이는 참조 기반 검증이 추론 모델 훈련에 필수적인 감독 신호임을 입증합니다.

다. 기존 Reward 모델과의 비교

• 기존 Reward 모델 (Reference-free) 은 VerifyBench 에서 80% 미만의 성능을 보였으며, VerifyBench 는 기존 벤치마크보다 더 까다로운 과제를 제시하는 것으로 확인되었습니다.

라. 상관관계 분석 (Correlation Analysis)

• VerifyBench 에서 높은 점수를 받은 검증자 (Verifier) 를 사용하여 RL 훈련을 수행했을 때, 하류 작업 (MATH500, AMC23 등) 에서 더 큰 성능 향상을 보였습니다. 반대로 검증 성능이 낮은 모델을 사용하면 오히려 모델 성능이 저하되기도 했습니다. 이는 VerifyBench 가 실제 RL 훈련 환경에서 검증 시스템의 품질을 예측하는 유효한 지표임을 의미합니다.

5. 의의 및 결론 (Significance)

• 표준화된 프레임워크 제공: 추론 모델 훈련에 필수적인 '참조 기반 보상 시스템'을 평가할 수 있는 표준적인 프레임워크를 제시하여, 연구자들이 검증 시스템의 정확성을 체계적으로 비교하고 개선할 수 있는 기반을 마련했습니다.
• 향후 연구 방향 제시: 현재 모델들이 복잡한 수식, 다중 값, 의미적 일관성 검증 등에서 오류를 범하는 경향을 분석함으로써, 향후 더 강력한 검증 모델 개발을 위한 구체적인 방향성을 제시했습니다.
• 실용적 가치: VerifyBench 점수가 실제 RL 훈련의 성공 여부와 높은 상관관계를 보임으로써, 모델 개발 단계에서 검증 시스템 선정 및 튜닝을 위한 실용적인 가이드라인으로 활용될 수 있습니다.

결론적으로, 이 논문은 대규모 추론 모델의 발전에 필수적인 '정답 기반 검증'의 평가 체계를 정립하고, 현재 기술의 한계를 명확히 드러내어 차세대 보상 시스템 개발을 촉진한다는 점에서 중요한 의의를 가집니다.