기술적 요약: 추론 모델을 평가자로 활용한 평가 시간 계산 확장

문제 제기

이 논문은 대규모 언어 모델 (LM) 개발의 현재 패러다임에서 간극을 지적합니다. '테스트 시간 계산 (test-time compute)'을 확장하는 것 (예: 긴 사고의 사슬 (CoT) 생성 또는 여러 후보 샘플링) 이 생성기의 문제 해결 능력을 크게 향상시킨다는 점은 잘 알려져 있지만, 이러한 확장 원칙이 평가자에게도 적용되는지는 여전히 불분명합니다. 현재 평가자들은 종종 직접 점수 매기기 (결과 보상 모델, ORM) 나 짧은 CoT 추론 (과정 보상 모델, PRM) 에 의존하며, 추론 시점에 이용 가능한 계산 능력을 완전히 활용하지 못합니다. 저자들은 다음과 같은 질문을 던집니다: 평가자의 능력을 테스트 시간 계산 확장을 통해 향상시킬 수 있으며, 이렇게 개선된 평가가 이후 생성기의 성능을 향상시킬 수 있는가?

방법론

저자들은 **추론 평가자 (Reasoning Evaluators)**를 활용한 평가 시간 확장 (Evaluation-Time Scaling) 프레임워크를 제안합니다. 점수를 예측하기 위해 추론 없이 작동하는 전통적인 직접 평가자나 짧은 CoT 를 가진 미세 조정 생성 평가자와 달리, 추론 평가자는 긴 CoT 를 생성하도록 RL 또는 증류로 훈련된 오프더셸 (off-the-shelf) 추론 모델을 평가자 역할을 하도록 프롬프트한 것입니다.

이 방법론은 세 가지 핵심 구성 요소를 포함합니다:

1. 추론 결과 평가자 (Reasoning Outcome Evaluators): 모델은 전체 응답을 분석하기 위해 긴 CoT 를 생성한 후 정확도 점수 (0 또는 1) 를 예측합니다. 점수는 예측 토큰의 로짓 (logits) 에서 도출됩니다.
2. 추론 과정 평가자 (Reasoning Process Evaluators): 모델은 응답을 단계별로 평가합니다.
   • 다단계 평가: 전체 응답에 대한 단일 CoT 를 생성하는 대신, 평가자는 각 추론 단계를 개별적으로 평가하며 각 단계마다 고유한 CoT 와 판단을 생성합니다.
   • 모델 기반 분할: 비구조화된 출력 (예: 코드) 을 처리하기 위해 저자들은 휴리스틱 줄바꿈 분할 대신 LM 을 사용하여 단계 사이에 [SPLIT] 마커를 삽입합니다.
   • 집계: 단계별 점수는 단순 최소값 대신 mean_logit 함수를 사용하여 집계되며, 실험에서 이 방식이 더 효과적이었습니다.
3. 결합 평가: 최종 점수는 결과 점수와 집계된 과정 점수의 가중치 보간 ($s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$) 으로, 두 신호를 균형 있게 조정하기 위해 $\alpha=0.5$가 사용됩니다.

저자들은 이러한 추론 평가자를 다음과 비교합니다:

• 직접 평가자: CoT 없이 직접 점수를 예측하는 표준 PRM 과 ORM.
• 단일 단계 추론 평가자: 모든 단계를 동시에 판단하기 위해 하나의 CoT 를 생성하는 모델 (제안된 방법의 절제 실험).

주요 기여

1. 평가 시간 확장의 입증: 평가자가 더 많은 추론 토큰을 생성하도록 강제함으로써 (평가 시간 계산 확장) 평가 성능이 단조롭게 향상됨을 확립합니다.
2. 다단계 과정 평가의 우위성: 고정된 계산 예산 하에서 각 단계를 개별적으로 평가하는 것 (다단계) 이 단일 단계 평가나 자기 일관성 (동일 작업에 대해 여러 CoT 생성) 보다 훨씬 효과적임을 보여줍니다.
3. 제로샷 성능: 명시적으로 평가자로 훈련되지 않은 추론 평가자가, 테스트 시간 확장만을 통해 최첨단이며 심하게 미세 조정된 PRM 들 (예: ProcessBench 에서 32B 추론 평가자가 72B PRM 을 능가함) 보다 우수한 성능을 발휘합니다.
4. 평가를 통한 생성기 개선: 더 많은 계산을 생성 (직접 평가자를 사용한 Best-of-64) 에 할당하는 것보다 평가 (추론 평가자를 사용한 Best-of-8) 에 할당할 때 생성기 성능이 더 향상됨을 보여줍니다. 이는 더 강력하고 계산 집약적인 평가자가 '보상 모델 과최적화 (reward model over-optimization)'를 완화함을 시사합니다.

실험 결과

과정 평가 (ProcessBench)

• 지표: 솔루션에서 첫 번째 오류 단계를 식별하는 F1 점수.
• 결과:
  • 추론 모델 (예: DeepSeek-R1-Distill-Qwen-32B) 은 유사하거나 더 큰 크기의 지시 미세 조정 모델보다 현저히 우수한 성능을 보입니다.
  • 다단계 vs 단일 단계: 다단계 과정 평가는 단일 단계 방법보다 상당한 개선을 가져옵니다. 예를 들어, 32B 추론 모델은 다단계 평가로 F1 점수 78.6을 달성하여 이전 최첨단이었던 72B Qwen2.5-Math-PRM(78.3) 을 능가했습니다.
  • 자기 일관성: 자기 일관성은 도움이 되지만, 다단계 평가는 보완적인 이점을 제공합니다. 둘을 결합하면 가장 높은 점수를 얻습니다 (예: 32B 모델의 경우 82.8).

문제 해결 (Best-of-N 샘플링)

• 설정: 생성기 (Eurus-2, Llama-3.1-70B, Qwen2.5-7B) 가 $N$개의 응답을 생성합니다. 평가자들이 이를 순위 매깁니다.
• 비교: 고정된 총 계산 예산 하에서 추론 평가자 (Best-of-8) 대 직접 평가자 (Best-of-64).
• 결과:
  • 추론 평가자 (Best-of-8) 는 벤치마크 (AIME, MATH, LeetCode 등) 에서 직접 평가자 (Best-of-64) 보다 **4.30% 에서 6.63%**까지 더 우수한 성능을 보입니다.
  • 코드 성능: 추론 평가자는 코딩 작업 (LeetCode) 에서 특히 강력한 개선을 보여주며, 여기서 직접 PRM 들은 종종 과최적화와 낮은 도메인 전이 성능으로 고통받습니다.
  • 결합 점수: 과정 점수와 결과 점수를 통합하면 성능이 더욱 향상되며, 결과 평가자가 구분하지 못하는 응답들에 대한 동점자 처리 역할을 합니다.

자기 평가

• 논문은 또한 추론 모델이 자신의 출력을 생성하고 평가하는 것을 탐구합니다. 결과는 추론 모델이 효과적으로 자기 평가를 할 수 있음을 시사하며, Best-of-1 과 오라클 (oracle) 성능 사이의 격차 상당 부분을 회복하며, 종종 동일한 추론 모델에 의해 평가되는 지시 미세 조정 생성기보다 우수한 성능을 보입니다.

중요성과 주장

이 논문은 평가 시간 확장이 생성기에 대한 테스트 시간 확장과 병행하는 실현 가능하고 강력한 전략임을 주장합니다. 주요 중요성은 고정된 예산 하에서 생성에 할당하는 것보다 평가에 더 많은 계산을 사용하는 것이 더 효과적일 수 있다는 발견에 있습니다.

저자들은 다음과 같이 주장합니다:

1. 추론 능력의 이전: (긴 CoT 를 통한) 추론 능력은 문제 해결을 위한 것뿐만 아니라 고품질 평가에 내재된 것입니다.
2. 견고성: 추론 평가자는 보상 모델 과최적화에 덜 취약하여 최선의 후보를 선택하는 데 더 견고한 신호를 제공합니다.
3. 일반화: 이 접근법은 수학 및 코드 도메인 전반에 걸쳐 작동하며, 단계별로 평가하도록 프롬프트될 때 비추론 모델로까지 확장됩니다.

이 논문은 현재 추론 평가자들이 평가용으로 명시적으로 훈련되지는 않았지만, 그들의 고유한 추론 패턴 (자기 검증, 백트래킹) 이 그들을 우수한 심판자로 만든다고 결론지었습니다. 향후 연구는 이러한 모델을 평가자로 특별히 훈련하고, 창의적 글쓰기와 같은 검증 불가능한 작업으로 방법론을 확장하는 것을 제안합니다.