기술 요약: 에이전트 추론을 위한 검증 가능한 과정 보상

문제 제기

검증 가능한 보상을 통한 강화 학습 (RLVR) 은 주관적인 인간 선호도를 객관적인 정답 신호 (예: 정확한 수학 답안 또는 단위 테스트 결과) 로 대체함으로써 대형 언어 모델 (LLM) 의 추론 능력을 성공적으로 향상시켰습니다. 그러나 기존 RLVR 접근법은 주로 희소한 결과 수준 피드백에 의존하는데, 이는 전체 궤적이 완료되었을 때만 보상을 제공합니다.

이러한 희소성은 장기적 에이전트 추론에서 근본적인 신용 할당 문제를 야기합니다. 도구 사용, 계획 수립, 또는 신념 업데이트가 포함된 다단계 작업에서 궤적은 많은 올바른 중간 결정을 포함함에도 실패할 수 있고, 결함이 있는 결정을 포함함에도 성공할 수 있습니다. 희소한 종단 피드백은 어떤 특정 중간 행동을 강화하거나 처벌해야 하는지를 신뢰성 있게 식별하지 못합니다. 과정 보상 모델 (PRM) 은 단계별 피드백을 제공함으로써 이를 해결하려 시도하지만, 종종 학습된 보상 모델, LLM 을 심사관으로 활용한 평가, 또는 몬테카를로 롤아웃에 의존합니다. 이러한 방법들은 노이즈, 편향, 보상 해킹에 대한 취약성, 또는 높은 계산적 분산을 초래합니다.

본 논문은 다음과 같은 간극을 지적합니다: 학습된 근사치나 비용이 많이 드는 샘플링에 의존하는 것이 아니라, 작업 구조에 객관적이고 근거를 둔 밀집된 턴별 감독이 필요합니다.

방법론: 검증 가능한 과정 보상 (VPR)

저자들은 **검증 가능한 과정 보상 (VPR)**을 제안합니다. 이는 심볼릭 또는 알고리즘 오라클을 강화 학습을 위한 밀집된 턴별 보상 신호로 변환하는 프레임워크입니다. VPR 은 중간 행동을 작업별 검증기 $V: S \times A \to \{0, 1\}$가 객관적으로 확인할 수 있는 밀집 검증 가능 에이전트 추론 문제라는 가정 하에 작동합니다.

핵심 메커니즘

궤적 수준의 신호를 기다리거나 롤아웃을 통해 값을 추정하는 대신, VPR 은 각 중간 행동을 검증기와 대조하여 확인합니다. 검증기의 논리 하에서 행동이 유효하거나 유용하거나 최적이라면, 밀집되고 노이즈가 없는 보상을 받습니다 ($r_t^{VPR} = V(s_t, a_t)$).

이 프레임워크는 세 가지 대표적인 설정에서 구체화됩니다:

1. 검색 기반 검증 (동적 연역): 틱택토에 구현되었습니다. 검증기는 몬테카를로 트리 탐색 (MCTS) 을 사용하여 전략적 최적성을 평가합니다. 행동이 MCTS 최적 이동 ($Q_{MCTS}$) 과 일치하면 보상을 받아, 에이전트가 국소적으로 매력적이지만 전략적으로 패배하는 행동을 피하도록 장려합니다.
2. 제약 기반 검증 (논리적 추론): 스도쿠에 구현되었습니다. 검증기는 채워진 숫자가 고유한 전역 해답 그리드 ($G^*$) 와 일관성이 있는지 확인합니다. 행동이 셀의 올바른 숫자와 일치할 경우 ($G^*[i, j] = d$) 보상을 받아, 제약 충족을 위한 밀집된 감독을 제공합니다.
3. 사후 기반 검증 (확률적 추론): 마이크레이버에 구현되었습니다. 검증기는 드러난 관찰을 기반으로 폭탄의 사후 확률을 계산합니다. 행동이 최소 사후 폭탄 확률 (위험 최소화) 을 가진 셀을 드러내거나 확률 1 인 셀을 표시할 경우 보상을 받습니다. 이는 에이전트가 신념 상태를 업데이트하고 불확실성에 따라 행동하도록 장려합니다.

최적화

정책은 **그룹 상대 정책 최적화 (GRPO)**의 턴별 변형을 사용하여 최적화됩니다. 각 턴 $t$에서, 보상은 궤적 그룹 전체에 걸쳐 정규화되어 턴별 이점 ($A_{i,t}$) 을 계산합니다. 결과 수준 RL 과는 달리, 이는 궤적이 결국 실패하더라도 올바른 중간 단계를 강화하고, 궤적이 우연히 성공하더라도 무효 단계를 처벌할 수 있게 합니다.

이론적 분석

논문은 세 가지 주요 이론적 통찰을 제공합니다:

1. 모방과 유사한 업데이트: VPR 은 각 단계가 오라클에 근거한 자체 신용 신호를 기여하는 온-정책 필터링된 모방 업데이트로 작용합니다.
2. 편향 스케일링: 근사 검증기에 의해 도입된 기울기 편향은 검증기의 불일치율 ($\bar{\epsilon}$) 에 선형적으로 비례하여 스케일링됩니다. 이는 노이즈가 더 예측 불가능하게 전파될 수 있는 학습되거나 롤아웃 기반 보상과 대조됩니다.
3. 신호 누적: 장기적 작업에서 VPR 신호는 시간 범위 ($T$) 에 따라 선형적으로 누적되는 반면, 결과 수준 보상 (OR) 신호는 성공을 위해 모든 단계가 정확해야 하므로 지수적으로 희석됩니다 ($p^T$). 이는 VPR 이 긴 궤적에 대해 더 우수한 신용 할당을 제공하는 이유를 설명합니다.

주요 기여

1. 프레임워크: 밀집 검증 가능 에이전트 추론 문제에서 심볼릭 또는 알고리즘 검증기로부터 과정 보상을 도출하는 방법인 VPR 의 도입.
2. 구현: 검색 기반 (틱택토), 제약 기반 (스도쿠), 사후 기반 (마이크레이버) 등 세 가지 다른 추론 영역에서 VPR 의 구현 사례 제시.
3. 이론: 밀집 검증 가능 피드백이 정책 기울기 업데이트를 국소화하고 결과 수준 보상과 비교하여 유리한 시간 범위 스케일링을 제공함으로써 장기적 신용 할당을 개선한다는 이론적 분석.
4. 실증적 검증: 통제된 환경에서 결과 수준 RL 및 롤아웃 기반 과정 보상 베이스라인을 모두 능가하는 VPR 의 성능을 보여주는 포괄적인 평가 및 일반 및 에이전트 추론 벤치마크로의 성공적인 전이.

실험 결과

저자들은 Qwen3-4B 모델을 사용하여 세 가지 훈련 환경에서 VPR 을 평가하고 일반 추론 및 에이전트 작업으로의 전이를 테스트했습니다.

도메인 내 성능

• 틱택토: VPR 은 최적의 수익 (0) 에 근접했으며, 첫 번째 및 두 번째 플레이어 모두로서 강력하게 수행한 유일한 방법이었습니다. 결과 수준 (OR) 및 몬테카를로 과정 보상 (MC-PR) 베이스라인은 특히 밀집된 신용 할당이 중요한 두 번째 플레이어에서 뒤처졌습니다.
• 스도쿠: 기본 모델은 중간 정도의 완료율을 보였으나 거의 퍼즐을 해결하지 못했습니다. VPR 은 성공률 (SR) 과 완료율 (CR) 을 모두 크게 향상시켰습니다. 특히 MC-PR 이 OR 보다 성능이 저조했는데, 이는 노이즈가 있는 단계별 추정이 엄격한 제약 충족 작업에서 해로울 수 있음을 시사합니다.
• 마이크레이버: VPR 은 완료율에서 가장 큰 향상을 보여주었는데, 이는 베이스라인에 비해 에이전트가 더 많은 유효한 국소 연역을 수행하고 불확실한 상태에서 더 오래 생존했음을 나타냅니다.

도메인 외 일반화

VPR 로 훈련된 모델은 우수한 전이 능력을 보여주었습니다:

• 일반 추론: VPR 훈련 모델은 7 개 벤치마크 (GSM8K, MATH-500, AIME24/25, GPQA-D, BBH, MMLU-P) 에서 평균 최고 점수를 달성했습니다. 개선은 더 어려운 벤치마크 (AIME, GPQA) 에서 가장 두드러졌는데, 이는 VPR 이 모든 작업을 균일하게 부스팅하는 것이 아니라 다단계 추론을 강화함을 시사합니다.
• 에이전트 작업: VPR 모델은 합성 훈련 게임과 구조적으로 거리가 먼 영역인 ALFWorld(구체화된 텍스트 기반 계획) 및 WebShop(목표 지향 웹 상호 작용) 에서 베이스라인을 능가했습니다. 이는 VPR 이 훈련 환경을 넘어 적용 가능한 일반 추론 기술을 함양함을 나타냅니다.

오라클 품질 제거 분석

오라클 품질에 관한 중요한 발견:

• 고품질 검증기 (N=10,000 MCTS 시뮬레이션): 도메인 내 및 도메인 외 설정 모두에서 최상의 성능을 발휘했습니다.
• 약한 검증기 (N=100): 훈련을 적극적으로 해쳤습니다. 약한 검증기로 훈련된 모델은 훈련 환경과 일반 추론 벤치마크 모두에서 기본 모델보다 낮은 성능을 보였습니다.
• 결론: 검증기가 신뢰할 수 있을 때만 밀집 감독이 유익합니다. 정렬되지 않은 오라클로부터의 노이즈가 있는 과정 감독은 희소한 결과 감독보다 일반 추론 능력을 더 저하시킬 수 있습니다.

중요성과 주장

본 논문은 밀집 검증 가능 에이전트 추론이 밀집된 객관적 과정 피드백이 LLM 에이전트의 일반 추론 능력을 어떻게 향상시킬 수 있는지 연구하는 데 유용한 경로라고 주장합니다.

• 실용적 레시피: 저자들은 중간 정확도를 객관적으로 검증할 수 있는 환경을 식별하고, 최종 답변뿐만 아니라 추론 과정을 감독하며, 이러한 기술을 더 넓은 에이전트 설정으로 전이하는 실용적인 접근법을 제안합니다.
• 한계와 과제: 논문은 겸손하게 VPR 이 중간 검증기의 가용성과 품질에 의존한다는 점을 인정합니다. 심볼릭 또는 알고리즘 오라클이 readily 이용되지 않는 덜 구조화된 개방형 환경으로 VPR 을 확장하는 것은 여전히 열려 있는 과제입니다.
• 영향: 이 연구는 검증 가능한 과정 감독이 일반 추론 기술을 함양할 수 있음을 강조하지만, "오라클"의 품질이 가장 중요함을 지적합니다. 신뢰할 수 있는 검증이 없으면 밀집 피드백은 역효과를 낼 수 있습니다.