💻 컴퓨터 과학

STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models

STEP-VERIFIER는 자동으로 합성된 쌍체 비교를 통해 개별 에이전트의 행동을 검증하는 법을 학습함으로써, 배포 시에는 검증기에 의존할 필요 없이 복잡한 도구 사용 작업에서 에이전트의 성능을 크게 향상시키기 위해 훈련 과정 중 조밀한 중간 피드백을 제공하는 프로세스 보상 모델이다.

원저자: Longhui Zhang, Xian Wu, Chunyuan Chen, Fen Huang, Bin Wang

게시일 2026-10-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Longhui Zhang, Xian Wu, Chunyuan Chen, Fen Huang, Bin Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 에이전트라고 알려진 새로운 부류의 프로그램들이 늘어나고 있습니다. 단순히 질문에 답하는 일반적인 챗봇과 달리, 에이전트는 행동을 취하도록 설계되었습니다. 에이전트는 웹을 탐색하거나, 외부 도구를 호출하거나, 복잡한 문제를 해결하기 위해 파일을 조작할 수 있습니다. 이를 배우기 위해, 이러한 에이전트들은 종종 시행착오와 유사한 과정을 통해 훈련됩니다. 에이전트는 과업을 시도하고, 마지막 단계에서 성공하면 보상을 받습니다. 실패하면 보상을 받지 못합니다. 이는 단순한 작업에는 잘 작동하지만, 수십 단계가 포함된 길고 복잡한 미션의 경우 중대한 사각지대를 만듭니다. 에이전트는 최종 결과만을 알 뿐, 어떤 특정 단계가 실패를 유발했는지는 알지 못합니다. 과정 초기의 단 한 번의 잘못된 움직임이 전체 시도를 망칠 수 있음에도 불구하고, 학습 시스템은 그 실패를 모든 단계에서 잘못된 시도와 동일하게 취급합니다. 이러한 세부 정보의 부족은 에이전트가 자신의 실수를 효율적으로 배우는 것을 어렵게 만듭니다.

홍콩 대학교와 샤오미의 연구진은 이 문제를 해결하기 위해 STEP-VERIFIER라고 불리는 새로운 방법을 개발했습니다. STEP-VERIFIER는 에이전트의 성과를 판단하기 위해 작업이 끝날 때까지 기다리는 대신, 각 개별 행동의 품질을 발생하는 즉시 평가하는 법을 배웁니다. 이 혁신의 핵심은 모든 단계마다 인간 교사가 채점을 할 필요 없이 이 작업을 수행하는 방법에 있습니다. 연구진은 에이전트가 생성한 과거의 시도들을 사용하여 필요한 피드백을 생성할 수 있다는 점을 깨달았습니다. 에이전트가 동일한 문제를 여러 번 해결하려고 시도할 때, 종종 처음 몇 단계 동안은 같은 경로를 따르다가 서로 다른 방향으로 갈라져 나갑니다. 이러한 서로 다른 분기들의 최종 결과를 비교함으로써, 시스템은 어떤 초기 선택이 더 나았는지 추론할 수 있습니다. 만약 한 경로가 성공으로 이어지고 다른 경로는 실패로 이어진다면, 시스템은 그 결정 지점이 매우 중요했다는 것을 학습하게 됩니다.

연구진은 개별 단계에 대한 심판 역할을 하는 별도의 '검증기(verifier)' 모델을 구축했습니다. 연구진은 각 시도가 성공 또는 실패로 표시된 방대한 양의 로그 상호작용 모음집을 사용하여 이 검증기를 훈련시켰습니다. 시스템은 두 개의 서로 다른 시도가 특정 지점까지는 동일한 이력을 공유하다가 그 이후에 서로 다른 행동을 취하는 순간을 찾습니다. 그리고 최종 성공률의 차이를 계산하여 비교를 만듭니다. 예를 들어, 어떤 행동이 80%의 확률로 성공적인 결과로 이어졌고 다른 행동이 성공 확률 20%로만 이어졌다면, 검증기는 첫 번째 행동에 더 높은 점수를 주도록 학습합니다. 이 과정은 과업이 끝나기 훨씬 전부터 어떤 움직임이 좋았고 어떤 움직임이 나빴는지 정확히 알려주는 밀도 높은 피드백 스트림을 생성합니다.

결정적으로, 이 검증기는 오직 훈련 단계에서만 사용됩니다. 연구진은 에이전트가 많은 무작위 추측을 하고 최종 결과가 노이즈가 많은 초기 단계에서 검증기의 영향력이 가장 강력하도록 일정을 설계했습니다. 에이전트가 숙련되어 자신의 최종 결과가 더 신뢰할 수 있게 됨에 따라, 검증기의 피드백은 점차 줄어들어 완전히 사라지게 됩니다. 이는 최종적으로 배치된 에이전트가 작동하기 위해 검증기를 필요로 하지 않도록 보장합니다. 즉, 에이전트는 교훈을 내면화하여 독립적으로 운영할 수 있게 됩니다. 웹 브라우징, 도구 사용, 다단계 계획을 포함한 세 가지 서로 다른 벤치마크에서 테스트했을 때, 이 방식은 최종 점수에만 의존하는 방법들보다 성능이 크게 뛰어났습니다. 에이전트는 더 빠르게 학습했고 실수를 덜 저질렀습니다.

또한 이 연구는 중간 단계를 판단하는 다른 방법들과 이 새로운 방식을 비교했습니다. 일부 이전 접근 방식들은 각 단계에 대해 단순한 예/아니오 라벨을 사용했고, 다른 방식들은 전체 시도를 하나의 단위로 점수화하려고 시도했습니다. 쌍을 이루는 행동들을 비교하기 위해 더 미묘한 순위 시스템을 사용하는 STEP-VERIFIER 방식은 가장 효과적인 것으로 증명되었습니다. 이 방식의 점수는 무엇이 좋은 단계인지에 대한 인간의 판단과 훨씬 더 밀접하게 일치했습니다. 실제로 인간이 에이전트의 행동을 검토했을 때, 검증기의 평가와 약 81.5%의 높은 일치율을 보였으며, 이는 다른 자동화된 방법들보다 훨씬 높은 수치입니다. 이는 시스템이 복잡한 과업을 항해하는 데 필요한 미묘한 논리를 성공적으로 포착했음을 시사합니다.

이 연구의 가장 중요한 발견 중 하나는 이 시스템이 추가적인 인간의 노력이나 새로운 데이터 수집 없이 작동한다는 점입니다. 이 방식은 표준 훈련 중에 이미 생성된 데이터에 전적으로 의존합니다. 연구진은 시스템이 에이전트가 가장 많은 시간을 소비하는 단계에 자연스럽게 집중한다는 것을 발견했는데, 이는 그 단계에서 비교할 수 있는 데이터가 가장 많기 때문입니다. 그러나 연구진은 한계점도 언급했습니다: 에이전트가 거의 시도하지 않는 매우 어려운 단계의 경우, 신뢰할 수 있는 판단을 내릴 만큼 충분한 데이터가 없습니다. 그러한 드문 경우에 시스템은 정보가 부족해집니다. 그럼에도 불구하고, 이 방법은 에이전트가 자신의 행동에 대해 비판적으로 생각하도록 가르치는 데 있어 중요한 진전을 의미합니다. 에이전트 자신의 이력을 스승으로 만듦으로써, 연구진은 이러한 시스템이 실시간으로 자신의 실수로부터 배울 수 있는 방법을 만들어냈으며, 이는 더욱 유능하고 신뢰할 수 있는 인공지능으로 이어집니다.

기술 요약: STEP-VERIFIER

문제 정의

대규모 언어 모델(LLM) 에이전트는 일반적으로 도구 호출(tool calls)과 환경 상호작용의 긴 시퀀스를 통해 복잡한 과업을 완수한다. GRPO(Group Relative Policy Optimization)와 같은 현재의 학습 패러다임은 에피소드가 끝나는 시점에 단 하나의 이진 신호(성공/실패)만을 받는 **결과 보상 학습(outcome-rewarded training)**에 의존한다. 이러한 방식은 구조적 사각지대를 갖는다. 즉, 에이전트가 단 한 번의 조기 오류로 인해 실패한 것인지, 아니면 추론의 완전한 붕괴로 인해 실패한 것인지를 구분할 수 없다. 결과적으로, 성공 또는 실패에 결정적인 중간 행동들이 판단되지 않은 채 남게 되며, 학습 신호는 희소해지고 전적으로 최종 궤적의 결과에만 의존하게 된다.

PRM(Process Reward Models)은 수학적 추론에서 개별 단계에 점수를 매김으로써 성공을 보여주었으나, 이를 에이전트 설정에 적용하는 것은 까다롭다. 기존 방법들은 종종 비용이 많이 드는 인간의 단계별 주석(annotation)을 요구하거나, 장기적 상호작용을 위해 샘플 효율성이 낮은 학습된 비평가(learned critics)에 의존한다. 본 연구가 다루는 핵심 질문은, 표준적인 결과 보상 학습에 의해 이미 폐기된 데이터만을 활용하여, 인간의 단계별 레이블 없이, 그리고 추가적인 환경 상호작용 없이 액션 레벨 검증기(action-level verifier)를 학습시킬 수 있는가 하는 점이다.

방법론: STEP-VERIFIER

제안된 시스템인 STEP-VERIFIER는 최종 성공/실패 결과로만 레이블이 지정된 로그 상호작용 코퍼스로부터 프로세스 검증기를 학습시키는 프레임워크를 도입한다.

1. 쌍체 지도 학습의 합성 (Synthesizing Pairwise Supervision)

이 방법은 결과 보상 학습에서 동일한 과업이 여러 번 시도되는 경우가 많아, 의미론적으로 동일한 상호작용 접두사(prefix)로부터 여러 개의 연속된 과정(continuations)이 존재하는 코퍼스가 생성된다는 점을 활용한다.

접두사 분할 쌍 (Prefix-Split Pairs): 주어진 상호작용 이력 $h$ 에 대해, 시스템은 동일한 상태에서 취해진 두 개의 서로 다른 액션 $a$ 와 $a'$ 를 식별한다.
몬테카를로 추정 (Monte-Carlo Estimation): $h \cdot a$ 와 $h \cdot a'$ 를 따르는 모든 로그된 연속 과정들의 평균 최종 리턴(average final return)을 계산한다. 이 두 평균값의 차이는 두 액션 사이의 가치 격차(value gap)에 대한 몬테카를로 추정치 역할을 한다.
편향 없는 레이블 (Unbiased Labels): 이 차이는 새로운 롤아웃이나 인간의 주석 없이도 어떤 액션이 더 나은 결과를 이끌어냈는지에 대한 쌍체 비교 레이블을 제공한다. 저자들은 이러한 합성된 레이벨이 기저의 가치 격차를 나타내는 편향 없는 일관된 추정치임을 증명한다.

2. 검증기 아키텍처 (The Verifier Architecture)

검증기는 컨텍스트 내의 개별 관찰-액션 쌍을 점수 매기도록 학습된 언어 모델( $s_\theta$ )이다.

Bradley-Terry 헤드: 절대적인 점수를 예측하는 대신, 검증기는 컨텍스트 상대적인 스칼라 점수를 출력한다. 이는 합성된 쌍체 선호도를 최소화하기 위해 Bradley-Terry 랭킹 헤드를 사용하여 학습된다.
교정 (Calibration): 저자들은 Bradley-Terry 응답 모델 하에서, 학습 목적 함수를 최소화하는 것이 검증기의 점수 차이( $\Delta_\theta$ )가 기저의 가치 격차( $\Delta Q$ )를 정확히 회복함을 증명한다. 이는 검증기가 단순한 서열 순위가 아닌, 정량적 피드백으로 사용될 수 있는 교정된(calibrated) 점수를 제공함을 의미한다.

3. 검증기 루프 내 학습 (Verifier-in-the-Loop Training)

검증기는 정책 학습 루프(특히 GRPO)에 통합되지만, 배포 전에는 종료되도록 설계되었다. 이는 학습 중에 두 가지 역할을 수행한다:

로그 필터링 (Log Filtering): 각 정책 업데이트 전에, 검증기는 모든 상호작용 로그의 점수를 매긴다. "운 좋게 맞춘" 궤적이나 노이즈가 섞인 궤적이 그래디언트 업데이트를 오염시키는 것을 방지하기 위해 가장 낮은 점수를 받은 비율(예: 하위 20%)을 제거한다.
조밀한 중간 피드백 (Dense Intermediate Feedback): 남은 로그들에 대해, 검증기는 표준화된 단계별 점수를 제공하고 이를 시퀀스 수준의 어드밴티지(advantage) 계산에 주입한다.
감쇠 스케줄 (Annealing Schedule): 결정적으로, 이 조밀한 피드백의 가중치( $\lambda_k$ )는 선형 감쇠 스케줄을 따르며, 학습이 진행됨에 따라(예: 예산의 75% 지점까지) 0으로 감소한다. 이는 최종 단계의 학습이 표준적인 결과 전용 최적화와 구별되지 않도록 보장하며, 결과적으로 배포된 정책은 검증기에 의존하지 않는다.

주요 기여

결과 레이블로부터의 액션 레벨 검증기: 성공 레이블이 지정된 로그 코퍼스만을 사용하여 프로세스 검증기를 학습시키는 방법론을 제시한다. 이는 인간의 단계별 레이블, 사전 학습된 보상 모델, 또는 추가적인 환경 상호작용 없이 로그된 연속 과정들 사이의 몬테카를로 리턴 차이를 통해 쌍체 감독을 합성함으로써, 이를 제거한다.
이론적 보장: 합성된 레이블이 편향 없는 가치 격차 추정치이며, Bradley-Terry 헤드가 교정된 액션 점수를 생성하여 단순 순위가 아닌 정량적 피드백으로 사용할 수 있음을 입증하는 증명을 제공한다.
감쇠 학습 체계: 로그 필터링 및 조밀한 피드백을 결합한 "검증기 루프 내" 전략과 선형 감쇠 스케줄을 제안한다. 이를 통해 검증기가 초기 학습을 가이드하도록 하면서도, 최종 정책이 검증기와 독립적이게 하여 추론 시 오버헤드가 발생하지 않도록 한다.
실험적 검증: 다양한 벤치마크에서 STEP-VERIFIER가 결과 전용 베이스라인 및 기타 검증기 가이드 방식들을 능가함을 종합적인 평가를 통해 입증하였다.

실험 결과

시스템은 Llama-3.1-8B-Instruct와 Mistral-7B-Instruct 백본을 사용하여 세 가지 벤치마크(GAIA (일반 보조), ToolBench (API 구성), AgentBoard (멀티 턴 계획))에서 평가되었다.

성능 향상: STEP-VERIFIER는 모든 종합 지표에서 표준 GRPO, PPO, 그리고 검증기 가이드 베이스라인(GRPO + ORM, GRPO + PRM)보다 우수한 성능을 보였다.
- GAIA (Llama-3.1-8B 사용 시), 평균 정확도 **30.1%**를 달성하여 GRPO(21.5%)보다 8.6포인트 높았으며, 최상의 베이스라인(GRPO + PRM)보다 4.4포인트 높았다.
- ToolBench에서는 **38.9%**의 승률을 기록하여 GRPO(30.4%)를 앞질렀다.
점수 품질: 홀드아웃 데이터에 대한 인간의 판단과 비교했을 때, STEP-VERIFIER는 **81.5%**의 쌍체 일치도를 보였으며, 이는 궤적 수준 보상 모델(62.4%) 및 이진 프로세스 보상 모델(73.2%)보다 현저히 높은 수치이다. 또한, 베이스라인에 비해 우수한 교정 성능(기대 교정 오차(ECE) 0.06)을 보여주었다.
절제 연구 (Ablation Studies):
- Bradley-Terry 헤드를 제거하고 이진 레이블을 사용했을 때 성능이 크게 하락하여, **교정(calibration)**이 필수적임을 확인했다.
- 감쇠(annealing) 스케줄을 제거하고 피드백 가중치를 일정하게 유지했을 때 최악의 성능을 보였으며, 이는 검서 신호가 너무 오래 지속되면 후기 학습에 해가 될 수 있음을 나타낸다.
- 이 방법은 로그된 연속 과정의 "공급"에 의존하므로, 희귀한 상태가 견고한 비교 쌍을 형성할 만큼 충분히 재발하지 않는 과업에서는 성능이 저하된다.

의의 및 주장

본 논문은 STEP-VERIFIER가 에이전트 학습에서 희소한 결과 보상과 조밀한 중간 피드백의 필요성 사이의 간극을 성공적으로 메운다고 주장한다. 기존의 상호작용 로그로부터 감독 신호를 합성함으로써, 인간의 주석 비용을 피하면서도 교정된 그리고 이론적으로 근거가 있는 검증기를 제공한다.

가장 중요한 주장은 **배포 독립성(deployment independence)**이다. 검증기는 학습 중에 정책을 형성하고 노이즈를 필터링하는 임시 가이드 역할을 수행하지만, 배포 전에는 완전히 제거된다. 이는 최종 에이전트가 테스트 시점에 별도의 비평가 모델에 의존함에 따른 추론 오버헤드나 분포 변화(distributional shift) 위험을 겪지 않도록 보장한다. 본 연구는 결과 보상 학습의 "폐기된 재료"가 적절한 학습 역학(필터링 및 감쇠)이 관리된다면 고품질의 프로세스 검증을 학습하기에 충분한 신호를 포함하고 있음을 시사한다.