💬 NLP

Self-Guided Process Reward Optimization with Redefined Step-wise Advantage for Process Reinforcement Learning

이 논문은 외부 보상 모델의 필요성을 제거하고 내재적 프로세스 보상을 도출하며 단계별 이득 추정을 재정의함으로써, 표준적인 결과 감독 방식과 비교하여 추가적인 계산 오버헤드 없이도 우수한 훈련 효율성, 정확성 및 안정성을 달성하는 프로세스 강화 학습을 위한 자기 유도 프레임워크인 SPRO를 소개한다.

원저자: Wu Fei, Shuxian Liang, Yibo Yang, Yang Lin, Jing Tang, Lei Chen, Xiansheng Hua, Hao Kong

게시일 2026-07-27

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Wu Fei, Shuxian Liang, Yibo Yang, Yang Lin, Jing Tang, Lei Chen, Xiansheng Hua, Hao Kong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 까다로운 수학 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 옛날 방식이라면, 로봇이 해결책을 시도하게 둔 다음 아주 마지막에 가서야 "잘했어!" 또는 "다시 해봐"라고 말했을 것입니다. 이것은 학생에게 시험을 치르게 한 뒤, 시험이 다 끝나고 나서야 성적표를 건네주는 것과 같습니다. 로봇은 어떤 구체적인 단계가 도움이 되었고 어떤 단계가 실수였는지 알아내기 위해 추측해야 하므로 이는 다소 느린 방식입니다. 최근 과학자들은 더 나은 방법을 찾아냈습니다. 바로 로봇에게 퍼즐의 매 단계마다 피드백을 주는 것입니다. 이것은 마치 교사가 학생 곁을 걸으며 "방금 움직임 좋았어!"라거나 "잠깐, 그 단계는 좀 불안해 보이는데"라고 속삭여 주는 것과 같습니다. 이는 로봇이 훨씬 더 빠르게 배우고 더 명확하게 생각하도록 도와줍니다. 하지만 여기에는 함정이 있습니다. 단계별 피드백을 주려면, 보통 단계를 지켜보고 채점할 아주 똑똑한 두 번째 로봇(보상 모델)이 필요합니다. 이 두 번째 로봇은 무겁고, 실행 비용이 많이 들며, 많은 컴퓨터 자원을 차지하기 때문에 대규모로 사용하기 어렵습니다.

이 논문은 **자기 유도 과정 보상 최적화(Self-Guided Process Reward Optimization, SPRO)**라는 영리한 기술을 소개합니다. 저자들은 사실 그 비싸고 무거운 두 번째 로봇이 전혀 필요하지 않다는 점을 제안합니다. 대신, 메인 로봇이 스스로의 스승이 될 수 있습니다! 그들은 로봇이 적절한 방식으로 질문만 받는다면 이미 자신의 단계를 판단할 능력을 갖추고 있다는 것을 알아냈습니다. 각 단계의 "좋음"을 정의하는 방식을 재정의함으로써, 그들은 별도의 채점 기계 없이도 로봇이 스스로에게 보상을 주는 시스템을 만들었습니다. 그 결과, 이 방식은 무겁고 비싼 버전만큼 똑똑하면서도 훨씬 더 빠르게 실행되며 컴퓨터 자원을 훨씬 적게 사용합니다. 테스트 결과, 이 새로운 방법은 단순히 비용을 절감했을 뿐만 아니라, 이전의 최고 방법들보다 수학 및 코딩 문제를 더 잘, 그리고 더 빠르게 풀 수 있게 해주었습니다. 또한 로봇이 정체되지 않고 호기심과 창의성을 유지하도록 돕습니다.

문제점: 무거운 배낭

똑똑한 AI에게 인간처럼 추론하는 법을 가르치는 것은 아이에게 미로를 통과하는 법을 가르치는 것과 같습니다. 만약 당신이 아이에게 마지막에 가서야 "출구에 도착했구나!"라고만 말한다면, 아이는 어떤 회전이 올바른 것이었는지 모를 수도 있습니다. 아이는 처음에 잘못된 길로 들어서서 한 시간 동안 헤매다가 운 좋게 탈출했을지도 모릅니다. 이것이 기존의 AI 훈련 방식이 작동하던 방식입니다(결과 보상 방식).

이를 해결하기 위해 연구자들은 **과정 보상 모델(Process Reward Models, PRMs)**을 사용하기 시작했습니다. 미로의 모든 단계를 지켜보며 "좋은 회전이야!" 또는 "나쁜 회전이야!"라고 말하며 아이 옆에 서 있는 두 번째 선생님을 상상해 보세요. 이는 아이가 훨씬 더 빠르게 배우도록 돕습니다. 하지만 문제는 그 두 번째 선생님이 '무거운 배낭'이라는 점입니다. 단계를 관찰하기 위해 컴퓨터에 별도의 AI 모델 전체를 추가로 로드해야 합니다. 이는 엄청난 양의 메모리를 차지하며(마치 피아노를 짊어지고 마라톤을 하는 것과 같습니다), 모든 과정을 느리게 만듭니다. 이 방식은 너무 비용이 많이 들어서 많은 연구실에서 크고 중요한 작업에 사용하기 어렵습니다.

해결책: 스스로 가르치는 로봇

이 논문의 저자들은 간단한 질문을 던졌습니다. 로봇에게 정말 두 번째 선생님이 필요한가, 아니면 스스로 숙제를 채점하는 법을 배울 수 있는가?

그들은 로봇이 이미 자신의 단계를 판단할 능력을 갖추고 있다는 것을 발견했습니다. 이는 시험을 치르는 학생이 선생님이 채점하기도 전에, 자신이 내용을 잘 알고 있다면 해당 단계가 맞았는지 틀렸는지 이미 알 수 있는 것과 같습니다. 그들은 SPRO(Self-Guided Process Reward Optimization)라고 불리는 새로운 방법을 제안했습니다.

SPRO는 단계를 지켜보기 위해 별도의 "선생님 로봇"을 로드하는 대신, 메인 "학생 로봇"이 스스로의 스승 역할을 하도록 합니다. 로봇은 자신의 내부적인 생각과 과거의 생각을 비교함으로써 이를 수행합니다. 만약 로봇이 예전의 자신보다 더 똑똑한 움직임을 보인다면, 스스로에게 작은 "하이파이브(보상)"를 줍니다. 만약 더 나쁜 움직임을 보인다면, 스스로에게 부드러운 "다시 해봐"라는 신호를 줍니다.

작동 원리: "누적" 성적표

자가 채점이 공정하게 이루어지도록, 저자들은 두 가지 새로운 개념을 발명했습니다.

누적 과정 보상 (Cumulative Process Reward, CPR): 당신이 비디오 게임을 하고 있다고 상상해 보세요. 보통은 최종 보스를 물리쳤을 때만 점수를 얻습니다. 하지만 이 새로운 시스템에서는 로봇이 그곳에 도달하기 위해 거친 전체 경로에 대해 점수를 받습니다. 로봇은 문장의 시작부터 현재 순간까지 거쳐온 모든 단계를 되돌아보며 이렇게 말합니다. "지금까지의 전체 이야기를 놓고 봤을 때, 이 움직임이 좋은 것이었나?" 이는 로봇이 좋은 단계란 단순히 바로 다음 단어 하나가 아니라, 전체 이야기 속에서 어떻게 어우러지는지를 이해하도록 돕습니다.
마스크 단계 이점 (Masked Step Advantage, MSA): 이것은 심판의 휘슬입니다. 로봇이 문제를 풀려고 할 때, 여러 가지 서로 다른 답변을 동시에 생성합니다(마치 미로에서 네 가지 다른 경로를 시도하는 것과 같습니다). MSA는 그 네 가지 경로를 모두 살펴보고 정확히 같은 단계에서 서로를 비교합니다. 만약 경로 A가 3단계에서 지름길을 택했다면, 그리고 경로 B가 우회로를 택했다면, 로봇은 그 특정 순간에 경로 A가 더 나았다는 명확한 신호를 얻게 됩니다. 이는 단순히 답이 길거나 짧아서 생기는 혼란을 방지하며, 순수하게 어떤 단계가 더 똑똑했는지에 집중하게 합니다.

결과: 더 빠르고, 더 똑똑하고, 더 가볍게

팀은 이 새로운 방법을 매우 어려운 수학 및 코딩 퍼즐에 테스트했습니다. 결과는 다음과 같습니다.

속도의 제왕: SPRO는 무거운 "선생님 로bot"을 로드할 필요가 없기 때문에 믿을 수 없을 정도로 효율적입니다. 논문에 따르면 SPRO는 표준 방식(GRPO)보다 훈련 속도가 3.4배 더 빠르며, 동일한 결과를 얻기 위해 기존의 무거운 방식(PRIME)이 사용하는 컴퓨터 시간(GPU 시간)의 단 **29%**만을 사용합니다.
더 나은 문제 해결 능력: SPRO로 훈련된 로봇은 표준 방식보다 12.9% 높은 점수를 기록했으며, 별도의 선생님을 사용했던 이전의 최고 방식보다도 7.2% 더 높은 점수를 기록했습니다.
게으려지지 않음: 때때로 로봇이 너무 빠르게 학습하면, 새로운 시도를 멈추고 똑같은 안전한 답변만 반복하게 됩니다(이를 "엔트로피 붕괴"라고 합니다). SPRO는 로봇의 호기심을 유지합니다. 즉, 로봇이 가장 안전한 답만을 골라내는 대신 다양한 창의적인 해결책을 계속 시도하도록 "탐색(Exploration)" 수준을 높게 유지합니다.
간결함: SPRO로 훈련된 로봇은 더 짧고 직접적인 답변을 내놓는 법을 배웠습니다. 로봇은 횡설수설하지 않고 핵심을 바로 짚었는데, 이는 진정한 이해의 징표입니다.

이것이 왜 중요한가

이 논문은 AI에게 단계별로 생각하는 법을 가르치기 위해 반드시 거대하고 비싼 컴퓨터 시스템을 구축할 필요는 없다는 점을 시사합니다. AI가 자신의 내부 지식을 사용하여 스스로를 가르치게 함으로써, 우리는 추론형 AI를 더 저렴하고, 빠르고, 효과적으로 만들 수 있습니다. 이는 "더 큰 선생님이 필요하다"에서 "학생이 생각보다 더 똑똑하다"로의 전환입니다. 이는 미래에 우리가 더 똑똑하고 유능한 AI 어시스턴트를 훨씬 더 접근 가능한 컴퓨터에서 실행할 수 있음을 의미하며, 슈퍼컴퓨터 없이도 수학, 과학, 코딩의 복잡한 문제들을 해결하는 데 도움을 줄 수 있음을 뜻합니다.

기술 요약: 자가 가이드 프로세스 보상 최적화 (Self-Guided Process Reward Optimization, SPRO)

1. 문제 정의

프로세스 강화 학습(Process Reinforcement Learning, PRL)은 중간 피드백을 제공함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 유망한 가능성을 보여주었습니다. 그러나 현재의 접근 방식들은 다음과 같은 중대한 장애물에 직면해 있습니다:

계산 오버헤드: 보조 프로세스 보상 모델(PRM)을 훈련하는 것은 추가적인 GPU 메모리와 계산 자원을 요구하며, 이는 GRPO와 같은 결과 기반 감독 방식에 비해 훈련 처리량과 확장성을 저하시킵니다.
이론적 공백: 프로세스 수준의 어드밴티지(advantage) 추정을 위한 통합된 이론적 프레임워크가 존재하지 않습니다. 기존 방법들은 전체 궤적(trajectory) 전체에 걸쳐 보상을 집계하거나, 편향을 유발하고 표준 어드밴티지 기반 정책 경사(policy gradient) 방법에서 벗어나는 몬테카를로 추정치에 의존합니다.
훈련의 한계: PRM 기반 방법은 (인간의 주석이나 신뢰할 수 없는 자동 감독에 대한 의존성 때문에) 훈련이 어렵고, 순차적인 롤아웃(rollout)이 필요하여 온라인 RL 설정에서의 활용도가 낮습니다.

2. 방법론

저자들은 정책 모델 자체로부터 내재적으로 보상을 도출함으로써 프로세스 인지 강화 학습을 가능하게 하는, PRM이 필요 없는 프레임워크인 **자가 가이드 프로세스 보상 최적화(SPRO)**를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소에 기반합니다:

A. 자가 가이드 프로세스 보상 (Self-Guided Process Rewards)

이 프레임워크는 임의의 LLM 정책 $\pi_\theta$ 가 토큰 수준의 마르코프 결정 과정(MDP) 내에서 특정 보상 함수에 대한 소프트 Q-함수(soft Q-function) 역할을 한다는 이론적 통찰을 활용합니다.

명제: 정책 모델 자체가 스스로의 보상 모델 역할을 할 수 있습니다. 구체적으로, 프로세스 보상 $r(s_t, a_t)$ 는 현재 정책과 참조 정책(reference policy) 사이의 로그 비율(log-ratio)로부터 도출될 수 있습니다:
$r(s_t, a_t) + V(s_{t+1}) - V(s_t) = \beta \log \frac{\pi_\theta(a_t|s_t)}{\pi_{ref}(a_t|s_t)}$
메커니즘: 별도의 PRM( $\pi_\phi$ )을 필요로 하는 방법들과 달리, SPRO는 정책 모델 $\pi_\theta$ 를 사용하여 토큰 수준의 크레딧 할당(credit assignment)을 생성합니다. 정책 모델과 참조 모델은 동일한 SFT 모델에서 초기화되므로, 초기 프로세스 보상은 0이며, 훈련 과정에서 정책이 참조 모델으로부터 멀어짐에 따라 진화합니다.

B. 재정의된 단계별 어드밴티지 (Redefined Step-wise Advantage)

엄격한 단계별 어드밴티지 추정을 용이하게 하기 위해, SPRO는 두 가지 새로운 개념을 도입합니다:

누적 프로세스 보상 (Cumulative Process Reward, CPR):
- LLM의 은닉 상태(hidden state)가 $t$ 단계에서 전체 접두사 시퀀스(prefix sequence)를 인코딩한다는 점(마스크드 어텐션 때문)을 인식하여, SPRO는 $t$ 단계에서의 보상을 해당 시점까지의 프로세스 보상의 누적 합으로 정의합니다.
- 형식적으로, $R_t$ 는 보상의 합과 미래 가치의 합으로 정의되며, 이는 로그 비율의 망원 급수(telescoping sum)로 단순화됩니다:
  $R_t = V(s_0) + \sum_{j=0}^{t} \beta \log \frac{\pi_\theta(a_j|s_j)}{\pi_{ref}(a_j|s_j)}$
- 이는 LLM 표현의 누적적 특성과 일치하며, 외부 모델 없이 프로세스 보상을 대체하는 대리물(surrogate) 역할을 합니다.
마스크드 단계 어드밴티지 (Masked Step Advantage, MSA):
- 공정한 비교를 보장하기 위해, SPRO는 "공유 프롬프트 샘플링 그룹(shared-prompt sampling groups)" 내에서 어드밴티지를 계산합니다.
- 여러 샘플링된 응답에 걸친 특정 타임스텝 $t$ 에 대해, 어드밴티지는 해당 특정 타임스텝에서의 유효한 단계들의 그룹 평균에 상대적으로 정규화하여 계산됩니다.
- 공식: $MSA_{i,t} = \tilde{R}_{i,t} - \text{mask\_mean}(\{\tilde{R}_{i,t}\})$ , 여기서 $\tilde{R}$ 은 상수 $V(s_0)$ 를 제외합니다.
- 핵심 특징: 이 메커니즘은 엄격한 단계별 비교를 강제하여 길이 편향(예: 응답이 길다는 이유만으로 인위적인 어드밴티지를 얻는 것)을 방지하며, GRPO와 같은 표준 그룹 상대적 어드밴티지 방법론을 단계 수준에서 적용합니다.

C. 최적화 목적 함수 (Optimization Objective)

SPRO는 MSA를 GRPO 프레임워크에 통합합니다. 총 어드밴티지 $A_{i,t}$ 는 결과 보상(정규화됨)과 MSA를 결합합니다:
$A_{i,t} = \text{OutcomeAdvantage} + MSA_{i,t}$
그 후, 이 결합된 어드밴티지 신호를 사용하여 클리핑된 목적 함수(clipped objective)를 최대화하도록 정책을 최적화합니다.

3. 주요 기여

PRM-Free 프레임워크: SPRO는 비용이 많이 드는 보조 프로세스 보상 모델의 필요성을 제거하여, 프로세스 수준의 최적화를 가능하게 하면서도 결과 기반 RL(이중 모델 프레임워크)의 단순성과 확장성을 유지합니다.
이론적 재정의: 본 논문은 CPR과 MSA를 도입하여 단계별 어드밴티지를 재정의함으로써, 공유 프롬프트 그룹 내에서의 단계별 행동 어드밴티지 추정을 위한 엄격한 이론적 프레임워크를 제공합니다.
이중 개선: 이 방법은 토큰 효율성(더 짧은 추론 궤적)과 정책 엔트로피 붕괴(탐색 유지) 문제를 동시에 해결하여, LLM RL의 두 가지 핵심 과제를 해결합니다.

4. 실험 결과

실험은 Eurus-2-7B 및 Qwen2.5-14B와 같은 모델을 사용하여 수학 및 프로그래밍 벤치마크(예: AIME, MATH, LeetCode, LiveCodeBench)에서 수행되었습니다.

정확도: SPRO는 테스트 정확도에서 바닐라 GRPO보다 12.9%, PRIME보다 7.2% 높은 성능을 보였습니다. 또한 다양한 모델군(예: Llama-3.1-8B)에 걸친 일반화 능력을 입증했습니다.
훈련 효율성: SPRO는 GRPO에 필요한 GPU 시간의 29%, PRIME에 필요한 시간의 **15%**만으로도 동등한 성능을 달성했습니다. 이는 보조 PRM의 제거와 더 짧은 궤적 길이에 기인합니다.
토큰 효율성: SPRO는 바닐라 GRPO보다 응답 길이가 거의 1/3 짧으면서도 더 높은 정확도를 달성하여, 더 효율적인 추론을 수행함을 보여줍니다.
엔트로피 안정성: 엔트로피 붕괴를 겪는 PRIME과 달리, SPRO는 훈련 전반에 걸쳐 안정적이고 높은 정책 엔트로피를 유지하여, 보상 해킹(reward hacking)을 방지하고 효과적인 탐색을 촉진합니다.
사례 연구: 정성적 분석 결과, SPRO는 베이스라인 방법들의 장황하고 반복적인 출력에 비해 더 간결하고 직접적인 추론 경로를 생성함을 보여줍니다.

5. 의의 및 주장

본 논문은 SPRO가 **산업 규모의 프로세스 강화 학습(industry-scale Process Reinforcement Learning)**을 향한 중요한 진전임을 주장합니다. 별도의 PRM을 훈련하는 계산적 병목 현상을 제거함으로써, 대규모 산업적 배포를 위한 프로세스 수준의 최적화를 가능하게 합니다. 저자들은 이 접근 방식이 추론 정확도를 향상시킬 뿐만 아니라, 탐색을 저해하지 않으면서 간결하고 다양하며 효과적인 솔루션을 권장함으로써 추론 과정의 질을 근본적으로 개선한다고 주장합니다. 이 프레임워크는 이론적인 프로세스 수준의 어드밴티지와 효율적인 실제 구현 사이의 간극을 메우는, 전통적인 프로세스 보상 접근 방식에 대한 실용적이고 확장 가능한 대안으로 제시됩니다.