🤖 AI

rePIRL: Learn PRM with Inverse RL for LLM Reasoning

이 논문은 전문가 정책에 대한 최소한의 가정만으로 LLM 추론을 위한 효과적인 프로세스 보상 모델을 학습시키기 위해 이중 학습 과정을 채택한 역강화학습 영감을 받은 프레임워크인 rePIRL을 소개하며, 기존 방법들과 비교하여 수학 및 코딩 작업 전반에서 우수한 성능과 일반화 능력을 입증한다.

원저자: Xian Wu, Kaijie Zhu, Ying Zhang, Lun Wang, Wenbo Guo

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xian Wu, Kaijie Zhu, Ying Zhang, Lun Wang, Wenbo Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신은 학생(AI)에게 매우 어려운 수학 문제를 풀거나 복잡한 컴퓨터 코드를 작성하는 법을 가르치고 있습니다.

기존 방식: "최종 성적"의 문제점
전통적으로 이러한 AI 학생들을 훈련시킬 때는 마지막에만 피드백을 줍니다. 우리는 최종 결과물을 보고 "정답!" 또는 "오답!"이라고 말합니다.

문제점: 만약 학생이 답을 틀렸다면, 그들은 어디에서 실수했는지 알 수 없습니다. 1단계에서 실수했을까요? 10단계에서 그랬을까요? 아니면 마지막 계산이 틀린 걸까요? 이는 마치 선생님이 개별 질문에 대한 코멘트 없이 시험지에 커다로 붉은색 "F"라고만 적어 돌려주는 것과 같습니다. 학생은 무엇이 잘못되었는지 추측해야 하며, 이는 학습을 느리고 비효율적으로 만듭니다.

기존의 "단계별" 솔루션들
일부 연구자들은 모든 단계에 피드백을 주는 방식으로 이를 해결하려 노력했습니다. 하지만 그들의 방법에는 큰 함정이 있었습니다:

"인간 튜터"의 함정: 그들은 인간 전문가(또는 매우 똑똑한 AI)가 학생의 작업 하나하나를 읽고 채점해야 했습니다. 이는 엄청나게 비용이 많이 들고 시간이 오래 걸리는 일입니다.
"마법 같은 추측"의 함정: 다른 방법들은 AI가 느끼는 확신도를 바탕으로 단계의 품질을 추측하려 했지만, 이는 종-종 AI가 과도하게 자신감을 갖게 하여 동일한 실수를 반복하게 만드는 문제(논문에서 "엔트로피 붕괴"라고 부르는 문제)를 초래했습니다.

새로운 솔루션: rePIRL ("역설계" 방식)
이 논문은 AI를 가르치는 새로운 방법인 rePIRL을 소개합니다. 모든 단계에 피드백을 주기 위해 인간 전문가를 요구하는 대신, rePIRL은 **역강화학습(Inverse Reinforcement Learning)**에서 영감을 받은 영리한 트릭을 사용합니다.

여기 비유가 있습니다:
당신이 로봇에게 완벽하게 걷는 법을 가르치고 싶다고 상상해 보세요. 당신에게는 "왼발을 2인치 들어 올리고, 그다음 오른발을 2인치 들어 올리세요"라는 매뉴얼이 있는 것이 아닙니다. 대신, 당신에게는 전문 운동선수가 완벽하게 걷고 있는 영상이 있습니다.

rePIRL의 작동 방식:
1. 전문가 관찰하기: AI는 "전문가"(프로 운동선수)가 과업을 완벽하게 수행하는 것을 지켜봅니다. AI는 전문가가 왜 그런 행동을 했는지 알 필요가 없습니다. 그저 성공적인 경로를 보는 것입니다.
2. 규칙 역설계하기: AI는 전문가가 따르고 있었던 "숨겨진 규칙 책"을 찾아내려고 노력합니다. AI는 다음과 같이 자문합니다. "어떤 규칙 세트가 이 특정한 경로를 가장 최선의 경로처럼 보이게 만드는가?"
3. 이중 댄스(The Dual Dance): AI는 그 후 과업을 연습합니다.
  - 만약 AI가 전문가와 유사한 행동을 하면, "규칙 책"(프로세스 보상 모델)은 "잘했어!"라고 말합니다.
  - 만약 AI가 경로를 벗어나면, "규칙 책"은 "다시 해봐"라고 말합니다.
  - AI는 과업을 더 잘 수행하게 되고, 동시에 "규칙 책"도 단계를 판단하는 능력이 더 좋아집니다. 이들은 서로를 보완하며 루프 안에서 함께 발전합니다.

이것이 왜 특별한가요?

인간 채점자가 필요 없음: AI는 전문가의 최종 성공 경로를 관찰하는 것만으로 "규칙"을 배웁니다. 인간이 "3단계는 좋았고, 4단계는 나빴다"라고 일일이 적어줄 필요가 없습니다.
마법 같은 추측이 없음: AI의 확신도에 의존하지 않으므로 "과잉 자신감"의 함정을 피할 수 있습니다.
어디서나 작동함: 논문은 rePIRL을 통해 훈련된 AI가 어려운 수학 문제(AIME 경시 대회 등)와 코딩 챌린지(LeetCode 등)에서 기존의 "최종 성적만 확인하는" 방식이나 비용이 많이 드는 "인간 채점자" 방식보다 더 많은 문제를 해결하고 실수를 적게 했다는 것을 테스트를 통해 입증했습니다.

논문에서 언급된 실제 활용 사례
저자들은 AI가 이러한 "단계별 규칙"을 학습하고 나면, 다음 세 가지 방식으로 사용될 수 있음을 보여줍니다:

실시간 훈련 (Training on the Fly): 학습된 규칙을 사용하여, 최종 정답 없이도(전문가의 경로만 있으면 됨) 새로운 문제 세트에 대해 새로운 AI 모델을 훈련시킬 수 있습니다.
최선의 답변 선택: AI가 한 문제에 대해 10개의 서로 다른 솔루션을 생성할 때, "규칙 책"은 최종 정답이 맞는지 확인하기도 전에 각 솔루션의 단계를 살펴보고 가장 좋은 경로를 따른 것을 골라낼 수 있습니다.
어려운 문제 해결: AI가 보통 즉시 실패하는 매우 어려운 문제의 경우, 단계별 피드백은 단순히 "틀렸다"라는 최종 신호를 기다리는 것보다 더 빠르게 학습하도록 돕습니다.

요약하자면
rePIRL은 챔피언 선수가 승리하는 모습만을 관찰하여 그들의 "비법"을 배우는 코치와 같습니다. 경기 끝까지 기다렸다가 "당신은 졌습니다"라고 말하는 대신, 코치는 그 비법을 사용하여 팀에게 매 순간 즉각적인 피드백을 제공함으로써, 인간이 모든 플레이를 채점할 필요 없이 더 빠르고, 저렴하며, 더 효과적으로 배울 수 있도록 돕습니다.

기술 요약: rePIRL: 역강화학습(Inverse RL)을 통한 LLM 추론용 PRM 학습

문제 정의

대규모 언어 모델(LLM) 추론에서 프로세스 보상 모델(Process Reward Models, PRMs)은 토큰 수준의 중간 보상을 제공하여 학습 효율을 높이고, 분산을 줄이며, 보상 해킹(reward hacking)을 방기하기 위해 활용됩니다. 그러나 효과적인 PRM을 학습하는 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

오프라인 방법론: 지도 학습 방식(예: Uesato et al., 2022; Lightman et al., 2023)과 DPO 유형의 연구들은 전문가 궤적(expert trajectories)으로부터 토큰 수준의 주석(annotation)이나 선호도 레이블을 얻어야 하는데, 이는 비용이 많이 듭 만큼 어렵습니다. 몬테카를로 트리 탐색(MCTS) 기반 방식(예: Wang et al., 2024)은 전문가 정책을 실행하여 궤적을 생성해야 하므로, 전문가 정책을 사용할 수 없는 경우 계산 비용이 매우 크고 실행이 불가능합니다.
온라인 방법론: PRIME(Cui et al., 2025a)과 같은 접근법은 학습 중인 보상 함수와 정책 모델에 대해 강력한 가정을 전제로 합니다. 내재적 보상(Intrinsic reward) 방식(예: Zhao et al., 2025b)은 모델의 엔트로피나 신뢰도를 보상으로 사용하지만, 학습 후기 단계에서 과도한 모드 탐색(mode-seeking) 행동으로 인해 성능이 저하되는 "엔트로피 붕괴(entropy collapse)" 문제를 겪습니다.

핵심 과제는 최소한의 가정만으로 효과적인 PRM을 학습하는 것입니다. 구체적으로, 토큰 수준의 보상 주석, 선호도 레이블, 전문가 정책에 대한 접근, 또는 보상 함수의 형태에 대한 강력한 가정을 요구하지 않는 방법이 필요합니다.

방법론: rePIRL 프레임워크

저자들은 전문가 궤적만을 사용하여 PRM을 학습하는, 역강화학습(Inverse Reinforcement Learning, IRL)에서 영감을 받은 프레임워크인 rePIRL을 제안합니다. 이 방법은 다단계 LLM 추론을 토큰 수준의 마르코프 결정 과정(MDP)으로 모델링하며, 정책(policy)과 PRM을 교차로 업데이트하는 이중 학습 과정을 채택합니다.

1. 이론적 기초

목적 함수 구축: 고전적인 IRL 프레임워크를 따라, 저자들은 특정 액션이 전문가 정책으로부터 샘플링되었는지 여부를 나타내는 숨겨진 변수 $o_t \in \{0, 1\}$ 를 정의합니다. 이들은 액션이 전문가에 의해 샘플링될 확률을 에너지 기반 함수를 사용하여 모델링합니다: $p(o_t=1|s_t, a_t) \propto \exp(r_\phi(s_t, a_t))$ .
우도 극대화(Likelihood Maximization): 보상 함수 $r_\phi$ 는 전문가 궤적의 우도를 극대화함으로써 학습됩니다. 이는 파티션 함수(partition function) $z(\phi)$ 를 포함하는 목적 함수로 이어지는데, LLM의 방대한 상태 및 액션 공간 때문에 이는 계산적으로 다루기 어렵습니다(intractable).
샘플링을 통한 계산 가능성 확보: 파티션 함수의 난해함을 해결하기 위해, 저자들은 그래디언트 트릭과 **중요도 샘플링(importance sampling)**을 적용합니다. 최적의 정책(알 수 없음)에서 직접 샘플링하는 대신, 현재 정책 $\pi_\theta$ 로부터 궤적 $\bar{\tau}$ 를 샘플링합니다. 그래디언트는 중요도 가중치 $w = \exp(r_\phi(\bar{\tau})) / \pi_\theta(\bar{\tau})$ 를 사용하여 근사됩니다.
정책 최적화: 모델 붕괴(결정론적 정책)를 방지하기 위해, 정책은 보상 극대화와 엔트로피 정규화를 균형 있게 맞추는 최대 엔트로피 RL(Maximum Entropy RL) 목적 함수(Haarnoja et al., 2018)를 사용하여 업데이트됩니다. 이는 RLOO, PPO 또는 GRPO와 같은 알고리즘을 통해 해결됩니다.

2. 학습 알고리즘

학습 루프는 PRM을 업데이트하는 과정과 정책을 업데이트하는 과정을 번갈아 수행합니다:

롤아웃(Rollout): 정책 롤아웃을 생성하고 전문가 데모를 가져옵니다.
보상 계산: 결과 보상(outcome rewards)과 평균 프로세스 보상(average process rewards)을 계산합니다.
PRM 업데이트: 전문가 궤적과 정책 롤아웃을 중요도 샘플링 점수에 따라 대조하는 손실 함수를 사용하여 보상 모델을 업데이트합니다. 결정적으로, 저자들은 보상 해킹을 완화하기 위해 누적 보상이 아닌 평균 프로세스 보상을 사용합니다.
정책 업데이트: 학습된 프로세스 보상과 (사용 가능한 경우) 결과 보상을 결 함께 사용하여 최대 엔트로피 목적 함수를 통해 정책 모델을 업데이트합니다.

3. 기존 방법론의 통합

주요 이론적 기여는 특정 추가 가정을 도입함으로써 rePIRL이 다양한 기존 PRM 학습 방법(DPO, DQO, Math-Shepherd, PRIME)을 단일 프레임워크 아래 통합할 수 있음을 입증한 것입니다. 이는 rePIRL을 가장 일반적인 방법으로 위치시킵니다.

주요 기여

새로운 프레임워크: 토큰 수준의 주석, 선호도 레이블, 또는 전문가 정책에 대한 접근 없이 전문가 궤적으로부터 PRM을 학습하는 IRL 기반의 rePRL 프레임워크를 도입했습니다.
통합 이론: rePIRL이 기존의 SOTA 오프라인 및 온라인 PRM 방법들(DPO, DQO, PRIME, MCTS 기반 접근법 포함)을 단일 학습 프레임워크로 통합함을 보여주는 이론적 분석을 제시하여, 이들의 기저 가정을 명확히 했습니다.
확장 가능한 알고리즘: 다루기 어려운 파티션 함수를 처리하기 위해 중요도 샘플링을 활용하고, 학습 안정성을 보장하기 위해 최대 엔트로피 RL을 사용하는, LLM에 특화된 확장 가능한 학습 알고리즘을 개발했습니다.
실험적 검증: 수학 및 코딩 벤치마크에 대한 포괄적인 평가를 통해 베이스라인 대비 우수한 성능을 입증했습니다.

실험 결과

저자들은 Qwen2.5-3B-Instruct와 Qwen3-4B-Base를 사용하여 7개의 표준 벤치마크(AIME-2024, AMC, Math-500, MinervaMath, OlympiadBench, Leetcode, LiveCodeBench)에서 rePIRL을 평가했습니다.

성능: rePIRL은 3B 및 4B 규모 모델 중에서 최첨단(SOTA) 결과를 달-성했습니다. 예를 들어, Qwen3-4B-Base의 경우 수학 벤치마크에서 41.6%, 코딩 벤치마크에서 **39.8%**의 평균 정확도에 도달하여, 강력한 베이스라인인 PRIME, MCTS, 그리고 vanilla RLOO를 능가했습니다.
비교: Qwen3-4B-Base를 사용했을 때 vanilla RLOO 대비 수학에서 3.2%, 코딩에서 **4.3%**의 절대적 향상을 보였습니다.
응용 분야:
- 테스트 타임 훈련(Test-time Training): 결과 보상 없이 PRM 신호만으로 학습했을 때, rePIRL은 검증 가능한 결과 보상으로 학습된 모델의 성능과 일치하는 모습을 보였습니다.
- 테스트 타임 스케일링(Test-time Scaling): 더 나은 롤아웃을 선택하기 위한 검증기로서 PRM을 사용했을 때, 다수결 투표(majority voting)보다 뛰어난 성능을 보이며 단조적인 성능 향상을 나타냈습니다.
- 어려운 문제: PRM은 결과 보상이 희소한 어려운 문제들에 대해 정보가 풍부한 초기 신호를 제공하여, 결과 중심 학습보다 빠른 수렴을 이끌어냈습니다.
효율성: rePIRL은 별도의 가치 네트워크(value networks)를 필요로 하지 않으면서도, 결과 기반 RL(예: RLOO) 대비 약 1.4배의 학습 시간 오버헤드만을 도입했습니다.

의의 및 주장

본 논문은 LLM 추론을 위해 역강화학습을 일반화한 최초의 연구이자, 기존 PRM 학습 방법들을 단일 프레임워크로 통합한 최초의 연구라고 주장합니다.

최소한의 가정: 저자들은 rePIRL이 최소한의 필수적인 가정 하에서 작동함을 강조하며, 이는 토큰 수준의 주석이나 특정 전문가 정책 접근을 요구하는 방법들보다 더 높은 일반화 가능성을 가짐을 의미합니다.
안정성: 프레임워크는 최대 엔트로피 RL을 활용하여 내재적 보상 방법에서 흔히 발생하는 엔트로피 붕로 문제를 해결하고 안정적인 학습 역학을 보장합니다.
유용성: 학습된 PRM은 결과 보상을 사용할 수 없거나 희소한 시나리오에서 특히 유용한, 테스트 타임 훈련 및 스케일링과 같은 다운스트림 애플리케이션에 도움을 주는 재사용 가능한 독립 모듈로 제시됩니다.

저자들은 rePIRL이 통합된 이론적 관점과 실용적 유용성을 제공하지만, 향후 연구에서는 내재적 보상 방법과의 결합, 온라인 RL 휴리스틱에 대한 체계적인 비교, 그리고 에이전트 작업 및 더 큰 모델로의 확장을 탐구할 수 있다고 결론지었습니다.