🤖 machine learning

Le Critique: Privileged Value Functions for LLM Reinforcement Learning

이 논문은 작업 관련 토큰 수준의 신호를 주입하기 위한 특권 가치 함수(Privileged Value Functions, PVF)와 그룹 상대적 기준과 가치 기준 사이를 적응적으로 보간하는 TETHER를 결합함으로써, 표준 가치 함수 기준보다 우수한 성능을 달고 GRPO와 경쟁할 만한 결과를 달성하는 동시에 스트래글러 롤아웃(straggler rollouts) 및 높은 분산 문제를 완화하는 대규모 언어 모델 강화 학습 프레임워크인 "Le Critique"를 소개한다.

원저자: Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison

게시일 2026-08-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 컴퓨터 프로그램이 더 잘 생각하는 법을 가르치기 위한 끊임없는 투쟁이 존재합니다. 학생이 시험을 치는 상황을 상상해 보십시오. 만약 최종 정답을 맞히면 좋은 점수를 받습니다. 틀리면 나쁜 점수를 받습니다. 이것이 바로 많은 현대 AI 시스템이 학습하는 방식입니다. 이들은 문제를 해결하기 위해 수많은 다양한 방법을 시도하며, 최종 결과가 성공이었는지 실패였는지에 따라 자신의 뇌를 조정합니다. 이 방법을 '강화 학습(reinforcement learning)'이라고 부릅니다. 하지만 여기에는 함정이 있습니다. 만약 학생이 길고 복잡한 에세이를 썼는데 최종 성적이 나쁘게 나왔다면, 컴퓨터는 어떤 특정 문장이 오류를 일으켰는지 알지 못합니다. 그저 에세이 전체가 나빴다는 것만 알 뿐입니다. 이는 마치 도구도 없이 자동차 엔진의 어느 부품이 고장 났는지 추측하며 고치려는 것처럼 느리고 비효울적인 과정입니다.

이를 해결하기 위해 연구자들은 오랫동안 AI를 위한 '비평가(critic)'를 구축하려고 노력해 왔습니다. 이것은 두 번째 컴퓨터 프로그램으로, 학생이 글을 쓰는 과정을 문장 단위로 지켜보며 최종 답변이 어떻게 나올지 예측합니다. 만약 비평가가 초기에 최종 성적을 예측할 수 있다면, 학생이 잘못된 방향으로 갈 때 즉시 알려줄 수 있어 훨씬 빠르고 정밀한 학습이 가능해집니다. 오랫동안 이 방식은 두 번째 프로그램을 구축하고 훈련시키는 것이 어렵고 종종 신뢰할 수 없었기 때문에 선호도가 떨어졌습니다. 최근에는 이 비평가를 아예 건너뛰고, 대신 답변 그룹들을 서로 비교하는 방식에 의존하는 방법들이 주류가 되었습니다. 하지만 이 새로운 논문은 과거의 비평가라는 아이디어가 죽은 것이 아니라, 단지 세상을 보는 새로운 방식이 필요했을 뿐이라고 제안합니다.

Mistral AI와 다른 기관의 연구진은 비평가가 실패하는 이유가 아이디어 자체가 나빠서가 아니라, 종종 불가능한 일을 요구받기 때문이라는 것을 발견했습니다. 그들은 만약 비평가에게 메인 AI 학생에게는 허용되지 않는 약간의 추가 정보를 제공한다면, 비평가가 믿기 힘들 정도로 정확해질 것이라는 사실을 발견했습니다. 그들은 이를 '특권적 가치 함수(privileged value function)'라고 부릅니다. 이 원리를 이해하기 위해, 수학 시험을 치르는 학생을 상상해 보십시오. 학생은 문제를 단계별로 풀고 있습니다. 비평가는 이를 지켜보고 있습니다. 보통 비평가는 학생이 지금까지 쓴 내용만을 바탕으로 최종 점수를 추측해야 합니다. 하지만 이 새로운 설정에서는 비평가에게 몰래 '정답지'가 전달됩니다. 비평가는 학생에게 정답을 보여주지는 않지만, 그 비밀스러운 지식을 사용하여 학생의 현재 진행 상황을 훨씬 더 정확하게 판단합니다. 만약 학생의 현재 단계가 정답 경로에서 멀리 떨어져 있다면, 비평가는 즉시 이를 알아차리고 경로를 수정하라는 명확한 신호를 보냅니다. 이 신호는 비평가가 맹목적으로 추측해야 할 때보다 학생이 훨씬 더 빠르게 학습하도록 돕습니다.

연구팀은 논리 퍼즐 풀기와 컴퓨터 코드 작성 등 몇 가지 어려운 추론 과제에 이 아이디어를 테스트했습니다. 한 실험에서는 AI가 격자에 숫자를 하나씩 채워 넣는 스도쿠 퍼즐을 사용했습니다. 메인 AI는 자신이 이미 배치한 숫자들만 볼 수 있었습니다. 그러나 특권적 비평가는 완전히 풀린 격자를 보여받았습니다. 이를 통해 비평가는 AI가 단 몇 번의 움직임만 수행했더라도, 현재의 움직임이 막다른 길로 이어지는지를 즉각적으로 알려줄 수 있었습니다. 결과는 놀라웠습니다. 그들이 시도한 모든 과제에서, 이 '특권적' 비평가를 사용하는 것은 AI가 더 빠르게 학습하고 더 높은 점수에 도달하도록 도왔습니다. AI는 단순히 운이 좋았던 것이 아니라, 자신이 어디로 가고 있는지에 대한 더 명확한 지도를 가짐으로써 더 나은 결정을 내리는 법을 배웠습니다.

연구진은 또한 때때로 비평가가 여전히 학습 중이며 완벽하지 않을 수 있다는 점을 깨달았습니다. 만약 비평가가 너무 자신만만하지만 틀렸을 경우, AI를 혼란스럽게 만들 수 있습니다. 이를 해결하기 위해 그들은 '테더(Tether)'라고 불리는 두 번째 도구를 만들었습니다. 이 시스템은 스마트한 스위치 역할을 합니다. 훈련 초기, 즉 비평가가 새롭고 신뢰할 수 없을 때는 시스템이 답변 그룹들을 비교하는 방식에 주로 의존합니다. 이는 안전하지만 느린 방법입니다. 비-평가가 더 나아지고 정확한 조언을 주기 시작하면, 테더 시스템은 신뢰를 비평가 쪽으로 서서히 옮깁니다. 이 시스템은 두 방법을 자연스럽게 혼합하여, 인간 엔지니어가 설정을 미세하게 조정할 필요 없이 한 방식에서 다른 방식으로 매끄럽게 이동합니다. 이를 통해 비평가가 초보자이든 전문가이든 상관없이 AI가 항상 최선의 가이드를 받을 수 있도록 보장합니다.

이 연구는 적절한 도구가 주어진다면, 학습을 가이드하기 위해 두 번째 프로그램을 사용하는 오래된 아이디어가 유효할 뿐만 아니라 더 우월하다는 것을 보여줍니다. 비평가가 메인 AI가 볼 수 없는 것을 볼 수 있게 허용함으로써, 연구진은 학습 과정에서 추측을 제거했습니다. 또한 이 접근 방식이 견고하고 자동화될 수 있으며, 비평가의 숙련도에 따라 적응할 수 있음을 보여주었습니다. 이 작업에는 상당한 컴퓨팅 능력과 세심한 엔지니어링이 필요했지만, 결과는 명확한 방향을 제시합니다. 비평가를 포기하는 대신, AI에게 추론하는 법을 가르치는 미래는 비평가에게 해결책에 대한 더 나은 시야를 제공하여, 이전에는 도달할 수 없었던 명확함으로 실수로부터 배우게 하는 데 있을 것입니다.

기술 요약: LLM 강화 학습을 위한 특권 가치 함수 (Privileged Value Functions)

문제 정의

현재 대규모 언어 모델(LLM)을 위한 강화 학습(RL)은 GRPO(Group Relative Policy Optimization)와 같은 **비판자 없는 그룹 상대적 방식(critic-free, group-relative methods)**이 주도하고 있습니다. 이러한 방식은 하나의 프롬프트에 대해 여러 응답을 샘플링하고 이를 서로 비교함으로써 그래디언트 분산을 줄이지만, 다음과 같은 두 가지 주요 한계점을 가집니다:

시퀀스 수준의 신용 할당(Sequence-Level Credit Assignment): 이 방식은 어드밴티지(advantage)를 시퀀스 수준에서만 제공하며, 이론적으로 더 우수한 시간적 신용 할당을 가능하게 하는 토큰 수준의 세밀함을 제공하지 못합니다.
스트래글러 효과 및 오프-폴리시성(Straggler Effects and Off-Policyness): 그룹 내에서 가장 느린 롤아웃(rollout)에 의해 학습이 차단되어 처리량이 감소합니다. 비동기 설정에서는 느린 응답을 기다리는 동안 정책이 변하면서 오프-폴리시성(off-policyness)이 증가합니다.

**학습된 가치 함수(Learned value functions)**는 이론적으로 토큰 수준의 어드밴티지를 제공하고 대규모 그룹 없이도 작동함으로써 이 두 문제를 모두 해결할 수 있습니다. 그러나 다음과 같은 이유로 도입이 저해되어 왔습니다:

인프라 복잡성: 별도의 가치 모델을 유지 관리하는 것은 엔지니어링 오버헤드를 발생시킵니다.
적합 민감도(Fitting Sensitivity): 비판자(critic)가 제대로 학습되지 않으면, 가치 베이스라인이 노이즈나 편향을 유발하여 단순한 그룹 평균보다 성능이 떨어질 수 있습니다.
정당성 부족: 비판자 없는 방식의 실질적인 성공으로 인해, 가치 함수를 추가하는 데 드는 비용을 정당화하기 어려워졌습니다.

방법론

본 논문은 가치 함수 기반 RL의 성능과 견고함을 향상시킴으로써 가치 함수의 포함을 정당화하기 위해 두 가지 상호 보완적인 전략을 제안합니다.

1. 특권 가치 함수 (Privileged Value Functions, PVF)

핵심 통찰은 가치 함수가 정책 추론 시에는 숨겨져 있지만 학습 중에는 사용 가능한 **특권 정보(privileged information)**에 조건화될 수 있으며, 이것이 정책 그래디언트의 무편향성(unbiasedness)을 위반하지 않는다는 점입니다.

메커니즘: 특권 가치 함수 $V_\phi(h_{i,t}, z_{i,t})$ 는 표준 정책 히스토리 $h_{i,t}$ 와 추가적인 컨텍스트 $z_{i,t}$ 에 조건화됩니다.
허용 가능성(Admissibility): 정책 그래디언트가 여전히 무편향임을 보장하려면, 특권 정보 $z_{i,t}$ 는 주어진 히스토리 $h_{i,t}$ 에 대해 현재 토큰 $y_{i,t}$ 와 조건부 독립이어야 합니다. 즉, 현재 궤적(trajectory)에서 생성된 미래의 토큰이나 보상을 포함해서는 안 됩니다.
특권 정보의 형태:
- 참조 솔루션 (Reference Solutions): 오라클 답변, 증명 스케치, 또는 골드 패치 (예: 스도쿠 또는 코드 수정).
- Leave-One-Out (LOO) 그룹 정보: 동일한 프롬프트 그룹 내의 다른 샘플링된 응답들과 그 보상들. 이는 그룹을 비판자를 위한 인컨텍스트 러닝(in-context learning) 프롬프트로 취급합니다.
- 검증 루브릭 (Verifier Rubrics): 정책에는 제공되지 않는 상세한 작업 명세.
이론적 이점: 더 풍부한 정보에 조건화되면 가치 예측의 분산( $E[(R - E[R|H, Z])^2] \le E[(R - E[R|H])^2]$ )이 감소하며, 결과적으로 정책 그래디언트의 분산을 줄입니다.

2. TETHER (적응형 그룹-가치 베이스라인)

잘못 학습된 비판자로 인한 위험을 해결하기 위해, 저자들은 그룹 상대적 베이스라인과 가치 기반 베이스라인 사이를 적응적으로 보간하는 베이스라인인 TETHER를 도입합니다.

메커ග니즘: TETHER는 혼합 베이스라인 $b^{TETHER}_{i,t} = (1-\rho)b^{LOO}_i + \rho V_{i,t}$ 를 계산합니다. 여기서 $b^{LOO}_i$ 는 Leave-One-Out 그룹 평균이고, $V_{i,t}$ 는 학습된 토큰 가치입니다.
적응형 계수 ( $\rho$ ): 혼합 비율 $\rho$ $ρ$ 는 고정된 하이퍼파라미터가 아닙니다. 완료된 그룹의 몬테카를로 리턴( $R_i$ $R_{i}$ )에 대한 예측 오차를 최소화하기 위해 최소 제곱법(least squares)을 통해 피팅됩니다.
- $\rho = 0$ : 그룹 베이스라인을 회복합니다 (신뢰할 수 있으나 토큰 수준의 신용 할당은 없음).
- $\rho = 1$ : 순수 가치 베이스라인을 회복합니다 (토큰 수준의 신용 할당을 제공하나 비판자의 적합도에 민감함).
- 중간값: 두 방식 사이의 트레이드오프를 부드럽게 조절합니다.
학습 역학 (Training Dynamics): 계수 $\rho$ 는 해당 배치의 정책 업데이트가 계산된 후에 배치에 대한 지수 이동 평균(EMA)을 사용하여 업데이트됩니다. 이는 베이스라인이 해당 배치 자신의 리턴에 의존하지 않도록 하여 무편향성을 보존합니다.

주요 기여

특권 가치 함수 (PVF): 정책에는 숨겨진 정보를 사용하여 가치 함수에 작업 관련 토큰 수준의 신호를 주입하는 공식적인 메커니즘을 제공합니다. 이는 정책 목적 함수를 변경하지 않고도 가치 추정을 개선하고 그래디언트 분산을 줄입니다.
TETHER: 비판자의 정확도에 따라 그룹 평균의 신뢰성과 가치 함수의 세밀함 사이를 동적으로 균형 있게 조절하는 적응형 베이스라인을 제공하여, 가치 함수 도입 시 발생하는 수동 하이퍼파라미터 튜닝의 필요성을 제거합니다.
실험적 검증: 두 전략이 여러 추론 중심 작업에서 표준 가치 함수(VF) 및 평균 베이스라인 GRPO보다 일관되게 우수한 성능을 보임을 입증했습니다.

실험 결과

저자들은 네 가지 작업인 Reasoning Gym (절차적 추론), CodeIO (프로그램 추론), Sudoku (다회차 그리드 채우기), MiniF2F (형식 수학)에서 방법론을 평가했습니다.

PVF 성능:
- PVF는 모든 설정에서 표준 가치 함수(VF) 및 그룹 평균(MEAN) 베이스라인보다 일관되게 우수한 성능을 보였습니다.
- Sudoku: 가장 큰 이득을 보였습니다. 해결된 그리드(특권 정보)에 대한 접근은, 그렇지 않으면 퍼즐을 암묵적으로 풀어야 하는 비판자의 중간 동작 검증 작업을 단순화했습니다.
- CodeIO: PVF는 LOO 그룹 응답과 보상을 특권 정보로 활용하여 VF와 MEAN을 모두 능가했습니다. 이는 그룹 정보가 오라클 답변 없이도 효과적으로 활용될 수 있음을 보여줍니다.
- 설명된 분산 (Explained Variance): PVF는 VF보다 일관되게 더 많은 리턴 분산을 설명했으며, 이는 더 높은 최종 보상과 상관관계가 있었습니다.
TETHER 성능:
- TETHER는 모든 작업에서 표준 VF 베이스라인보다 일관되게 우수한 성능을 보였습니다.
- TETHER는 학습 초기 단계에서 비판자가 제대로 학습되지 않았을 때 나타나는 VF의 성능 저하를 성공적으로 완화했습니다.
- Reasoning Gym 및 MiniF2F에서 TETHER는 MEAN 베이스라인보다 뛰어난 성능을 보였습니다. Sudoku에서는 MEAN과의 격차를 좁혔으며, CodeIO에서는 MEAN과 대등한 성능을 보였습니다.
- 계수 역학 (Coefficient Dynamics): 적응형 $\rho$ 는 0 근처에서 시작하여 비판자가 개선됨에 따라 증가했습니다. 이는 비판자의 정확도에 따라 스스로를 조절하는 방법의 능력을 확인시켜 줍니다.

의의 및 주장

본 논문은 가치 함수를 LLM RL 파이프라인의 실질적인 구성 요소로 재고해야 한다고 주장합니다. 저자들의 주장은 다음과 같습니다:

비용의 정당성: 특권 정보(PVF)와 적응형 혼합(TETHER)을 활용함으로써, 가치 함수의 성능 향상이 현재 비판자 없는 방식이 지배적인 시나리오에서도 인프라 비용을 상쇄할 수 있습니다.
견고성: TETHER는 잘못 학습된 비판자로 인한 학습 불안정성 없이 기존 GRP 파이프라인에 가치 함수를 도입할 수 있는 신뢰할 수 있는 경로를 제공합니다.
향후 방향: 다양한 정책에 대한 광범 \한 가치 사전 학습(pretraining)과 바이어스-분산 트레이드오프를 위한 $\lambda$ 파라미터의 체계적인 튜닝이 가치 기반 RL의 확장성과 유용성을 더욱 향상시킬 수 있음을 시사합니다.

저자들은 자신들의 접근 방식이 정책 그래디언트의 무편향성 이론적 보장을 유지하면서도 학습 효율성과 최종 성능에 대한 실질적인 개선을 제공한다는 점을 강조합니다.