🤖 machine learning

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

이 논문은 어려운 추론 문제에서 발생하는 학습 절벽(learning cliffs)을 극복하기 위해 훈련 과정 중 특권적 가이드(privileged guidance)를 활용하는 동시에, 모델이 원래의 가이드가 없는 목적 함수를 최적화하도록 중요도 보정(importance correction)을 사용하여 수학 벤치마크에서 상당한 성능 향상을 이끌어내는 강화 학습 알고리즘인 Off-Context GRPO(OC-GRPO)를 소개한다.

원저자: Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 까다로운 수학 퍼즐을 푸는 법을 배우고 있고, 그 옆에는 로봇이 내놓은 답이 맞았는지 틀렸는지를 즉시 판별해 줄 수 있는 선생님이 있다고 상상해 보세요. 학습자와 정답 혹은 오답이라는 명확한 판결을 내리는 자동 심판이 결합된 이 설정은, AI 연구자들이 "Reinforcement Learning with Verifiable Rewards"라고 부르는 방식입니다. 로봇은 퍼즐을 시도하며, 정답을 맞히면 "엄지 척"을 받고 그렇지 않으면 "엄지 아래로"를 받으며, 수많은 시도를 통해 더 많은 "엄지 척"을 모으는 법을 배웁니다.

문제는 어떤 퍼즐들은 로봇의 능력을 너무나도 크게 벗어나 있어서, 모든 시도가 실패로 돌아간다는 점입니다. 모든 시도가 실패하면 모든 판결이 동일해지며, 비교할 대상이 없어지고, 선생님은 학습을 위한 신호를 얻을 수 없게 됩니다. 이는 마치 페달이 돌아가는 순간 바로 넘어지는 상황에서 자전거 타기를 배우려는 것과 같습니다. 균형이 무엇인지 단 한 번도 느껴보지 못한다면, 그 위에 쌓아 올릴 기반이 전혀 없게 됩니다. 이를 "학습 절벽(learning cliff)"이라고 부릅니다.

명백한 해결책은 치트 시트(정답의 첫 몇 단계나 힌트)를 제공하여 로봇이 적어도 가끔은 성공하게 만드는 것입니다. 이 방법은 효과가 있지만, 한 가지 난처한 질문을 던집니다. 로봇에게 주어진 승상에 대해 로봇은 실제로 어느 정도의 공로를 인정받아야 할까요?

이 논문은 그 질문에 제대로 답합니다. 이 방법인 Off-Context GRPO (OC-GRPO)는 로봇이 치트 시트 없이도 해당 솔루션에 도달했을 확률이 얼마나 되었는지를 묻는 교정 과정을 적용합니다. 공로는 결코 온전히 주어지지 않습니다. 공로의 일부는 항상 힌트의 몫이며, 얼마나 많은 공로가 남느냐는 로봇이 이미 얼마나 유능했느냐에 달려 있습니다. 스스로 문제를 풀 수 있는 상태에 근접했던 로봇은 대부분의 공로를 유지합니다. 왜냐하면 치트 시트가 이미 존재하던 능력을 겉으로 드러내 주었을 뿐이기 때문입니다. 반면, 성공 가능성이 거의 없었던 로봇은 공로를 거의 받지 못합니다. 치트 시트가 능력을 드러낸 것이 아니라 능력을 대체했기 때문입니다. 치트 시트는 존재하지 않는 기술로부터 진보를 만들어낼 수 없습니다. 실수는 반대로 작동합니다. 정답의 절반이 눈앞에 있음에도 문제를 틀린 경우, 일반적인 실수보다 더 무거운 벌칙을 받습니다. 도움을 받고도 실패하는 것이 도움 없이 실패하는 것보다 더 확실한 (부족함의) 증거가 되기 때문입니다. 스스로의 능력만으로는 성공 확률이 거의 제로에 가까운 가장 어려운 퍼즐의 경우, 실제 학습의 대부분은 도움을 받은 승리가 아니라 이 증폭된 벌칙을 통해 이루어집니다. 로봇은 읽기 능력을 칭찬받는 대신, 스스로 할 수 없다는 것이 입증된 영역으로부터 멀어지도록 유도됩니다.

결과적으로, 로봇은 도움을 받으며 연습했음에도 불구하고, 항상 힌트가 있는 문제가 아닌 실제 문제에 대해 평가를 받게 됩니다.

표준 수학 벤치마크에서 OC-GRPO는 표준 학습 방식 대비 평균 정확도를 27.8%에서 31.7%로 높였으며, 이는 추가 비용 없이 얻은 13.8%의 상대적 향상입니다. 이 교정 방식은 작은 모델들에게 가장 중요합니다. 기존의 힌트 기반 방식은 모델이 약할 경우 힌트가 있는 문제와 없는 문제 사이의 차이를 흡수하지 못해 오히려 일반 학습보다 성능이 떨어지기도 하지만, OC-GRPO는 테스트된 모든 크기에서 그 성과를 유지합니다. 더 넓은 교훈은 특권적 힌트(privileged hints)가 탐색을 유도하는 아주 좋은 방법이라는 것입니다. 다만, 공로를 정직하게 배분하기만 하면 됩니다.

기술 요약: Off-Context GRPO (OC-GRPO)

1. 문제 정의: RLVR에서의 학습 절벽 (Learning Cliff)

검증 가능한 보상(Verifiable Rewards, RLVR)을 사용하는 강화 학습, 특히 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)는 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 접근 방식으로 부상했습니다. 그러나 저자들은 **학습 절벽(learning cliff)**이라고 불리는 근본적인 실패 모드를 식별했습니다.

표준 GRPO에서는 주어진 문제에 대해 일련의 응답들을 샘플링하고, 검증기에 의해 점수가 매겨지며, 해당 그룹 내의 상대적 성능을 기반으로 어드밴티지(advantage)를 계산합니다. 만약 문제가 충분히 어려워 모델이 롤아웃 그룹 내에서 단 하나의 정답도 생성하지 못한다면, 모든 보상은 0이 됩니다. 결과적으로 그룹 내 보상 분산이 0으로 수렴하며, 이는 그래디언트 신호의 소멸을 초래합니다. 모델은 훈련을 얼마나 오래 지속하더라도 학습 신호를 받지 못하게 됩니다.

기존의 해결책들은 훈련 중에 특권 정보(privileged information, 예: 솔루션 접두사, 힌트 또는 오라클 정보)를 프롬프트에 주입하는 **특권 가이드(privileged guidance)**를 활용합니다. 이는 적어도 일부 롤아웃이 성공하도록 보장하여 학습 신호를 복구합니다. 하지만 이는 오프-컨텍스트(off-context) 문제를 야기합니다:

훈련 분포: 롤아웃은 특권 정보를 포함하는 가이드된 프롬프트 $g(x)$ 로부터 샘플링됩니다.
대상 목적 함수: 목표는 원래의 가이드되지 않은 프롬프트 $x$ 에 대한 정책을 최적화하는 것입니다.
불일치(Mismatch): POPE, BREAD와 같은 표준 가이드 방식은 배포 시에는 사용할 수 없는 $g(x)$ 에 조건화된 목적 함수 $J_{guide}(\theta)$ 를 최적화하며, 정책이 $x$ 로 일반화될 것("역일반화", back-generalization)이라고 가정합니다. 저자들은 이것이 배포 시 평가되는 목적 함수와 다른 목적을 암묵적으로 최적화하는 것이라고 주장합니다. 이러한 불일치는 편향된 그래디언트, 목적 함수 불일치, 그리고 분포 변화를 흡수할 능력이 제한적인 작은 규모의 모델에서 특히 훈련 불안정성을 유발할 수 있습니다.

2. 방법론: Off-Context GRPO (OC-GRPO)

본 논문은 학습 절벽을 극려하기 위해 가이드된 롤아웃을 사용하면서도, 분포 불일치를 수학적으로 교정하여 업데이트가 원래의 가이드되지 않은 목적 함수 $J(\theta)$ 를 타겟팅하도록 보장하는, GRPO의 최소한의 변형인 OC-GRPO를 제안합니다.

핵심 메커니즘: 중요도 샘플링 교정 (Importance Sampling Correction)

OC-GRPO는 가이드된 롤아웃을 마치 원래의 프롬프트로부터 생성된 것처럼 취급하는 대신, 토큰당 정책 비율(per-token policy ratio)에 중요도 샘플링(IS) 교정을 적용합니다.

표준 GRPO 비율: $\rho_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | x, y_{i,<t})}$
OC-GRPO 비율: $\rho^{oc}_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t} | x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t} | g(x), y_{i,<t})}$

여기서 분자는 현재 정책의 토큰 확률(타겟인 가이드되지 않은 프롬프트 기준)을 나타내고, 분모는 가이드된 프롬프트(실제 샘플링 분포) 하에서의 확률을 나타냅니다.

이론적 특성

무편향성(Unbiasedness): 가이드된 분포 하에서의 가중치 적용 기대값(reweighted expectation)이 원래의 가이드되지 않은 목적 함수 하에서의 기대값과 수학적으로 정확히 동일함을 증명했습니다. 이는 알고리즘이 $J_{guide}(\theta)$ 가 아닌 $J(\theta)$ 를 최적화함을 보장합니다.
행동 인식 신용 할당(Behavior-Aware Credit Assignment): 중요도 비율은 동적인 신용 할당 메커니즘 역할을 합니다:
- 성공 사례: 특정 궤적이 가이드된 프롬프트 하에서는 매우 높게 나타나지만, 가이드되지 않은 프롬프트 하에서는 낮게 나타나는 경우(즉, 모델이 힌트에 크게 의존한 경우), 중요도 비율은 1보다 작아져 긍정적인 신용을 약화시킵니다. 이는 모델이 문제를 해결하는 법을 배우는 대신 단순히 "힌트를 따르는 법"을 배우는 것을 방지합니다.
- 실패 사례: 가이드에도 불구하고 궤적이 실패하는 경우, 비율은 1보다 커져 페널티를 증폭시킵니다. 이는 모델이 도움을 받았음에도 불구하고 문제를 해결하지 못했음을 강화합니다.
분산 제어: 교정 항의 분산은 전체 롤아웃이 아니라 가이드 접두사의 길이에 따라 스케일링됩니다. 이는 학습 절벽을 깨기 위해 필요한 최단 길이의 가이드를 사용해야 한다는 설계 원칙을 뒷받침합니다.

구현 변형

OC-GRPO-Fixed: 훈련 전 베이스 모델을 사용하여 각 어려운 문제에 필요한 최소 가이드 수준을 식별합니다. 이 증강된 데이터셋은 고정되며, 정책은 가이드를 다시 선택하지 않습니다. 낮은 추론 비용과 경쟁력 있는 성능 덕분에 기본 방식으로 권장됩니다.
OC-GRPO-Adaptive: 훈련 중 현재 정책의 성능에 따라 가이드 수준을 동적으로 조정합니다. 이론적으로는 유연하지만, 더 높은 추론 비용이 발생하며 실험에서 약간 낮은 성능을 보였습니다.

3. 주요 기여

Off-Context 문제의 공식화: 기존의 가이드된 RLVR 방식이 목적 함수를 암묵적으로 잘못 최적화한다는 점을 공식적으로 정의했습니다.
OC-GRPO 알고리즘: 오프-컨텍스트 샘플링을 교정하기 위해 중요도 샘플링을 사용하는 GRPO의 최소한의 변형을 제시하여, 원래 목적 함수에 대한 무편향성을 입증했습니다.
이론적 신용 할당: 중요도 교정이 가이드에 과도하게 의려한 성공은 자동으로 할인하고, 가이드에도 불구하고 지속되는 실패에 대해서는 페널티를 증폭시키는 행동 인식 메커니즘을 유도함을 증명했습니다. 이는 추가적인 보상 셰이핑(reward shaping) 없이도 가능합니다.
실증적 검증: 다양한 모델 규모(1.5B, 3B, 7B)와 수학적 벤치마크에서 OC-GRPO가 바닐라 GRPO 및 가이드된 베이스라인들을 능가함을 입증했습니다.

4. 실험 결과

저자들은 Qwen2.5 모델(1.5B, 3B, 7B)을 LoRA 어댑터와 함께 사용하여 MATH 데이터셋(Level 3–5)에서 OC-GRPO를 평가했습니다.

성능 향상: 7B 모델의 경우, OC-GRO-Fixed는 AIME, Gaokao2023, OmniMath 벤치마크에서 바닐라 GRPO 대비 평균 Pass@1에서 13.8%의 상대적 이득(3.9% 절대적 개선)을 달성했습니다.
베이스라인과의 비교:
- OC-GRPO는 잘못 정렬된 $J_{guide}$ 목적 함수를 최적화하는 다른 가이드 방식(POPE, PrefixRL, BREAD)보다 우수한 성능을 보였습니다.
- 규모 의존성: 잘못 정렬된 목적 함수를 최적화하는 가이드 베이스라인들은 작은 모델 규모(예: 1.5B 및 3B)에서 종종 바닐라 GRPO보다 성능이 저하된다는 중요한 발견을 했습니다. 반면, OC-GRPO는 모든 규모에서 일관된 이득을 유지했습니다. 이는 작은 모델이 목적 함수의 불일치를 흡수하기 어렵다는 것을 시사하며, 중요도 교정이 이들에게 매우 중요함을 보여줍니다.
안정성: 교정되지 않은 가이드 훈련(Masked no-IC)은 보상 붕괴, 그래디언트 노름 급증, 로그 확률 격차 확대를 초래하는 반면, OC-GRPO는 안정성을 유지함을 실험을 통해 확인했습니다.

5. 의의 및 주장

본 논문은 특권 정보가 탐색을 가이드할 수는 있지만, 업데이트는 그 정보가 어디에서 왔는지에 대한 분포를 고려해야 한다고 주장합니다.

절벽 해결: OC-GRPO는 지도 미세 조정(SFT)이나 모델의 고유한 추론 스타일을 왜곡하는 복잡한 하이브리드 목적 함수에 의존하지 않고도, 어려운 문제에 대한 학습 절벽을 탈출할 수 있는 원칙적인 방법을 제공합니다.
정렬(Alignment): 훈련 시 특권 컨텍스트(배포 시에는 존재하지 않음)를 사용하는 것이 실제 배포 대상인 정책으로부터 멀어지지 않도록 보장합니다.
확장성: 이 방법은 "역일반화" 가정이 실패하는 작은 규모의 모델들에게 특히 필수적입니다.
범용성: 수학적 추론(솔루션 접두사 사용)에서 입증되었으나, 본 프레임워크는 메커니즘에 구애받지 않으며 에이전트형 RLVR 설정에서의 모든 형태의 특권 신호(예: 도구 호출 결과, 중간 상태)에 적용 가능합니다.

저자들은 OC-GRPO가 차세대 RLVR 알고리즘을 위한 필수적인 교정책이며, 원래의 작업 정의와 정렬을 유지하면서도 어려운 문제에 대한 강력한 추론을 가능하게 한다고 결론짓습니다.