기술 요약: 오라클-프롬프트 정책 최적화 (OPPO)

문제 정의

검증 가능한 보상을 활용한 강화학습 (RLVR) 은 대규모 언어 모델 (LLM) 추론 능력을 향상시키는 표준 패러다임으로 부상했습니다. 그러나 지배적인 알고리즘인 그룹 상대 정책 최적화 (GRPO) 는 근본적인 신용 할당 결함을 겪고 있습니다: 즉, 추론 체인의 모든 토큰에 단일 경로 수준의 이득 (advantage) 을 할당합니다. 긴 추론 시퀀스에서는 소수의 토큰 (예: 전략 선택, 핵심 대수적 단계) 만 결과가 인과적으로 결정됩니다. 모든 위치에 동일한 스칼라 이득을 브로드캐스트함으로써 GRPO 는 결정적 단계에서의 학습 신호를 희석시키고, 정보 가치가 없는 단계에서는 노이즈를 주입합니다. 이 문제는 추론 체인이 길어질수록 더욱 악화됩니다.

기존 대안들은 이를 해결하려 시도하지만 고유한 한계에 직면해 있습니다:

• 정제된 GRPO 변형들 (예: Dr.GRPO, DAPO) 은 중요도 비율이나 클리핑을 수정하지만 여전히 토큰 간에 균일한 이득을 할당합니다.
• 토큰 단위 방법들은 종종 비용이 많이 드는 몬테카를로 재샘플링, 암시적 보상 모델의 온라인 업데이트, 또는 세그먼트 단위 집계 등을 요구합니다.
• 온-폴리시 증류 방법들 (예: SDPO) 은 정답 (ground-truth answer) 에 조건부인 특권 교사를 활용하여 토큰별 신호 (로그-가능도 비율) 를 생성합니다. 그러나 이러한 방법들은 해당 위치까지 누적된 증거와 단절된 채 각 토큰의 신호를 고립적으로 처리하며, 경로의 현재 확신 상태와 무관하게 균일한 가중치를 적용합니다.

방법론: 오라클-프롬프트 정책 최적화 (OPPO)

OPPO 는 오라클 신호를 모델의 최종 성공에 대한 믿음의 자연스러운 베이지안 업데이트로 간주함으로써, 경로 수준의 보상과 고립된 토큰 단위 신호 간의 간극을 메우는 프레임워크를 제안합니다.

1. 베이지안 가치 재귀

핵심 통찰은 증류에 사용되는 토큰별 오라클 신호 (성공 조건부 정책과 학생 모델 간의 로그-가능도 비율) 가 베이지스 인자 (Bayes factor) 로 작용한다는 것입니다. 이러한 신호들을 경로를 따라 누적함으로써, 학습된 가치 네트워크 없이도 모든 위치에서의 성공 확률 ($V_t$) 에 대한 폐쇄형 (closed-form) 실행 추정치를 도출할 수 있습니다.

$V_t = P(R=1 | x, y_{<t})$를 접두사 (prefix) 가 주어졌을 때의 최종 성공 확률이라고 합시다. 재귀는 로그 오즈 ($\ell_t$) 를 가법적으로 업데이트합니다:
$$\ell_{t+1} = \ell_t + \log \lambda_t$$
여기서 $\lambda_t$는 오라클 스코어러 $\hat{\pi}$에서 유도된 추정 베이지스 인자입니다:
$$\lambda_t = \frac{\hat{\pi}(y_t | x, y_{<t}, y^*)}{\hat{\pi}(y_t | x, y_{<t})}$$
여기서 $y^*$는 정답입니다. 성공 확률은 시그모이드 함수를 통해 복원됩니다: $V_t = \sigma(\ell_t)$.

2. 토큰 단위 이득

이상적인 토큰 단위 이득은 시간차 (temporal difference) $A_t = V_{t+1} - V_t$입니다. 재귀를 사용하여 OPPO 는 폐쇄형 이득을 유도합니다:
$$A_t = \sigma(\ell_t + \log \lambda_t) - \sigma(\ell_t)$$
이 공식은 $\sum A_t = R - V_0$인 텔레스코핑 예산 (telescoping budget) 속성을 만족하여, 경로 전체에 분배된 총 신용이 사전 확률에 대한 결과와 정확히 일치하도록 보장합니다.

1 차 분석은 이득이 다음과 같이 인수분해됨을 보여줍니다:
$$A_t \approx V_t(1 - V_t) \cdot \log \lambda_t$$

• $\log \lambda_t$: 토큰별 구별 신호 (온-폴리시 증류의 기울기 신호와 동일).
• $V_t(1 - V_t)$: 신호를 조절하는 상태 가중치입니다. 이 가중치는 모델이 불확실할 때 ($V_t \approx 0.5$) 최대가 되며, 경로가 성공이나 실패로 확정될 때 ($V_t \to 0$ 또는 $1$) 사라집니다. 이는 자동으로 결정적 토큰에 신용을 집중시키고 포화 영역의 노이즈를 억제합니다.

3. 오라클 추정기

OPPO 는 $\lambda_t$를 추정하기 위해 두 가지 모드를 제공합니다:

• Self-Oracle: 학생 모델 $\pi_\theta$가 표준 컨텍스트와 $y^*$가 증강된 컨텍스트를 모두 스코어링합니다. 이는 경로당 한 번의 추가 순전파 (forward pass) 를 요구하며, 엄격한 특수 사례로서 온-폴리시 증류 보상을 복원합니다.
• Teacher-Oracle: 더 강력하고 고정된 모델 (예: 더 큰 LLM) 이 스코어러 $\hat{\pi}$로 작용합니다. 이는 별도의 스코어링 모델의 비용은 들지만, 성공 조건부 분포에 대한 더 고품질 추정을 제공하여 근사 오차 ($\epsilon_t$) 를 줄입니다.

4. 알고리즘 통합

$y^*$와 상관관계가 있는 잘못된 경로의 토큰들이 양의 보상을 받는 "자기 증류" 실패 모드를 방지하기 위해, OPPO 는 **방향 고정 (Direction Anchoring)**을 채택합니다. 토큰 단위 이득의 부호는 시퀀스 수준의 GRPO 이득 ($A_{seq}$) 에 묶여, 환경 보상이 경로가 강화될지 처벌될지의 유일한 심판자임을 보장합니다. 최종 업데이트는 균일한 경로 이득 대신 베이지안 토큰 단위 이득을 사용하는 PPO 와 유사한 클리핑된 대리 목적 함수를 사용합니다.

주요 기여

1. 이론적 통합: 본 논문은 증류에서의 토큰별 오라클 보상이 최적 이득을 위한 전문가 로그-비율 대리 변수이자, 성공 확률에 대한 베이지안 충분 통계량임을 동시에 보여줍니다.
2. 폐쇄형 재귀: 학습된 비평가 (critics) 나 추가 롤아웃 없이 토큰 단위 이득을 생성하는 베이지안 가치 재귀의 유도 및 텔레스코핑 예산 제약 조건 충족.
3. 신용 집중: 결정적 토큰에 학습 신호를 자연스럽게 집중시키고 결정된 영역에서의 분산을 줄이는 상태 가중치 이득 ($V_t(1-V_t) \log \lambda_t$) 의 도입.
4. 실용적 프레임워크: 방향 고정과 증거 클리핑을 포함한 이 재귀를 GRPO 파이프라인에 통합하여 경로당 단 하나의 추가 순전파만 요구함.

실험 결과

저자들은 두 개의 기본 모델 (Qwen3-4B 및 Phi-4-mini) 에 대해 일곱 가지 벤치마크 (수학, 과학, 코드) 에서 OPPO 를 평가했습니다.

• 성능 향상: OPPO 는 GRPO, Dr.GRPO, DAPO, SDPO 를 일관되게 능가했습니다.
  • AMC'23에서 Teacher-OPPO 는 DAPO 대비 Qwen3 기준 +5.7 점, Phi-4 기준 +6.5 점 향상되었습니다.
  • AIME'24에서 Teacher-OPPO 는 DAPO 대비 Qwen3 기준 +5.2 점, Phi-4 기준 +4.5 점 향상되었습니다.
• 길이 의존성: 향상 폭은 응답 길이에 따라 단조롭게 확대됩니다. 가장 긴 응답 구간 (1025 개 이상 토큰) 에서 OPPO 는 베이스라인과 가장 큰 격차를 보여주어, 상태 가중치가 길고 포화된 추론 체인에서 노이즈를 효과적으로 억제한다는 가설을 입증했습니다.
• 오라클 품질: 성능은 오라클 스코어러의 용량에 비례합니다. 32B 모델을 사용한 Teacher-OPPO 는 4B 학생 모델을 사용한 Self-OPPO 를 일관되게 능가하여, 프레임워크가 고품질 신호를 흡수할 수 있음을 확인했습니다.
• 애블레이션: 방향 고정을 제거하면 어려운 작업 (예: AIME'24) 에서 성능이 GRPO 이하로 무너져, 부호를 경로 결과에 묶는 것의 필요성을 확인했습니다. 상태 추적을 제거하고 ($\log \lambda_t$만 사용) 는 특히 긴 체인에서 향상 폭이 크게 감소했습니다.

중요성 및 주장

본 논문은 OPPO 가 RLVR 에서 토큰 단위 신용 할당을 위한 원리적이고 비평가 없는 방법을 제공한다고 주장합니다. 오라클 신호의 베이지안 해석을 활용함으로써 다음과 같은 성과를 달성합니다:

• 자동 신용 집중: 하이퍼파라미터 튜닝이나 학습된 가치 네트워크 없이 불확실하고 결정적인 단계에 학습을 동적으로 집중시킵니다.
• 효율성: 몬테카를로 방법의 막대한 추론 오버헤드나 가치 네트워크 학습의 메모리 비용을 피하면서, 단일 추가 순전파 비용으로 토큰 단위 해상도를 달성합니다.
• 상호 보완성: 이 방법은 최적화 메커니즘 (DAPO 의 클리핑 등) 과 직교하여 기존 프레임워크 위에 레이어링될 때 향상을 제공합니다.

저자들은 OPPO 를 장거리 추론의 "희석" 문제에 대한 해결책으로 제시하며, 균일한 경로 수준 보상과 고립된 토큰 단위 증류 신호 모두에 대한 이론적으로 근거 있는 대안을 제공합니다. 이 프레임워크는 모델의 추론 시간 배포를 변경하지 않고 정책 최적화를 개선하는 학습 시간 메커니즘으로 제시됩니다.