기술 요약: CEPO – 대비적 증거 정책 최적화를 활용한 RLVR 자기 증류

1. 문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 추론 작업에 대한 대규모 언어 모델 (LLM) 의 후속 학습을 위한 지배적인 패러다임이 되었습니다. 표준 접근법인 그룹 상대적 정책 최적화 (GRPO) 는 가치 네트워크를 제거하고 샘플링된 응답 그룹 내에서 보상을 정규화함으로써 학습을 단순화합니다. 그러나 GRPO 는 근본적인 신용 할당 병목 현상으로 고통받고 있습니다. 즉, 올바른 궤적의 모든 토큰에 균일한 시퀀스 수준의 이점을 할당하고, 잘못된 궤적의 모든 토큰에 균일한 부정적 신호를 할당합니다.

이러한 균일성은 수학 추론에는 비효율적입니다. 수학 추론에서는 단일 결정적 추론 단계나 사소한 산술 오류가 결과를 결정하는 반면, 대부분의 토큰은 문법적 채움제나 표준 문구이기 때문입니다. 균일한 신용 할당은 채움제 토큰에 기울기 신호를 낭비하고, 결정적 추론 단계를 비정보적 내용과 구별하지 못하게 하여 수렴 속도를 늦추고 노이즈가 많은 업데이트를 초래합니다.

이 문제를 온-정책 자기 증류(모델을 올바른 답변을 조건으로 하는 교사 모델에 조건부 설정) 를 통해 해결하려는 이전 시도들은 두 가지 치명적인 문제에 직면했습니다:

1. 정보 누출: OPSD 및 SDPO 와 같은 방법은 학생과 특권적 교사 간의 토큰별 발산을 최소화합니다. 이론적으로 이는 기울기에 $r$-조건부 가중치의 어휘 전체 합을 도입합니다. 학습이 진행됨에 따라 이러한 "유해한 편차"가 온전한 신호를 지배하여, 모델이 입력과 답변 ($x \to r^+$) 간의 가짜 상관관계를 인코딩하게 되고 일반화 능력이 저하됩니다.
2. 약한 신호 품질: 최근의 RLSD 방법은 증거 비율 $P^+_T(y_t)/P_S(y_t)$에 스톱-그래디언트를 적용하여 GRPO 이점을 조절함으로써 누출 문제를 해결했습니다. 그러나 RLSD 는 세 가지 신호적 한계를 가집니다:
   • 유창성 혼동: 분모 $P_S(y_t)$는 기본 유창성을 반영하여, 의미적 관련성과 무관하게 공통 토큰의 비율을 억제합니다.
   • 비대칭적 부정적 신호: 잘못된 궤적의 경우, 벌칙은 간접적이며 잘못된 답변이 무엇을 예측하는지에 대한 명시적 근거가 부족합니다.
   • 편향된 증거: RLSD 는 올바른 답변과 잘못된 답변 모두에 의해 동등하게 지지되는 채움제 토큰과, 올바른 답변에는 지지되지만 잘못된 답변에는 불리하게 작용하는 결정적 추론 단계를 구별할 수 없습니다. 두 경우 모두 동일한 비율을 산출하기 때문입니다.

2. 방법론: 대비적 증거 정책 최적화 (CEPO)

저자들은 단일 참조 증거 비율을 올바른 답변 교사 모델과 잘못된 답변 교사 모델 간의 대비 비율로 대체하는 CEPO를 제안합니다.

핵심 메커니즘

학생 사전 $P_S$를 올바른 교사 $P^+_T$와 비교하는 대신, CEPO 는 올바른 교사 $P^+_T$를 잘못된 교사 $P^-_T$와 비교합니다. 잘못된 교사는 동일한 학습 배치에서 추출된 기각된 답변 ($r^-$) (구체적으로 가장 낮은 보상을 받은 거부된 롤아웃) 을 조건으로 모델을 설정하여 구성하며, 추가적인 샘플링 비용이 발생하지 않습니다.

대비적 증거 델타는 다음과 같이 정의됩니다:
$$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$$
여기서 $\text{sg}(\cdot)$는 스톱-그래디언트 연산자입니다.

베이지안 해석

저자들은 $\Delta^{CE}_t$에 대한 정교한 베이지안 해석을 차분적 믿음 업데이트로 도출했습니다. 이는 토큰 $y_t$가 올바른 답변 $r^+$에 대한 사후 믿음은 강화하면서 동시에 잘못된 답변 $r^-$에 대한 믿음은 약화시키는 정도를 측정합니다.

• 결정적 단계: $r^+$에 의해 강력히 지지되고 $r^-$에 의해 불리하게 작용하므로 큰 양의 $\Delta^{CE}_t$를 받습니다.
• 채움제 토큰: $r^+$와 $r^-$ 모두에 의해 동등하게 지지되므로 $\Delta^{CE}_t \approx 0$을 받습니다.

학습 목적 함수

토큰 수준의 이점은 이 대비적 가중치에 의해 조절됩니다:
$$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$$
여기서 $w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$입니다. 정책은 표준 PPO-클립된 대리 목적 함수를 사용하여 업데이트됩니다. 매개변수 $\lambda$는 워밍업 기간 동안 초기 값에서 0 으로 선형적으로 감소합니다.

3. 주요 기여 및 이론적 보장

본 논문은 CEPO 가 RLSD 의 구조적 안전성을 계승하면서도 그 신호 품질을 엄격하게 일반화함을 입증합니다:

1. 구조적 안전성: CEPO 는 방향 고정(특권 정보는 업데이트의 부호를 뒤집을 수 없음) 과 누출 없는 기울기(어휘 전체의 $r$-조건부 합이 없음) 를 만족합니다. 잘못된 답변 교사 $r^-$는 오직 스톱-그래디언트된 스칼라로만 진입합니다.
2. RLSD 포함: 잘못된 답변 교사가 정보를 전달하지 않는 경우 ($P^-_T = P_S$), CEPO 는 정확히 RLSD 로 축소됩니다. 따라서 RLSD 는 CEPO 의 퇴화 사례입니다.
3. 판별적 날카로움: 저자들은 잘못된 답변 교사가 학생 사전에 비해 해당 토큰을 불리하게 작용할 때 ($P^-_T(y_t) < P_S(y_t)$), CEPO 가 토큰 $y_t$에서 RLSD 보다 엄격하게 더 날카로운 신용을 할당함을 증명합니다. 이 조건은 경험적으로 산술적 및 추론적으로 결정적인 위치에 집중되는 반면, 채움제 토큰은 중립적 가중치 ($w^{CE}_t \approx 1$) 를 받아 가짜 신호의 도입을 방지합니다.

4. 실험 결과

저자들은 Qwen3-VL 모델 (2B 및 4B 매개변수) 을 Geo3k 기하학 데이터셋으로 학습시키고, DynaMath, LogicVista, MathVisionmini, MMMU, WeMath 등 다섯 가지 멀티모달 수학 추론 벤치마크에서 CEPO 를 평가했습니다.

• 성능 향상:
  • 2B 규모: CEPO 는 평균 정확도 **43.43%**를 달성하여 GRPO(41.17%) 보다 2.26% 포인트 더 높은 성능을 보였습니다.
  • 4B 규모: CEPO 는 **60.56%**를 달성하여 GRPO(57.43%) 보다 3.13% 포인트 더 높은 성능을 보였습니다.
  • 성능 향상은 정교한 다단계 추론이 필요한 벤치마크 (예: LogicVista, MathVisionmini) 에서 가장 두드러졌으며, 지식 검색 벤치마크 (MMMU) 에서는 미미했습니다.
• 기반 방법의 실패:
  • OPSD 및 SDPO는 학습되지 않은 기준선 이하로 성능이 저하되었습니다 (예: 2B 모델의 경우 34.96% 대 39.73%). 이는 이론적으로 예측된 정보 누출을 경험적으로 확인한 것입니다.
  • RLSD는 GRPO 대비 경미한 개선을 보였으나 CEPO 에는 미치지 못했습니다.
• 효율성: CEPO 는 GRPO 대비 궤적당 추가적인 교사 순전파 한 번만 추가할 뿐 (RLSD 와 유사한 오버헤드), 추가 샘플링 비용은 없습니다.

5. 중요성 및 주장

본 논문은 CEPO 가 RLVR 의 신용 할당 문제에 대한 원칙적이고 실용적인 해결책을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 트레이드오프 해결: 정보 누출을 방지하기 위한 구조적 안전성 (안정적인 학습의 전제 조건) 과 결정적 추론 단계를 채움제와 구별하기 위해 필요한 신호 품질이라는 "양쪽 세계의 최선"을 동시에 달성합니다.
• 이론의 경험적 검증: 누출에 취약한 방법들 (OPSD/SDPO) 이 기준선 이하로 무너지는 현상은 이론적 누출 분석에 대한 경험적 확인으로 작용하며, CEPO 의 성공은 대비적 접근법의 타당성을 검증합니다.
• 해석 가능성: 토큰 가중치 분석은 CEPO 가 중요한 대수적 유도 과정에 신용을 성공적으로 국한시키고, 유창하지만 정보 가치가 없는 산문을 억제함을 보여주며, 이는 RLSD 에서 관찰되지 않은 행동입니다.

저자들은 CEPO 가 차세대 신용 인식 RLVR 학습을 위한 견고한 구성 요소를 제공한다고 결론지으며, 향후 연구로는 더 큰 모델, 텍스트 전용 추론, 그리고 코드 생성으로의 방법 확장을 제안합니다.