기술 요약: 수정 지향 정책 최적화 (CIPO)

1. 문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학적 추론 및 코드 생성과 같은 분야에서 대형 언어 모델 (LLM) 의 추론 능력을 향상시키는 표준 패러다임이 되었습니다. 그러나 기존 RLVR 알고리즘인 그룹 상대 정책 최적화 (GRPO) 등은 두 가지 중요한 한계에 직면해 있습니다:

1. 희소하고 모호한 신호: RLVR 은 이진, 시퀀스 수준의 보상 (0 또는 1) 에 의존합니다. 이러한 희소성은 약한 신용 할당으로 이어집니다. 실패한 궤적은 정답과의 '거리'와 무관하게 일괄적으로 패널티를 받습니다 (예: 사소한 계산 실수 vs. 근본적인 논리적 결함). 이는 전체 궤적의 확률만 억제할 뿐, 구체적인 오류를 수정하는 방법에 대한 방향성을 제시하지 못해 모호한 최적화 지침을 제공합니다.
2. 실패의 미활용: 실패한 궤적에는 종종 부분적으로 올바른 추론 단계가 포함되어 있어 가치 있는 학습 신호를 구성합니다. 현재 접근 방식은 이러한 중간 구조를 폐기하여 유용한 감독 정보를 낭비하고, 효과적인 탐색을 방해할 수 있습니다.
3. 기존 해결책의 한계: 프로세스 보상 모델 (PRM) 이나 LLM 기반 비평가를 통합하는 등 이를 해결하려는 이전 시도들은 종종 추가적인 인간 주석이 필요하거나, 높은 계산 비용을 초래하거나, 일반화 능력을 훼손하는 노이즈를 도입합니다. 자기 생성 피드백에 의존하는 다른 방법들은 약한 모델에서는 어려움을 겪거나 인식적 불확실성을 억제할 수 있습니다.

외부 신호나 추가 주석에 의존하지 않고 실패한 궤적을 유용한 감독 정보로 변환할 수 있는 작업 중립적 (task-agnostic) 인 솔루션이 필요합니다.

2. 방법론: 수정 지향 정책 최적화 (CIPO)

CIPO 는 RLVR 패러다임에 대한 체계적인 확장으로 제안되었습니다. 그 핵심 통찰력은 모델이 자신의 오류 출력을 기반으로 수정을 생성하도록 조건을 부여함으로써, 실패한 궤적을 단순한 패널티 대상에서 활용 가능한 감독 신호로 변환할 수 있다는 것입니다.

2.1 핵심 프레임워크

CIPO 는 생성과 수정 지향 재생 (replay) 의 반복적 사이클을 통해 작동하며, 두 가지 데이터 스트림을 동시에 최적화합니다:

• 기본 스트림: 원래 쿼리에서 생성된 표준 온-정책 롤아웃.
• 수정 스트림: 원래 쿼리와 이전 궤적 (모델의 시도, 정답이든 오답이든) 을 조건으로 하여 생성된 정제 롤아웃.

오류 시도 ($y_{fail}$) 를 조건으로 정제된 솔루션 ($y'$) 을 샘플링함으로써 CIPO 는 특정 실패 모드와 목표 상태를 연결하는 고유한 기울기 경로를 확립합니다. 이는 모호한 억제 신호를 정밀하고 방향성 있는 지침으로 변환합니다.

2.2 안정성과 효율성을 위한 핵심 전략

정책 저하를 방지하고 효율적인 학습을 보장하기 위해 CIPO 는 세 가지 특정 메커니즘을 통합합니다:

1. 위험 회피적 형상화를 통한 적응형 재생:

   • 적응형 재생 비율: 재순환된 성공 샘플에 대한 모델의 성능이 저하될 경우, 학습을 안정화하기 위해 성공 궤적의 비율을 증가시키는 동적 메커니즘 ($\rho_t$) 이 재생 버퍼 내의 성공 및 실패 궤적 혼합을 조정합니다.
   • 위험 회피적 보상 형상화: 능력 퇴행 (정확한 궤적을 조건으로 한 모델이 잘못된 응답을 생성하는 경우) 을 방지하기 위해 비대칭 패널티가 적용됩니다. 조건 궤적이 정확하지만 새로운 응답이 잘못된 경우 추가 패널티가 부과됩니다. 이는 새로운 능력을 습득하는 동시에 기존 올바른 행동을 유지하는 것을 우선시합니다.

2. 난이도 인지 궤적 선호:

   • 학습 효율성을 최적화하기 위해 CIPO 는 중간 통과율을 가진 프롬프트 재생을 우선시합니다 (근접 발달 영역). 일관되게 해결되는 프롬프트 (너무 쉬움) 나 일관되게 실패하는 프롬프트 (너무 어려움) 는 영구적이거나 가치가 낮은 기울기 신호를 제공합니다. 시스템은 모델이 효과적인 학습 창에 집중하도록 중간 난이도 샘플을 필터링합니다.

3. 연합 최적화 목적 함수:
   최종 목적 함수는 기본 롤아웃에 대한 표준 GRPO 손실과 재생된 롤아웃에 대한 수정 손실을 결합합니다. 수정 보상은 위험 회피적 형상화를 포함합니다. 모델은 두 스트림에 걸친 기대 보상을 최대화하도록 훈련되어, 표준 추론 성능을 유지하면서 자신의 오류를 수정하는 방법을 효과적으로 학습합니다.

3. 주요 기여

• RLVR 에서의 실패 재조명: 이 논문은 외부 모델 없이 온-정책 실패 궤적을 희소 부정적 피드백에서 유용한 수정 지향 감독 정보로 변환하는 방법을 조사합니다.
• CIPO 알고리즘: 모델의 자체 온-정책 실패에서 수정 샘플을 구축하는 RLVR 의 새로운 확장입니다. 외부 주석이나 보조 보상 모델의 필요성을 제거합니다.
• 안정성 메커니즘: 탐색 (실패에서 학습) 과 활용 (올바른 능력 유지) 사이의 균형을 맞추기 위해 적응형 재생 비율과 위험 회피적 보상 형상화를 도입했습니다.
• 실증적 검증: CIPO 가 추론 및 오류 수정 능력을 모두 향상시키며, pass@K 지표의 향상이 단순한 확률 재분배가 아닌 고유한 추론 능력의 진정한 확장을 시사한다는 광범위한 실험을 입증했습니다.

4. 실험 결과

저자들은 수학적 추론과 코드 생성에 걸친 11 개의 벤치마크에서 CIPO 를 평가했으며, 수학에는 Qwen3-4B 를, 코드에는 Seed-Coder-8B 를 사용했습니다.

• 추론 성능: CIPO 는 다양한 배치 크기의 바닐라 GRPO 및 PRIME 을 포함한 강력한 베이스라인보다 일관되게 우수한 성능을 발휘했습니다.
  • 수학적 추론에서 CIPO 는 평균 정확도 **64.38%**를 달성하여 최고의 GRPO 베이스라인보다 **4.55%**를 상회했습니다.
  • AIME24 및 AIME25 와 같은 까다로운 데이터셋에서 상당한 향상이 관찰되었습니다.
• 수정 및 디버깅:
  • DebugBench에서 CIPO 로 훈련된 Seed-Coder-8B 는 7.63% 의 향상을 이루어 Claude-4-sonnet 과 comparable 한 성능에 도달했으며 GRPO 를 능가했습니다.
  • CriticBench에서 모델은 개선된 수정률을 보였습니다 (예: 수학 작업에서 +7.74%), 기호 및 알고리즘 추론 작업에 대한 강력한 교차 시나리오 일반화를 입증했습니다.
• 고유 능력 확장:
  • CIPO 는 더 높은 pass@K 점수 (예: 수학 벤치마크의 pass@32) 를 산출하여, 모델의 고유 추론 능력이 기존 정답에 대한 확률 질량 재분배가 아닌 실제로 확장되었음을 나타냈습니다.
  • 학습 역학은 GRPO 베이스라인에서 관찰된 성능 포화 및 변동을 피하고 견고한 단조 상승 추세를 보였습니다.

5. 중요성 및 주장

이 논문은 CIPO 가 실패한 궤적에 내재된 정보를 완전히 활용함으로써 RLVR 을 더 효율적이고 효과적으로 만드는 중요한 진전이라고 주장합니다.

• 방향성 지침: 실패를 일괄적으로 억제하는 표준 RLVR 과 달리 CIPO 는 실패 모드를 구분합니다. "간신히 놓친" 시도가 정제 과정에서 올바른 솔루션을 도출할 확률이 더 높다는 사실을 활용하여 더 풍부하고 밀도 높은 학습 신호를 추출합니다.
• 자기 수정 능력: 모델이 자신의 오류 시도를 조건으로 올바른 솔루션을 생성하도록 명시적으로 훈련시킴으로써, CIPO 는 모델의 디버깅 및 정제 능력을 향상시켜 실용적 적용 범위를 확장합니다.
• 작업 중립적이고 효율적: 이 방법은 외부 신호, 인간 주석, 추가 보상 모델이 필요 없으며, 희소 보상과 관련된 근본적인 한계를 해결하면서도 RLVR 패러다임의 단순성과 확장성을 유지합니다.

저자들은 CIPO 가 궤적의 '실패'를 학습 과정의 '성공'으로 효과적으로 변환하여 모델이 안정적이고 확장 가능한 방식으로 자신의 실수에서 학습할 수 있게 한다고 결론지었습니다.