기술적 요약: 언어 모델 추론에서의 리셋을 활용한 크레딧 할당

문제 제기

다단계 추론 작업에 대한 언어 모델의 후속 학습을 위한 현대적 검증 가능 보상 강화 학습 (RLVR) 방법은 일반적으로 단일 결과 보상을 궤적 내의 모든 토큰에 균일하게 전파합니다. 이러한 "균일 크레딧 할당" 접근법은 성공이나 실패에 기여한 특정 추론 단계를 모호하게 만듭니다. 결과적으로 정책 업데이트는 오직 일부 단계만 결함이 있을지라도 전체 궤적에 무분별하게 적용됩니다. 이 비효율성은 학습을 위한 신호 대 잡음비가 낮은 장거리 추론 작업에서 특히 문제가 됩니다.

본 논문은 크레딧 할당을 개선하기 위해서는 전체 궤적을 업데이트하는 대신 특정 결함 추론 단계를 격리하고 정제하는 메커니즘이 필요하다고 주장합니다. 생물학적 시스템에서 반사실적 "만약에" 결과를 학습하기 위해 고충격 의사결정 지점을 재개념화하는 데서 영감을 받아, 저자들은 크레딧 할당을 위한 원시적 도구로서 **리셋 (resets)**을 제안합니다. 리셋은 이전에 방문했던 상태로 재진입하여 연속체를 재샘플링함으로써, 결과 차이를 해당 상태에서 내려진 결정에 구체적으로 귀속시킬 수 있게 합니다.

방법론

본 논문은 두 가지 리셋 기반 RLVR 후속 학습 방법을 소개하며, 둘 다 토큰 수준이 아닌 사고 (thought) 수준(각 행동이 의미적으로 일관된 추론 단계인 곳) 에서 작동합니다. 두 방법 모두 실패한 궤적에서 유도된 특정 리셋 상태 $x^*$에서 재샘플링된 "공유 접두어 그룹"의 롤아웃과 기본 그룹의 표준 롤아웃을 포함하는 학습 버퍼를 구성합니다.

1. 무작위 리셋 정책 최적화 (RRPO)

RRPO는 무작위 리셋을 갖춘 보수적 정책 반복 (CPI-RR) 의 실용적 구현에 해당합니다.

• 메커니즘: 실패한 궤적 (시드) 을 마주치면, 리셋 상태 $x^*$는 해당 시드의 추론 단계 중 무작위로 균일하게 선택됩니다.
• 과정: $x^*$에서 여러 접미어 연속체가 샘플링됩니다. 정책 기울기는 접미어 토큰에만 적용되며, 공유 접두어는 마스킹됩니다.
• 목표: 온-정책 분포에서 균일하게 추출된 리셋 상태를 갖는 이론적 CPI-RR 기준을 근사하는 것입니다.

2. 자기 리셋 정책 최적화 (SRPO)

SRPO는 크레딧 할당 오라클을 갖춘 CPI(CPI-CARO) 의 실용적 구현에 해당합니다.

• 메커니즘: 무작위 선택 대신 모델은 실패한 시드 궤적에서 첫 번째 오류 사고를 자기 국소화합니다. 이 자기 국소화는 엄격히 더 나은 행동 (개선 가능 상태) 을 허용하는 상태를 식별하는 이론적 크레딧 할당 오라클의 대리 역할을 합니다.
• 과정: 모델은 자신의 추론 흔적을 분석하여 첫 번째 오류의 인덱스를 식별합니다. 리셋 상태 $x^*$는 이 오류에 선행하는 접두어로 설정됩니다. 그런 다음 이 검증된 올바른 접두어에서 여러 접미어 연속체가 샘플링됩니다.
• 주요 특징: SRPO 는 외부 단계 수준 감독 (예: 프로세스 보상 모델 또는 인간 주석) 이 필요하지 않으며, 이전 연구 (Samanta et al., 2026) 에서 지지된 모델의 첫 번째 오류를 탐지하는 자체 능력을 활용합니다.

이론적 프레임워크

저자들은 이러한 방법들을 보수적 정책 반복 (CPI) 프레임워크 내에서 분석합니다. 그들은 크레딧 할당 오라클을 사용하여 임계값 $\tau$보다 큰 이점을 갖는 행동이 존재하는 "개선 가능 상태"에서만 리셋 상태를 샘플링하는 이론적 변형인 CPI-CARO를 도입합니다.

• 이론적 결과: 본 논문은 CPI-CARO 가 표준 CPI-RR(무작위 리셋) 대비 $1/p_\pi^2$만큼의 샘플 복잡도 개선과 $1/p_\pi$만큼의 반복당 개선 이득을 달성함을 증명합니다. 여기서 $p_\pi$는 개선 가능 상태에 도달하는 온-정책 확률입니다.
• 함의: 리셋을 개선 가능성이 있는 상태에 집중시킴으로써, 알고리즘은 비개선 가능 상태로 학습 신호를 희석시키는 것을 피합니다.

주요 기여

1. 개념적: 본 논문은 리셋을 후속 학습을 위한 근본적인 크레딧 할당 원시 도구로 규정합니다. 개선 가능 상태에서 재샘플링된 접미어들 간의 결과 차이는 해당 상태에서 내려진 결정에 구체적으로 크레딧을 묶는다고 주장합니다.
2. 이론적: 크레딧 할당 오라클을 갖춘 CPI 프레임워크를 확장하여, 리셋을 개선 가능 상태에 집중시키는 것이 무작위 리셋 대비 우수한 샘플 복잡도와 반복당 개선을 보장함을 증명합니다.
3. 알고리즘적 및 경험적: 자기 국소화를 활용하여 리셋을 주도하는 훈련 없는 방법인 SRPO를 제안합니다. SRPO 는 언어 모델이 외부 감독 없이 오류를 효과적으로 자기 국소화하여 자기 수정을 주도할 수 있음을 보여줍니다.

실험 결과

저자들은 NuminaMath-Olympiads 로 학습된 두 개의 기본 모델 (Qwen2.5-14B-Instruct 및 OLMo-3-7B-Instruct) 에 대해 SRPO 와 RRPO 를 평가했으며, 수학, 과학, 전략, 상식 추론을 아우르는 10 개 벤치마크 suite 와 코딩 벤치마크 (LiveCodeBench) 에서 테스트했습니다.

• 일반 추론: SRPO 는 표준 GRPO 와 RRPO 를 일관되게 능가했습니다. Qwen2.5-14B 모델에서 SRPO 는 10 개 작업 중 7 개에서 최상의 결과를 달성했으며, OLMo-3-7B 에서는 10 개 중 6 개에서 최상이었습니다. 주목할 점은 수학 데이터만으로 학습했음에도 분포 외 벤치마크 (과학, 전략, 상식) 에서 이러한 이득이 발생했다는 것입니다.
• 코딩 작업: LiveCodeBench 에서 SRPO 는 더 높은 통과율로 수렴했으며, GRPO 와 RRPO 보다 2~3 배 빠르게 학습했습니다.
• 샘플링 전략: 기본 롤아웃과 공유 접두어 롤아웃의 비율 (예: 1×4 대 2×4 대 1×8) 에 대한 제거 연구에서 1×4 분할(4 개 기본 롤아웃, 하나의 자기 국소화된 접두어에서 4 개 접미어) 이 기본 정책 커버리지와 공유 접두어 깊이 간의 가장 좋은 균형을 제공함이 발견되었습니다.
• 자기 국소화 품질: 자기 국소화 메커니즘에 대한 분석은 이것이 불완전하지만 효과적인 오라클 대리임을 보여주었습니다. 모델이 오류를 올바르게 국소화하여 "깨끗한" 접두어를 생성했을 때, 국소화가 오류 영역으로 초과했을 때에 비해 수정률이 거의 2 배 높았습니다(28.7% 대 16.3%).

중요성과 주장

본 논문은 자기 국소화된 리셋이 추론을 위한 RL 후속 학습에서 중요한 진전이라고 주장합니다. 균일 크레딧 할당에서 벗어나 SRPO 는 실패에 책임 있는 특정 단계를 표적함으로써 더 효율적인 학습을 가능하게 합니다.

• 효율성: 이 방법은 특히 수렴이 가속화되는 코딩 작업에서 표준 GRPO 보다 적은 샘플로 더 높은 성능을 달성합니다.
• 자기 충족성: SRPO 는 외부 단계 수준 감독 없이 작동하며, 모델이 자신의 첫 번째 오류를 식별하는 내부 능력에만 의존합니다. 이는 인간 주석이나 프로세스 보상 모델이 없는 도메인에서도 확장 가능하고 적용 가능한 접근법을 만듭니다.
• 이론적 정렬: SRPO 의 경험적 성공은 무작위 탐색 전략 대비 크레딧 할당 오라클을 통해 "개선 가능 상태"에 정책 업데이트를 집중시키는 것이 증명 가능한 이득을 산출한다는 이론적 전제를 검증합니다.

저자들은 자기 국소화가 완벽하지는 않지만 의미 있는 개선을 주도하기에 충분하다고 결론지으며, 향후 연구는 자기 국소화의 품질 향상 (예: 전용 로컬라이저를 통해) 과 이러한 리셋 기반 크레딧 할당 메커니즘을 더 긴 시간 범위의 에이전트 작업 및 다턴 대화로 확장하는 데 초점을 맞출 것을 제안합니다.