기술 요약: 위치뿐만 아니라 시점: RLVR 를 위한 시간적 스케줄링

문제 제기

검증 가능한 보상을 활용한 강화학습 (RLVR) 은 특히 추론 작업을 위한 대규모 언어 모델 (LLM) 의 후속 학습을 위한 지배적인 패러다임이 되었습니다. 그러나 그룹 상대 정책 최적화 (GRPO) 와 같은 표준 RLVR 접근법은 일반적으로 생성된 전체 시퀀스에 단일 스칼라 보상을 브로드캐스트합니다. 이로 인해 모든 샘플링된 토큰이 정책 업데이트에 균등하게 참여하는 균일한 최적화 신호가 생성되며, 궤적 (trajectory) 을 따라 나타나는 이질적인 정책 행동(예: 추론 발판, 논리적 연결, 반성, 그리고 답변 수렴) 을 간과하게 됩니다.

기존 솔루션은 신용 할당 (credit allocation) 메커니즘을 도입하여 학습 신호가 어디에 분배되어야 하는지 결정함으로써 이를 해결하려 시도합니다. 여기에는 다음이 포함됩니다:

• 프로세스 보상 모델 (PRM): 단계별 피드백 제공 (높은 주석 비용).
• 토큰 수준 프록시: 토큰 엔트로피, 가능성 (likelihood), 또는 KL 발산과 같은 지표를 사용하여 이점을 재가중치하거나 최적화를 위해 희소한 토큰 하위 집합을 선택합니다.

핵심 한계: 이러한 방법들이 우선순위를 둘 특정 토큰을 식별하더라도, 할당 기준은 전체 학습 과정에서 정체 (stagnant) 상태로 유지됩니다. 한 번 프록시 (예: 높은 엔트로피) 가 선택되면 해당 정책 행동이 지속적으로 강조됩니다. 저자들은 이러한 정적 접근법이 탄력적인 정책 진화를 제한하며, 다양한 행동을 동시에 수용하려 할 때 정책 엔트로피가 희생될 수 있다고 주장합니다. 이 논문은 시간적 차원—특히 학습 신호가 언제 스케줄링되는지—이 간과되어 왔으며, 신호가 어디에 할당되는지와 마찬가지로 중요하다고 제시합니다.

방법론

이 논문은 학습 과정에서 신용 할당 기준을 고정하는 대신 동적으로 조정하는 시간적 스케줄링 (Temporal Scheduling) 프레임워크를 제안합니다.

1. 자연스러운 관점으로서의 궤적 백분위수

복잡한 정책 프록시에만 의존하는 대신, 저자들은 토큰 위치에 기반하여 정책 행동을 구분하기 위해 **궤적 백분위수 점수 (TP-Score)**를 도입합니다.

• 분석: 실증적 분석은 궤적 위치 전반에 걸쳐 뚜렷한 토큰 분포와 엔트로피 프로파일을 보여줍니다.
  • 초기 백분위수: 추론 발판 및 제한된 패턴과 관련됨; 낮은 엔트로피를 보임.
  • 중간 백분위수: 반성 및 핵심 추론과 관련됨; 가장 높은 엔트로피와 탐색적 행동을 보임.
  • 후기 백분위수: 답변 실현 및 요약과 관련됨; 중간 수준의 엔트로피를 보임.
• 통찰: 궤적 백분위수는 복잡한 프록시 계산 없이 이질적인 행동을 구분하는 자연스럽고 간단한 기준을 제공합니다.

2. 시간적 스케줄링 메커니즘

핵심 혁신은 학습 진행도 $\tau$의 함수로서 신용 할당 인자 $\hat{f}_t(\tau)$를 스케줄링하는 것입니다.
$$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$$
여기서:

• $\hat{f}_t$는 기존 방법 (예: 엔트로피 기반 재가중치 또는 희소 선택) 에서 파생된 원래 신용 할당 인자입니다.
• $S(\tau)$는 1 에서 0 으로 단조 감소하는 스케줄 함수입니다.
• 전략: 최적화는 특정 행동을 강화하기 위해 가장 표적화된 토큰 (예: 특정 프록시나 후기 궤적 위치에 의해 식별된 토큰) 을 우선시하며 시작합니다. 학습이 진행됨에 따라 기준이 점차 감쇠하여 더 일반적인 토큰을 포함하도록 최적화 범위를 확장합니다.

3. 기존 패러다임과의 통합

이 방법은 기존 신용 할당 전략을 위한 "드롭인 (drop-in)" 대체재로 설계되었습니다:

• 연속 이점 재가중치: 가중치 $\psi(\mu_t)$가 $S(\tau)$로 스케일링됩니다.
• 이산 희소 최적화: 선택 임계값 $\epsilon$이 동적으로 완화됩니다: $\mu_t \geq S(\tau) \cdot \epsilon$. 이는 시간이 지남에 따라 더 많은 토큰을 최적화 집합에 점진적으로 포함시킵니다.

4. 궤적 백분위수 스케줄링 (TP-Schedule)

저자들은 궤적 백분위수를 직접 사용하여 구체적인 인스턴스를 제안합니다:

• 초기화: 신뢰할 수 있는 연장에 책임 있는 후기 토큰 (높은 백분위수) 에만 집중합니다.
• 진행: 추론 발판에 책임 있는 초기 토큰 (낮은 백분위수) 을 점진적으로 포함합니다.
• 공식: $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$, 여기서 $t/T$는 정규화된 위치입니다. 이는 최적화가 시퀀스 끝에서 시작하여 뒤로 전파되는 구조적 전환을 생성합니다.

주요 기여

1. 시간적 차원의 식별: 이 논문은 신용 할당의 시기가 중요하지만 간과된 최적화 차원이라고 주장합니다. 정체된 할당 패러다임에 도전하여 학습 단계에 따른 스케줄링 기준이 더 탄력적인 정책 진화로 이어진다고 제안합니다.
2. 시간적 스케줄링 프레임워크: 표적화된 토큰을 초기에 우선시하고 점차 일반 최적화로 감쇠시킴으로써 기존 신용 할당 기술 (연속 재가중치 및 희소 최적화 모두) 을 보완하는 일반적 방법입니다.
3. 효과적인 프록시로서의 궤적 백분위수: 저자들은 단순한 궤적 백분위수가 정책 행동을 구분하는 자연스럽고 효과적인 기준이 되며, 표준 방법에서 관찰되는 엔트로피 붕괴를 방지하기 위해 시간적 스케줄링과 시너지 효과를 낸다고 식별했습니다.
4. 실증적 검증: 다양한 모델 규모 (Qwen3-4B, Qwen3-8B), RL 알고리즘 (GRPO, GSPO), 그리고 벤치마크 (수학 및 일반 추론) 에서 일관된 개선을 입증했습니다.

실험 결과

저자들은 OpenMathReasoning 및 DeepMath-103K 데이터셋을 사용하여 Qwen3-4B 및 Qwen3-8B 모델에서 방법을 평가했습니다. 벤치마크에는 분포 내 수학 작업 (AIME, HMMT, Minerva) 과 분포 외 추론 작업 (Winogrande, GPQA, MuSR) 이 포함되었습니다.

• 성능 향상:
  • TP-Schedule(궤적 백분위수 사용) 은 4B 모델의 경우 수학 벤치마크에서 바닐라 GRPO 보다 2.2% 더 높았으며, 일반 추론 벤치마크에서는 2.7% 더 높았습니다.
  • 기존 정체된 방법 (예: Entropy-Adv, Forking-Tok) 에 시간적 스케줄링을 적용하면 일관된 개선이 이루어졌으며, 특히 이산 스케줄링 (토큰 하위 집합 확장) 이 강력한 잠재력을 보였습니다.
  • 다양한 모델 크기와 RL 알고리즘 (GSPO 포함) 에서 개선이 관찰되었습니다.
• 학습 역학:
  • 엔트로피 보존: 표준 최적화는 종종 이질적인 행동을 수용하기 위해 정책 엔트로피를 희생합니다. 시간적 스케줄링은 학습 전반에 걸쳐 훨씬 더 높은 정책 엔트로피 (일부 비교에서 33.9% 이상 높음) 를 보존하여 더 건강한 역학을 유도했습니다.
  • 구조적 정렬: KL 발산 분석은 시간적 스케줄링이 후기 궤적 백분위수에서 시작하여 초기 백분위수로 점진적으로 전파되는 정책 업데이트의 점진적 전환을 유도하며, 균일하게 업데이트하는 것이 아님을 보여주었습니다.

중요성 및 주장

이 논문은 시간적 스케줄링이 RLVR 을 위한 유망한 최적화 차원을 구성한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 패러다임 전환: 정적인 "어디"(토큰 선택) 중심에서 동적인 "언제"(스케줄링) 중심으로의 전환.
• 엔트로피 붕괴 완화: 모든 이질적인 행동을 동시에 수용하는 것을 피함으로써 표준 RLVR 에서 자주 관찰되는 정책 엔트로피의 급격한 붕괴를 방지합니다.
• 간단함과 호환성: 이 접근법은 단순한 궤적 백분위수에 의존하며 기존 신용 할당 전략과 호환되므로 복잡한 새로운 보상 모델이나 주석 비용이 필요하지 않습니다.

저자들은 현재 프레임워크가 특정 할당 기준에 적용되지만, 향후 작업은 이 시간적 프레임워크 내에서 다양한 신용 할당 기준을 조율하는 것을 포함한다고 결론지었습니다. 결과는 학습 신호의 시점이 토큰에 걸친 공간적 분포만큼 중요함을 시사합니다.