Off-Policy Learning to Reason Works Because It Is More Pessimistic Than You Think

기술적 요약: 오프-폴리시 학습을 통한 추론 능력 향상은 당신이 생각하는 것보다 더 비관적입니다

문제 정의

강화 학습 (RL) 은 수학, 코딩, 다단계 문제 해결과 같은 작업에서 대형 언어 모델 (LLM) 의 추론 능력을 향상시키는 핵심 도구가 되었습니다. 그러나 현대 LLM 에 필요한 규모에서 학습 파이프라인은 본질적으로 오프-폴리시입니다. 롤아웃 생성의 높은 비용으로 인해, 학습 데이터는 현재 최적화 중인 정책이 아닌 지연된 추론 작업자나 이전 모델 체크포인트에 의해 생성되는 경우가 많습니다.

기존 방법들 (예: PPO, GRPO) 은 중요도 가중치, 클리핑, 또는 필터링을 사용하여 분포 변화를 보정함으로써 학습을 대략적인 온-폴리시 (on-policy) 상황으로 간주하여 이러한 불일치를 처리하려 시도합니다. 온-폴리시에 가까운 환경에서는 효과적이지만, 이러한 보정은 높은 분산을 초래하며 정책 지연이 클 경우 최적화를 불안정하게 만들 수 있습니다. 반면, 최근의 비율 기반 접근법 (예: $A^\star$-PO, OAPL) 은 중요도 가중치를 제거하고 행동 정책 데이터에서 직접 학습합니다. 이러한 방법들이 경험적으로 성공을 거두었음에도 불구하고, 그 이론적 기반은 완전히 이해되지 않았습니다. 구체적으로, 이러한 목적 함수의 명목상 유도식은 실제 구현 (보통 이점 계산과 정규화를 위해 온도를 분리함) 이 달성하는 것과 다른 목표 분포를 시사합니다. 본 논문은 이러한 비율 기반 방법들이 왜 작동하는지 설명하고 이를 더욱 안정화하는 방법을 모색합니다.

방법론 및 이론적 분석

저자들은 중요도 가중치를 사용하지 않고 학습된 정책의 로그 비율을 목표 이점으로 회귀시키는 일련의 비율 기반 오프-폴리시 목적 함수를 분석합니다. 그들은 다음과 같은 형태의 목적 함수에 초점을 맞춥니다:
$$\mathbb{E} \left[ \sum_i \left( \hat{A}_i \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} - \frac{\beta}{2} \left( \log \frac{\pi_\theta(y_i|x)}{\pi_{old}(y_i|x)} \right)^2 \right) \right]$$
여기서 $\hat{A}_i$는 그룹 상대 이점 (group-relative advantage) 이고 $\beta$는 정규화 매개변수입니다.

핵심 이론적 통찰: 람베르트 - 템퍼드 목표
이 목적 함수의 정상점을 분석함으로써 저자들은 유도된 목표 정책이 표준 지수 (KL 정규화) 분포가 아니라 람베르트 - 템퍼드 정책임을 도출합니다:
$$\pi^\star(y|x) = \pi_{old}(y|x) \frac{1}{\tau_s} W_0 \left( \tau_s \exp \left( \frac{A(x,y)}{\beta} \right) \right)$$
여기서 $W_0$는 람베르트 W 함수의 주 가지 (principal branch) 이고, $\tau_s$는 이점 기준선에 의해 결정된 정규화 승수입니다.

목표 정책의 행동은 이점이 어떻게 정규화되는지에 따라 제어되는 $\tau_s$의 부호와 크기에 결정적으로 의존합니다:

1. 비관적 영역 ($\tau_s > 0$): 목표는 지수 업데이트보다 더 보수적입니다. 람베르트 함수는 큰 이점에 대해 로그적으로 증가하여 정책이 소수의 고보상 샘플에 지수적으로 과도하게 의존하는 것을 방지합니다. 이는 엔트로피 붕괴를 완화합니다.
2. 지수 경계 ($\tau_s = 0$): 목표는 표준 지수 틸팅을 회복합니다. 이 영역은 취약하며, 이점 기준선의 작은 오차도 목적 함수를 불안정한 영역으로 이동시킬 수 있습니다.
3. 불안정 영역 ($\tau_s < 0$): 목표는 지수 업데이트보다 더 공격적이 되어 고이점 응답을 증폭시키고 엔트로피 붕괴에 대한 취약성을 증가시킵니다.

기존 방법 분석 (OAPL/$A^\star$-PO)
본 논문은 OAPL 에서 사용되는 명목상 이점 추정기 (로그 - 합 - 지수 중심 이점) 가 유한한 그룹 크기의 제네 불등식 편향으로 인해 집단 수준에서 불안정 영역($\tau_s \le 0$) 의 목표를 유도함을 보여줍니다. OAPL 구현에서 관찰된 경험적 안정성은 휴리스틱인 "온도 분리" (정규화보다 이점 계산에 더 큰 온도를 사용함) 에 기인하며, 이는 암묵적으로 이점을 더 보수적인 영역으로 이동시킵니다.

제안된 수정
휴리스틱 온도 분리에 의존하지 않고 안정성을 달성하기 위해, 저자들은 $\beta$-시프트된 평균 이점을 제안합니다:
$$\hat{A}_i = r_i - \bar{r} + \beta$$
이 간단한 시프트는 유도된 람베르트 승수가 $\tau_s \ge 1$을 만족하도록 보장하여, 목표 정책이 구성상 비관적 람베르트 영역에 머무르게 합니다.

주요 기여

1. 비율 기반 목적 함수의 특성화: 저자들은 비율 기반 오프-폴리시 목적 함수가 이점 정규화에 의해 조절되는 보수성의 정도를 가진 람베르트 - 템퍼드 목표 정책을 유도함을 증명합니다.
2. 안정화 메커니즘의 설명: OAPL 과 같은 방법들의 성공이 실제 구현 선택 (온도 분리) 에 의해 유도된 암묵적 비관주의에 의존하며, 그들의 명목상 이론적 유도는 실제로 불안정한 목표를 시사함을 설명합니다.
3. 원칙적 안정화: 시프트된 평균 이점을 통해 목표가 안정적이고 비관적인 람베르트 영역에 있도록 보장하여, 하이퍼파라미터가 많은 온도 분리의 필요성을 제거하는 원칙적 안정화 방법을 제안합니다.

실험 결과

저자들은 DeepScaleR 데이터셋에서 Qwen3-8B 모델을 사용하여 OAPL 과 자신의 방법을 평가했으며, 수학 벤치마크 (Minerva, AIME2025, AMC23, BRUMO) 에서 평가했습니다.

• 정규화 ($\beta$) 에 대한 민감도: 작은 정규화 강도 (작은 $\beta$) 하에서 OAPL 은 빠른 엔트로피 붕괴와 저하된 보상을 보인 반면, 제안된 람베르트 방법은 안정적으로 유지되며 계속 개선되었습니다.
• 정책 지연에 대한 강건성: 정책 지연 (지연된 롤아웃) 이 증가함에 따라 (32 단계에서 256 단계까지), OAPL 은 매우 민감해져 엔트로피 붕괴 또는 불안정한 엔트로피 증가를 보였습니다. 람베르트 방법은 모든 지연 설정에서 더 높은 엔트로피를 유지하며 더 높은 보상으로 수렴했습니다.
• 결론: 제안된 수정은 공격적인 정규화와 큰 정책 지연 모두에 대한 강건성을 향상시켜, 비관적 람베르트 영역을 목표로 하는 것이 오프-폴리시 학습을 안정화한다는 가설을 검증했습니다.

중요성 및 주장

본 논문은 LLM 추론에서 오프-폴리시 학습의 효과성이 단순히 분포 불일치를 무시하기 때문이 아니라, 특정 이점 정규화가 암묵적 비관주의의 형태를 유도하기 때문이라고 주장합니다. 이 비관주의는 정책이 오래된 고보상 샘플에 과도하게 최적화되는 것을 방지하며, 이는 롤아웃이 이전 정책에 의해 생성될 때 특히 중요합니다.

저자들은 자신의 작업을 최근 오프-폴리시 알고리즘의 특정 구현 선택이 왜 작동하는지에 대한 원칙적 이해를 제공하는 것으로 위치시키며, "신뢰 영역" 휴리스틱을 넘어 람베르트 - 템퍼드 목표에 기반한 프레임워크로 나아가고 있습니다. 그들은 시프트된 평균 이점을 통해 비관적 영역을 명시적으로 목표로 하는 것이 기존 방법들, 특히 대규모 비동기 LLM 학습이라는 까다로운 환경에서 더 안정적이고 신뢰할 수 있는 대안을 제공한다고 주장합니다. 논문은 이 이론의 토큰 수준 변형이 오프-폴리시 추론 알고리즘을 더 원칙적으로 만드는 유망한 방향임을 시사하며 마무리합니다.