기술적 요약: LLM 을 위한 강화학습의 가치-기울기 가설

문제 제기

강화학습 (RL) 은 대규모 언어 모델 (LLM) 의 사후 학습을 위한 표준 기법이 되었으며, 그룹 상대적 정책 최적화 (GRPO) 와 근사 정책 최적화 (PPO) 와 같은 방법론들은 최첨단 추론 능력을 달성하고 있습니다. 그러나 핵심적인 이론적 수수께끼가 남아 있습니다. 고전적인 RL 이론은 가치 함수를 학습하지 않아 크레딧 할당을 부트스트랩하지 않는 크리틱 없는 방법론들은 장기적 크레딧 할당에서 실패할 것이라고 시사합니다. 그럼에도 불구하고, 실제로는 이러한 방법론들이 매우 뛰어난 성능을 발휘합니다. 본 논문은 LLM 에서 크리틱 없는 RL 이 작동하는 이유를 조사하고, 이러한 방법론들이 가장 큰 성능 향상을 가져오는 구체적인 조건을 규명하고자 합니다.

방법론 및 이론적 프레임워크

저자들은 크리틱 없는 RL 에 대한 가치 - 기울기 관점을 개발하여, 이러한 방법론에서의 액터 업데이트가 '가치 없음 (value-free)'이 아니라 오히려 가치 함수의 기울기를 근사하는 신호를 전달한다고 주장합니다.

1. 연속 완화 및 코스테이트 (Costates)

본 논문은 먼저 미분 가능한 롤아웃 (differentiable rollout) 프레임워크 (Fairbank & Alonso, 2012) 를 사용하여 이론적 기준선을 설정합니다.

• 미분 가능한 롤아웃: 액션이 가산 노이즈 파라미터화를 통해 생성된다고 가정하는 연속 완화 ($\pi_\theta(a|s) = \nu(a - \bar{a}_\theta(s))$) 를 가정함으로써, 저자들은 표준 스코어 함수 (SF) 기울기 추정기가 기대값 측면에서 경로 미분 (PD) 추정기와 동등함을 보여줍니다.
• 가치 기울기로서의 코스테이트: 이 연속 설정에서 역전파는 코스테이트 ($\lambda_t = \partial R_t / \partial s_t$) 를 전파합니다. 저자들은 이러한 코스테이트의 조건부 기대값이 가치 기울기 ($\partial V^\pi_t(s) / \partial s$) 와 같음을 증명합니다. 따라서 피팅된 크리틱이 없더라도 미분 가능한 롤아웃의 역전파는 본질적으로 가치 기울기에 대한 몬테카를로 추정기를 전달합니다.

2. 이산 트랜스포머 및 어텐션

이후 본 논문은 이산 토큰 샘플링을 사용하는 LLM 의 현실을 다룹니다.

• 경험적 코스테이트: 저자들은 트랜스포머를 통한 GRPO 손실의 자동 미분을 분석합니다. 그리고 경험적 코스테이트 ($\hat{\lambda}_t$) 를 숨겨진 상태에 대한 어드밴티지 가중 손실의 기울기로 정의합니다.
• 샘플링 간극: 이산 환경에서는 숨겨진 상태에서 토큰으로의 전환 ($h_t \to z_t \to o_t$) 이 미분 불가능하여 정확한 BPTT 체인을 끊습니다. 정확한 BPTT 야코비안은 어텐션 경로(미분 가능) 와 샘플링 경로(미분 불가능) 로 분해됩니다.
• 우회로로서의 어텐션: 저자들은 트랜스포머의 어텐션 메커니즘이 이산 샘플링 병목 현상을 우회하여 위치 간 ($h_t \to h_{t+1}$) 크레딧 수송을 위한 직접적이고 미분 가능한 경로를 제공함을 입증합니다.
• 오차 한계: 그들은 자동 미분을 통해 계산된 경험적 코스테이트와 정확한 BPTT 코스테이트 사이의 오차가 정책 엔트로피와 샘플링 간극에 의해 제어됨을 증명합니다. 구체적으로, 정책이 거의 결정론적일 때 (낮은 엔트로피), 샘플링 단계를 통한 누락된 기울기는 무시할 수 있습니다.

3. RL 영향 분해

이러한 발견에 기반하여 저자들은 RL 효과성에 대한 예측 이론을 제안합니다. 그들은 잠재적인 RL 이득을 두 가지 요인으로 분해합니다:

1. 사용 가능한 가치 - 기울기 신호 ($S_m(\theta)$): 경험적 코스테이트와 이상적 코스테이트 사이의 근사 오차 (간극) 를 보정한, 액터 업데이트를 통해 실제로 전달되는 가치 - 기울기 신호의 크기.
2. 달성 가능한 보상 여유 ($H_\alpha(\theta)$): 기존 궤적 분포를 재가중함으로써 달성 가능한 보상 개선 잠재력. 이는 더 나은 궤적이 지원 (support) 내에 존재하지만 아직 완전히 활용되지 않았을 때만 높습니다.

본 논문은 RL 영향 $\propto$ 사용 가능한 신호 $\times$ 달성 가능한 여유라고 가정합니다.

주요 기여

1. 가치 - 기울기 동등성: 본 논문은 미분 가능한 롤아웃과 시프트/가산 노이즈 정책 하에서 국소적인 GRPO/PPO 액터 업데이트가 기대값 측면에서 가치 - 기울기와 유사함을 입증합니다.
2. 이산 근사: 이산 트랜스포머에서 표준 자동 미분을 통해 계산된 경험적 코스테이트가 연속 BPTT 코스테이트를 근사함을 보여줍니다. 근사 오차는 정책 엔트로피와 어텐션 야코비안의 스펙트럼 속성에 의해 상한이 결정됩니다.
3. 예측 기준: 저자들은 RL 이 가장 효과적일 시기를 예측하는 분해 공식 (식 29) 을 유도합니다. 그들은 RL 이 다음과 같은 사전 학습 체크포인트에서 가장 유익하다고 주장합니다:
   • 유용한 크레딧 신호를 전달할 수 있을 정도로 가치 - 기울기 영역에 근접한 경우 (낮은 엔트로피, 효과적인 어텐션).
   • 보상 개선 궤적을 유지할 수 있을 정도로 포화 상태로부터 충분히 먼 경우 (비영구적인 여유).

실험 결과

저자들은 미분 가능한 보상을 가진 통제된 레이블 복사 작업을 통해 OLMo-2 1B 체크포인트를 사용하여 그들의 이론을 검증합니다.

• 엔트로피 경계 검증: 실험은 경험적 코스테이트와 이상적 BPTT 코스테이트 사이의 근사 오차가 실제로 정책 엔트로피에 의해 제어됨을 확인하여, 명제 2 의 이론적 경계를 지지합니다.
• 예측 정확도: 제안된 '영향 점수 (Signal $\times$ Headroom)'는 다양한 사전 학습 체크포인트에 걸쳐 관찰된 RL 이득의 크기를 성공적으로 예측합니다.
  • 영향 점수는 관찰된 RL 이득과 상관관계를 보입니다 (스피어만 상관관계 $\approx 0.60$).
  • 사전 학습 능력 (현재 보상) 과 예측된 영향 점수를 모두 사용한 결합 예측기는 최종 사후 RL 성능과 더 높은 상관관계 ($\approx 0.73$) 를 달성하여, 성공을 위해서는 현재 능력과 'RL 준비 상태'가 모두 필요함을 시사합니다.

중요성 및 주장

본 논문은 LLM 에서 크리틱 없는 RL 의 성공에 대한 구체적인 이론적 설명을 제공하여 고전적인 RL 이론과의 명백한 모순을 해결한다고 주장합니다.

• 메커니즘: 성공은 가치 정보의 부재 때문이 아니라, 액터 역전파 자체가 트랜스포머의 어텐션 메커니즘을 통해 가치 - 기울기와 유사한 신호를 전파하기 때문입니다.
• 실용적 유용성: 유도된 영향 분해는 체크포인트 선택을 위한 실용적 기준을 제공합니다. 이는 실무자가 사전 학습 직후 (여유가 낮거나 신호가 노이즈가 많을 수 있음) 나 너무 늦은 시점 (포화가 발생한 경우) 에 RL 을 적용해서는 안 되며, 대신 모델이 충분한 크레딧 할당 충실도와 남은 보상 잠재력을 갖춘 시점에 적용해야 함을 시사합니다.
• 이론적 통합: 이 연구는 GRPO 와 같은 방법론의 성공을 크레딧 할당 이론의 예외가 아니라, 연속 공간에서의 숨겨진 상태 계산의 결과로 프레임하며, 여기서 어텐션은 시간적 크레딧을 위한 미분 가능한 통로로 작용합니다.

저자들은 그들의 설정이 통제되었으며 RL 의 구체적인 구현 (학습률, 배치 크기 등) 이 관찰된 상관관계에 영향을 미친다고 겸손하게 지적합니다. 그러나 그들은 핵심 메커니즘인 어텐션 매개 가치 - 기울기 전파가 LLM 영역에서 크리틱 없는 방법론의 경험적 효능을 설명한다고 단언합니다.