기술 요약: ESPO (Early-Stopping Proximal Policy Optimization)

문제 정의

대규모 언어 모델 (LLM) 에 대한 강화 학습 (RL) 에서, 특히 장기적 추론 작업에서 Proximal Policy Optimization(PPO) 과 같은 표준 알고리즘은 "롤아웃 지속 문제"에 시달립니다. 모델이 초기에 회복 불가능한 추론 오류 (예: 수학 계산 실수 또는 논리적 오류) 를 범할 때, 표준 PPO 는 고정된 시간 범위 ($T_{max}$) 에 도달할 때까지 정책이 토큰 생성을 계속하도록 강요합니다.

이 과정은 두 가지 중요한 비효율성을 초래합니다:

1. 계산 낭비: 모델은 결코 긍정적인 보상을 받지 못할 토큰에 상당한 계산 자원을 소모합니다.
2. 기울기 노이즈: 이러한 실패 후 토큰들은 성공적인 궤적의 토큰들과 함께 이점 추정치에 포함됩니다. 이는 "실패 후 노이즈"로 기울기 방향을 오염시켜 학습 과정을 실제 실패 모드에서 벗어나게 만들고, 정책이 과제를 해결하는 대신 로그 확률 분포를 축소하도록 유도할 수 있습니다.

Process Reward Models(PRM) 와 같은 기존 솔루션은 중간 단계에 대한 비용이 많이 드는 인간 주석이 필요합니다. GRPO 나 DAPO 와 같은 다른 방법들은 크레딧 할당을 개선하지만 여전히 모든 궤적에 대해 전체 시간 범위를 소진합니다. 학습된 종료 모듈 (예: Option-Critic) 은 모델 복잡성을 추가하고 별도의 최적화 목표를 필요로 합니다.

방법론: ESPO

저자들은 **ESPO(Early-Stopping Proximal Policy Optimization)**를 제안합니다. 이는 추가적인 보상 모델이나 인간 주석 없이 실시간으로 궤적 실패를 감지하고 롤아웃을 조기 종료하는 경량 메커니즘입니다. ESPO 는 PPO 목적 함수 자체를 수정하는 것이 아니라 롤아웃 수집 단계를 수정합니다.

핵심 구성 요소

1. 단계별 대리 후회 (Per-Step Surrogate Regret, $g_t$):
   ESPO 는 액터가 이미 생성한 로그 확률 (logits) 만을 사용하여 각 시간 단계에서 후회 신호를 계산합니다. 이는 샘플링된 토큰이 정책의 가장 선호되는 (greedy) 행동으로부터 얼마나 벗어났는지 측정합니다:
   $$g_t = \max_{a \in V} \log \pi_\theta(a | s_t) - \log \pi_\theta(a_t | s_t)$$
   큰 $g_t$는 모델이 모드보다 훨씬 덜 선호되는 행동을 샘플링했음을 나타내며, 이는 올바른 추론 경로에서의 잠재적 이탈을 시사합니다.

2. 정규화 누적 종료 통계량 (Normalized Cumulative Stopping Statistic, $z_t$):
   학습 중 스케일 변화를 처리하기 위해, $g_t$는 배치 수준의 지수 이동 평균 (EMA) 통계량 ($\mu_g, \sigma_g$) 을 사용하여 정규화됩니다. 이 정규화된 신호는 시간 경과에 따라 평활화되어 누적 후회 값을 형성합니다:
   $$z_t = \alpha_s z_{t-1} + (1 - \alpha_s) \tilde{g}_t$$
   중요한 점은, 현재 롤아웃의 미래 단계로부터의 정보 누출을 방지하기 위해 EMA 통계량은 배치 경계에서만 업데이트된다는 것입니다.

3. 가치 게이트 조기 종료 (Value-Gated Early Termination):
   누적 후회가 현재 상태의 추정된 가치를 크게 초과할 경우 롤아웃이 종료됩니다:
   $$z_t > \beta \cdot \max(V_\phi(s_t), \epsilon)$$
   이 게이트 메커니즘은 높은 예측 미래 수익 (높은 $V_\phi$) 을 가진 상태가 더 큰 이탈 허용을 받도록 하여, 비모드 토큰 (높은 엔트로피 단계) 이지만 올바른 경우의 조기 종료를 방지합니다.

4. 흡수 실패 전이 (Absorbing Failure Transition):
   종료 시, 궤적은 흡수 실패 상태로 간주됩니다. 종료 단계는 종료 페널티 ($r_{fail}$) 를 받으며 더 이상 디코딩이 발생하지 않습니다. 이는 음의 Temporal-Difference(TD) 오차를 감지된 실패 단계에 집중시켜, 이후의 관련 없는 토큰으로 인한 노이즈 없이 일반화 이점 추정 (GAE) 을 통해 오류 신호가 깨끗하게 역전파되도록 합니다.

5. 크리틱 웜업 (Critic Warmup):
   무작위 초기화된 크리틱의 높은 분산으로 인한 부당한 조기 종료를 방지하기 위해, ESPO 는 적응형 웜업 기간을 사용합니다. 크리틱이 안정적인 학습 역학을 보일 때까지 종료 규칙은 비활성화됩니다.

주요 기여

• 효율적인 롤아웃 종료: ESPO 는 표준 액터-크리틱 PPO 에 이미 존재하는 신호 (로그 확률 및 가치 추정치) 만을 사용하여 실패하는 궤적을 감지하고 잘라내는 메커니즘을 도입하며, 추가 계산은 거의 필요하지 않습니다.
• 노이즈 감소: 종료를 종료 페널티가 있는 흡수 실패 상태로 처리함으로써, ESPO 는 음의 TD 오차를 실패 지점으로 격리하여 표준 PPO 에서 기울기 업데이트를 오염시키는 "실패 후 노이즈"를 제거합니다.
• 직교성: 이 방법은 기존 크레딧 할당 개선 (GRPO 또는 DAPO 등) 과 직교하며, 모든 PPO 스타일의 이점 추정기 위에 레이어링될 수 있습니다.
• 외부 감독 불필요: PRM 과 달리, ESPO 는 단계별 인간 주석이나 별도의 보상 모델을 필요로 하지 않습니다.

실험 결과

저자들은 DeepSeek-R1-Distill-Qwen-1.5B 및 7B 모델을 AIME 2024, AMC 2023, MATH-500의 세 가지 벤치마크에서 수학 추론을 위해 학습시켜 ESPO 를 평가했습니다.

성능 향상

• 7B 규모: ESPO 는 모든 벤치마크에서 표준 PPO 와 DAPO 를 능가했습니다:
  • AIME 2024: 46.28% (PPO 45.25%, DAPO 45.57% 대비)
  • AMC 2023: 85.83% (PPO 82.94%, DAPO 83.76% 대비)
  • MATH-500: 87.42% (PPO 85.43%, DAPO 85.95% 대비)
  • 평균 정확도: 73.17% (PPO 71.20%, DAPO 71.76% 대비).
• 1.5B 규모: ESPO 는 평균 정확도 59.09% 를 달성하여 PPO(57.03%) 와 DAPO(58.29%) 를 능가했습니다.

효율성 향상

• 토큰 절감: 7B 규모에서 ESPO 는 PPO 대비 >20%, DAPO 대비 **~19%**의 누적 롤아웃 토큰을 절감했습니다.
• 애블레이션 연구:
  • 크리틱 웜업을 제거하면 성능이 2.1 포인트 감소하여 보정되지 않은 가치 기준선에서의 편향을 방지하는 역할을 확인했습니다.
  • 종료 실패 페널티를 제거하면 성능이 2.6 포인트 감소하여 집중된 음의 TD 신호의 중요성을 강조했습니다.
  • 무작위 종료(Variant F) 는 유사한 토큰 절감에도 불구하고 정확도가 현저히 낮았습니다 (42.4% vs 46.3%). 이는 개선이 단순히 더 짧은 시퀀스로 학습하는 것이 아니라, 후회/가치에 기반하여 궤적이 어디서 잘리는지에 기인함을 증명했습니다.

중요성과 주장

이 논문은 ESPO 가 LLM 의 장기적 추론을 발전시키기 위한 확장 가능하고 계산 효율적인 프레임워크를 제공한다고 주장합니다. 그 주요 중요성은 다음을 통해 롤아웃 지속 문제를 해결하는 데 있습니다:

1. 회복 불가능한 궤적에 대한 낭비된 계산을 제거합니다.
2. 보조 보상 모델이나 인간 주석 없이 후회 후 노이즈를 제거하여 정책 기울기를 정화합니다.
3. 탐색 유지: 이 방법은 엔트로피 붕괴를 초래하지 않습니다. 사실, 비실패 토큰에 대해 정책을 분포를 좁히도록 강요하는 부당한 기울기 신호를 제거함으로써 PPO 대비 엔트로피 감소 속도를 늦춥니다.

저자들은 "정확하지 않지만 매우 자신감 있는" 모델 (로그 확률 간격이 작은 경우) 에 대한 한계와 잘라내기 비율에 대한 수동 하이퍼파라미터 튜닝의 필요성을 지적하며, 적응형 메커니즘과 멀티턴 에이전트 환경으로의 확장에 대한 향후 작업을 제안합니다.