EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget

1. 문제 정의 (Problem Statement)

이 논문은 대규모 언어 모델 (LLM) 을 위한 **검증 가능한 보상 강화 학습 (RLVR)**의 핵심적인 한계인 탐색 (Exploration) 과 활용 (Exploitation) 의 균형 문제에 초점을 맞추고 있습니다.

• 엔트로피 붕괴 (Entropy Collapse): 현재 GRPO(Group Relative Policy Optimization) 와 같은 RLVR 방법은 고보상 경로를 과도하게 활용 (Exploitation) 하려는 경향이 있어, 정책의 엔트로피가 급격히 감소합니다. 이는 모델이 특정 지배적인 행동 모드 (Dominant Mode) 에만 집중하게 만듭니다.
• 자기 강화 루프 (Self-Reinforcing Loop): 모델이 특정 지배적인 모드를 샘플링하고 긍정적인 보상을 받으면, 정책은 해당 모드의 확률을 더욱 증폭시키고 대안적인 경로를 억제합니다. 이는 엔트로피 붕괴를 가속화합니다.
• 일반화 능력 저하: 엔트로피가 감소하면 훈련 데이터 분포에 과적합 (Overfitting) 되는 경향이 강해져, 훈련 데이터 내에서는 성능이 향상되지만 분포 외 (OOD, Out-of-Distribution) 벤치마크에서는 성능이 급격히 떨어집니다.
• 기존 방법의 한계: 샘플링 온도 (Temperature) 증가나 엔트로피 정규화 (Entropy Regularization) 와 같은 기존 탐색 강화 기법들은 전체 분포를 균일하게 만들 뿐, 지배적인 모드의 확률 질량을 효과적으로 줄이지 못해 자기 강화 루프를 끊지 못합니다.

2. 제안 방법: EEPO (Exploration-Enhanced Policy Optimization)

저자들은 샘플 - 후 - 잊기 (Sample-then-Forget) 메커니즘을 도입하여 롤아웃 (Rollout) 과정에서 지배적인 모드의 반복 샘플링을 방지하는 EEPO를 제안합니다.

핵심 메커니즘: 2 단계 롤아웃 및 적응적 망각

GRPO 의 고정된 롤아웃 모델을 두 단계로 나누고, 그 사이에 경량화된 망각 (Unlearning) 단계를 삽입합니다.

1. 1 단계 샘플링: 현재 롤아웃 모델 ($\pi_{rollout}$) 로부터 $G/2$개의 궤적 (Trajectories) 을 생성합니다.
2. 적응적 망각 (Adaptive Unlearning):
   • 트리거 조건: 정책의 엔트로피가 임계값 ($\alpha$) 이하로 떨어질 때만 망각을 활성화합니다 (엔트로피가 높을 때는 개입하지 않음).
   • 보완적 손실 함수 (Complementary Loss): 기존 NLL(음의 로그 가능도) 은 저확률 토큰을 더 강하게 패널티 주지만, EEPO 는 고확률 (지배적) 토큰을 더 강하게 패널티 주는 손실 함수 ($L_{Comp} = \log(1 - p_{clip})$) 를 사용합니다. 이를 통해 지배적인 모드의 확률을 인위적으로 낮춥니다.
   • 단일 단계 업데이트: 망각은 정책 최적화 (Policy Optimization) 와 분리된 롤아웃 모델 ($\pi_{rollout}$) 에만 적용되며, 1 회 그라디언트 업데이트로만 이루어집니다. 이는 해당 반복 (Iteration) 동안만 유효한 일시적 효과입니다.
3. 2 단계 샘플링: 망각된 모델을 사용하여 나머지 $G/2$개의 궤적을 생성합니다. 이 단계에서는 지배적 모드가 억제되었으므로, 이전에 탐색되지 않았던 다른 영역 (Alternative Modes) 에서 샘플링될 가능성이 높아집니다.
4. 정책 업데이트: 두 단계에서 수집된 총 $G$개의 궤적에 대해 표준 GRPO 목적 함수를 사용하여 정책 모델을 업데이트합니다.

디자인 특징

• 표적성 (Targeted): 엔트로피가 낮아질 때만 작동하여 건강한 탐색을 방해하지 않습니다.
• 경량화 (Lightweight): 정책 학습을 중단시키지 않고 롤아웃 모델에만 일시적으로 적용됩니다.
• 비편향성 (Unbiased): 그라디언트 추정은 여전히 롤아웃 모델의 확률을 분모로 사용하여 편향을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 (EEPO): RLVR 의 엔트로피 붕괴 문제를 해결하기 위해, 롤아웃 과정에 '샘플 - 후 - 잊기' 메커니즘을 도입한 새로운 정책 최적화 프레임워크를 제안했습니다.
2. 자기 강화 루프 차단: 지배적인 행동 모드가 반복적으로 샘플링되는 것을 방지하여, 모델이 대안적이고 잠재적으로 더 우수한 추론 전략을 발견할 수 있도록 유도합니다.
3. 적응적 망각 전략: 엔트로피 기반 게이트, 보완적 손실 함수, 단일 단계 업데이트라는 세 가지 설계를 통해 RL 탐색에 최적화된 망각 기법을 구체화했습니다.
4. 광범위한 실험 검증: 3 개의 다른 LLM(Qwen2.5-3B, Llama3.2-3B-Instruct, Qwen3-8B-Base) 과 5 개의 수학 추론 벤치마크 (Minerva, OlympiadBench, AMC, AIME 등) 에서 효과를 입증했습니다.

4. 실험 결과 (Results)

EEPO 는 다양한 모델과 벤치마크에서 기존 GRPO 및 다른 탐색 강화 기법들을 일관되게 능가했습니다.

• 성능 향상 (평균 상대적 개선):
  • Qwen2.5-3B: GRPO 대비 24.3% 향상 (평균 정확도 21.0% → 26.1%).
  • Llama3.2-3B-Instruct: GRPO 대비 33.0% 향상 (17.6% → 23.4%).
  • Qwen3-8B-Base: GRPO 대비 10.4% 향상 (34.7% → 38.3%).
• 일반화 능력: OOD 벤치마크 (예: AMC 2023) 에서 기존 방법들이 성능이 정체되거나 하락하는 반면, EEPO 는 지속적인 성능 향상을 보였습니다. 이는 엔트로피 붕괴를 막고 일반화 가능한 추론 패턴을 발견했기 때문입니다.
• Pass@k 스케일링: 샘플링 예산이 증가함에 따라 EEPO 는 더 큰 Pass@k 개선을 보여주었습니다.
• 학습 효율성: EEPO 는 GRPO 와 유사한 학습 시간을 유지하며, 고온 (High Temperature) 샘플링이나 추가 롤아웃 (More Rollouts) 기법들보다 훨씬 효율적이었습니다. (고온 기법은 긴 응답 길이로 인해 학습 시간이 30% 이상 증가함).

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 RLVR 분야에서 탐색과 활용의 딜레마를 해결하기 위한 혁신적인 접근법을 제시합니다.

• 전략적 탐색: 무작위성 (Randomness) 을 단순히 증가시키는 대신, 지배적인 모드를 의도적으로 억제하여 **전략적 탐색 (Strategic Exploration)**을 가능하게 합니다.
• 실용성: 복잡한 가치 함수나 추가적인 모델 학습 없이도, 기존 GRPO 파이프라인에 쉽게 통합될 수 있으며 계산 오버헤드가 거의 없습니다.
• 영향: EEPO 는 LLM 의 추론 능력을 향상시키고, 특히 수학 및 논리적 추론과 같은 검증 가능한 도메인에서 모델의 일반화 능력을 극대화하는 데 중요한 기여를 할 것으로 기대됩니다.

결론적으로, EEPO 는 "샘플 - 후 - 잊기" 메커니즘을 통해 RLVR 의 엔트로피 붕괴 문제를 효과적으로 해결하고, 모델이 더 다양하고 강력한 추론 전략을 학습할 수 있도록 돕는 실용적이고 강력한 방법론입니다.