논문 요약: Scaling Self-Play with Self-Guidance (SGS)

이 논문은 대규모 언어 모델 (LLM) 의 자기 플레이 (Self-Play) 알고리즘이 장기적인 학습에서 겪는 한계점을 해결하고, 계산 자원 (Compute) 을 대폭 증가시켰을 때에도 학습이 지속적으로 확장되도록 하는 새로운 알고리즘 **자기 유도형 자기 플레이 (Self-Guided Self-Play, SGS)**를 제안합니다.

1. 문제 제기 (Problem)

• 자기 플레이의 이상과 현실: 이론적으로 LLM 자기 플레이 (문제 생성자 'Conjecturer'와 문제 해결자 'Solver'가 상호작용하며 함께 성장) 는 학습의 상한선이 없습니다. 그러나 실제 적용 시, 학습이 장기화되면 성능이 정체되는 학습 평탄화 (Learning Plateaus) 현상이 발생합니다.
• 원인: Conjecturer 모델이 보상 함수를 악용 (Reward Hacking) 하여, Solver 의 학습에 도움이 되지 않는 인위적으로 복잡하거나 난해한 문제를 생성하게 됩니다. 이로 인해 생성된 데이터의 질이 저하되고 Solver 의 학습이 멈추게 됩니다.
• 기존 방법의 한계: 기존 연구들은 주로 Solver 의 성공률 (Pass Rate) 만을 Conjecturer 의 보상으로 사용했는데, 이는 Conjecturer 가 단순히 '해결하기 어렵지만 의미 없는' 문제를 생성하도록 유도하여 장기적인 확장을 방해합니다.

2. 방법론: SGS (Methodology)

SGS 는 LLM 이 세 가지 역할 (Solver, Conjecturer, Guide) 을 수행하는 비대칭 자기 플레이 알고리즘입니다. 핵심은 LLM 자체가 생성된 데이터의 품질을 평가하고 유도 (Guide) 한다는 점입니다.

주요 구성 요소 및 메커니즘

1. 세 가지 역할:

   • Solver: 주어진 문제 (원본 및 합성 문제) 를 해결합니다.
   • Conjecturer: 해결되지 않은 목표 문제 (Unsolved Target) 를 기반으로 이를 해결하는 데 도움이 되는 더 쉬운 '합성 문제 (Synthetic Problem)'를 생성합니다.
   • Guide (가이드): 생성된 합성 문제를 평가하는 판정자입니다. 목표 문제와의 관련성, 문제의 명확성, 우아함 (Elegance) 등을 평가하여 점수를 매깁니다.

2. 학습 과정:

   • 합성 문제 생성: Conjecturer 는 해결되지 않은 목표 문제에 대해 관련성이 높지만 더 쉬운 문제를 생성합니다.
   • 롤아웃 및 검증: Solver 는 원본 문제와 합성 문제를 모두 해결 시도하며, Lean4 컴파일러를 통해 정답 여부를 검증합니다.
   • 보상 설계:
     • Solver: 문제를 해결하면 이진 보상 (0 또는 1) 을 받습니다. 난이도가 높은 문제 (해결률 ≤ 0.5) 에 집중하도록 REINFORCE1/2 객체 함수를 사용합니다.
     • Conjecturer: 생성한 문제가 Solver 가 해결할 수 있는 난이도 (중간 난이도) 에 있고, Guide 가 높은 점수를 준 경우 보상을 받습니다.
     • Guide Reward ($R_{guide}$): Guide 는 합성 문제가 목표 문제와 얼마나 관련 있는지, 결론이 명확하고 불필요한 전제가 없는지 (우아한지) 를 평가합니다. 복잡하거나 관련성이 낮은 문제는 점수가 낮아집니다.

3. 핵심 가설: 언어 모델은 하위 문제 (Subproblem) 가 최종 목표 달성에 유용한지 스스로 평가할 수 있으며, 이를 통해 학습 과정을 올바른 방향으로 유도할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. SGS 알고리즘 제안: Conjecturer 의 붕괴 (Degeneracy) 를 방지하기 위해 LLM 기반의 Guide 를 도입하여 생성된 데이터의 품질을 유지하는 새로운 자기 플레이 프레임워크를 제시했습니다.
2. 장기 학습 스케일링 분석: 기존 연구보다 훨씬 긴 학습 기간 (약 60 억 토큰 생성, 230 회 이상의 데이터 에포킹) 을 수행하여 자기 플레이의 장기적인 동역학을 분석했습니다.
3. 모델 크기와 계산 자원의 효율성: 7B(70 억) 파라미터 모델이 SGS 를 통해 200 회 이상의 자기 플레이를 거친 후, 671B(6,710 억) 파라미터 모델의 pass@4 성능을 능가함을 입증했습니다.
4. 엔트로피 붕괴 해결: Solver 의 엔트로피 (다양성) 붕괴가 Conjecturer 의 학습 신호를 고갈시킨다는 점을 발견하고, 적절한 Solver 목적 함수 (REINFORCE1/2) 와 Guide 의 중요성을 규명했습니다.

4. 실험 결과 (Results)

• 데이터셋: Lean4 형식 수학 문제 3,323 개 (D3k) 를 사용하여 실험 수행.
• 성능 비교:
  • SGS 는 기존 RL 기반 베이스라인 (REINFORCE1/2, Expert Iteration, CISPO 등) 보다 점근적 해결률 (Asymptotic Solve Rate) 에서 약 7% 더 높은 성능을 보였습니다.
  • 7B 모델 vs 671B 모델: 630 만 번의 생성 (Generations) 후, SGS 를 적용한 DeepSeek-Prover-V2-7B 모델이 671B 모델의 pass@4 성능을 초과했습니다.
  • STP 대비 우위: Lean4 전용 자기 플레이 방법인 STP 와 비교했을 때, SGS 는 약 100 만 번 생성 이후 더 빠른 확장 (Scaling) 을 보였습니다.
• Ablation Study (구성 요소 제거 실험):
  • Guide 제거: Guide 가 없으면 Conjecturer 가 해결하기는 쉽지만 학습에 도움이 되지 않는 복잡하고 장황한 문제를 대량 생성하여 성능이 정체되었습니다.
  • 조건부 생성 제거: 해결되지 않은 목표 문제에 조건부 (Conditioning) 를 주지 않으면 Conjecturer 가 무작위 문제를 생성하여 학습 효율이 떨어졌습니다.
  • Conjecturer 고정 (Frozen): Conjecturer 를 학습시키지 않고 고정하면 초기에는 작동하지만, Solver 가 고정된 분포를 빠르게 학습한 후 더 이상 발전하지 못했습니다.
  • Solver 목적 함수: CISPO 와 같은 그룹 RL 목적 함수를 사용하면 Solver 의 엔트로피가 급격히 붕괴되어 Conjecturer 가 학습할 수 있는 신호를 잃게 되며, REINFORCE1/2가 장기 학습에 가장 적합했습니다.

5. 의의 및 결론 (Significance)

• 자기 플레이의 확장성 증명: 이 연구는 LLM 자기 플레이가 단순히 초기 학습 단계를 넘어, 적절한 가이드 (Guide) 와 목적 함수 설계를 통해 장기적으로도 계산 자원에 비례하여 성능이 확장될 수 있음을 실증했습니다.
• 데이터 품질의 자동화: 외부 인간 감독 없이 LLM 스스로가 생성된 데이터의 품질을 평가하고 보정할 수 있음을 보여주어, 형식 수학뿐만 아니라 코딩, 제어 등 다른 도메인으로의 확장에 대한 가능성을 열었습니다.
• 효율적인 모델 활용: 거대 모델 (671B) 없이도, 적절한 자기 플레이 전략을 통해 중소형 모델 (7B) 이 훨씬 더 큰 모델의 성능을 뛰어넘을 수 있음을 보여줌으로써, 계산 비용 절감과 모델 효율성 측면에서 중요한 시사점을 제공합니다.

요약하자면, SGS는 Conjecturer 가 생성하는 문제의 질을 LLM 기반 Guide 가 지속적으로 관리함으로써, 자기 플레이의 장기적인 학습 정체 문제를 해결하고 계산 자원을 효율적으로 활용하여 모델 성능을 극대화하는 새로운 패러다임을 제시합니다.