Scaling Self-Play with Self-Guidance

Título: Scaling Self-Play with Self-Guidance (SGS)

Autores: Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma (Stanford University)
Domínio de Aplicação: Prova de Teoremas Formais (Lean4)

---

1. O Problema

Algoritmos de Auto-Jogo (Self-Play) assimétrico para Grandes Modelos de Linguagem (LLMs) são teoricamente promissores porque permitem que um modelo (o "Conjecturador") crie problemas para outro (o "Solver"), e ambos melhorem conjuntamente sem limites externos de aprendizado. No entanto, na prática, os métodos existentes falham ao escalar com grandes quantidades de computação, atingindo platôs de aprendizado.

O artigo identifica a causa raiz desse fenômeno:

• Colapso do Conjecturador: Ao longo de treinamentos longos, o Conjecturador aprende a "hackear" a função de recompensa. Em vez de criar problemas úteis, ele gera problemas artificialmente complexos, desajeitados ou que não ajudam o Solver a progredir, apenas para maximizar a taxa de sucesso momentânea.
• Colapso de Entropia do Solver: Se o Solver se torna muito determinístico (entropia baixa), ele resolve rapidamente a distribuição de problemas fixa, privando o Conjecturador de sinais de treinamento, o que leva ao estagnamento do sistema.

O objetivo central é: Dado um conjunto fixo de problemas difíceis, como escalar o auto-jogo para resolver o máximo possível deles, evitando esses colapsos?

---

2. Metodologia: Auto-Jogo Guiado por Si Mesmo (SGS)

Os autores propõem o SGS (Self-Guided Self-Play), um algoritmo onde o mesmo modelo de linguagem assume três papéis distintos:

1. Solver ($\pi_\theta$): Tenta resolver problemas originais e sintéticos.
2. Conjecturador ($g_\phi$): Gera problemas sintéticos (subproblemas) baseados em problemas-alvo não resolvidos.
3. Guia ($\rho$): Um avaliador (LLM) que pontua a qualidade dos problemas sintéticos gerados.

Mecanismos Principais:

• Geração de Dados Sintéticos: Para cada problema não resolvido $x$, o Conjecturador gera um problema sintético $\tilde{x}$ que é conceitualmente relacionado, mas mais simples.
• Recompensa Híbrida para o Conjecturador: O Conjecturador não é recompensado apenas pela dificuldade do problema, mas por uma combinação de:
  1. Sinal de Dificuldade ($R_{solve}$): Baseado na taxa de resolução do Solver. Problemas muito fáceis (top 30%) ou impossíveis (taxa 0) recebem recompensa zero. O objetivo é manter problemas de dificuldade intermediária.
  2. Recompensa do Guia ($R_{guide}$): O modelo Guia avalia se o problema sintético é relevante para o problema original e se é elegante (claro, sem premissas redundantes, conclusões não excessivamente complexas). Problemas "hackeados" (complexos e desajeitados) recebem pontuação baixa.
• Atualização do Solver: O Solver é atualizado usando um objetivo de RL focado em problemas difíceis (taxa de resolução $\leq 0.5$) para evitar desperdício de gradiente em problemas já dominados.

Hipótese Central:

Modelos de linguagem podem avaliar se um subproblema é útil para alcançar um objetivo final, servindo como uma métrica de qualidade de dados interna para guiar o aprendizado.

---

3. Contribuições Chave

1. Algoritmo SGS: Introdução de um mecanismo de "auto-guia" onde o próprio modelo atua como juiz para prevenir a degeneração dos dados sintéticos gerados.
2. Análise de Escala Longa: Execução de treinamentos significativamente mais longos (mais de 6 bilhões de tokens, 230 épocas sobre os dados) do que trabalhos anteriores, permitindo a observação de dinâmicas de longo prazo e o ajuste de leis de escala.
3. Superioridade sobre Baselines: Demonstração de que o SGS supera métodos de RL padrão e outras abordagens de auto-jogo em taxa de resolução assintótica.
4. Eficiência de Modelo: Evidência de que um modelo menor (7B) treinado com SGS pode superar o desempenho de um modelo muito maior (671B) em tarefas de prova de teoremas.

---

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados D3k (3.323 problemas de matemática formal em Lean4).

• Desempenho Assintótico: O SGS alcançou uma taxa de resolução cumulativa assintótica 7% maior do que a melhor linha de base de RL (REINFORCE1/2).
• Comparação de Tamanho de Modelo:
  • Um modelo DeepSeek-Prover-V2-7B treinado com SGS superou a métrica pass@4 do modelo DeepSeek-Prover-V2-671B (671 bilhões de parâmetros) após apenas 6,3 milhões de gerações.
  • O SGS permitiu que o modelo 7B resolvesse mais problemas do que o modelo 671B passivo.
• Ablações e Análise de Componentes:
  • Sem Guia: Sem o componente Guia, o Conjecturador colapsou para gerar problemas com conclusões longas, complexas e cheias de disjunções (OR), que eram fáceis de gerar mas inúteis para o aprendizado. A taxa de resolução assintótica caiu de 67,1% para 65,5%.
  • Sem Condicionamento: Treinar o Conjecturador sem condicioná-lo a problemas não resolvidos não gerou melhoria sobre a linha de base.
  • Conjecturador Congelado: Congelar o Conjecturador (sem atualizá-lo) levou a um desempenho inferior, pois o Solver saturou rapidamente a distribuição fixa de problemas.
• Estabilidade de Entropia: O uso do objetivo REINFORCE1/2 para o Solver manteve a entropia estável, permitindo que o Conjecturador continuasse a aprender. Métodos como CISPO causaram colapso de entropia, parando o aprendizado do Conjecturador.

---

5. Significado e Conclusão

O trabalho demonstra que a escalabilidade do auto-jogo em LLMs depende criticamente da estabilidade das distribuições de ambos o Solver e o Conjecturador.

• Solução para Platôs: O SGS resolve o problema de estagnação ao introduzir um mecanismo de qualidade de dados (o Guia) que impede a geração de "lixo" sintético.
• Mudança de Paradigma: Mostra que LLMs podem ser usados como métricas de qualidade de dados para seus próprios processos de treinamento, reduzindo a necessidade de supervisão humana externa ou funções de recompensa manuais complexas.
• Implicações Futuras: Embora testado em matemática formal (onde a verificação é automática), os autores sugerem que o SGS pode ser estendido para domínios não verificáveis (como controle robótico ou codificação), onde o "Guia" poderia ser um modelo de recompensa aprendido ou um verificador imperfeito.

Em resumo, o SGS estabelece um novo estado da arte para o treinamento de agentes de raciocínio via auto-jogo, provando que, com a arquitetura correta (Guia + Objetivo de Entropia Controlada), é possível extrair aprendizado contínuo e escalável de modelos de linguagem, superando até mesmo modelos muito maiores que não utilizam essa estratégia.