EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget

Título: EEPO: Otimização de Política Aprimorada por Exploração via "Amostrar e Esquecer"

1. O Problema: Colapso de Entropia e Dilema Exploração-Exploração

O artigo identifica um desafio central no Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para Grandes Modelos de Linguagem (LLMs), particularmente em tarefas de raciocínio matemático: o dilema exploração-exploração.

• Colapso de Entropia: Métodos atuais, como o GRPO (Group Relative Policy Optimization), tendem a superexplorar trajetórias de alta recompensa. Isso leva a uma rápida diminuição da entropia da política (a distribuição de saída torna-se determinística), resultando em "colapso de entropia".
• Loop de Reforço Self-Perpetuante: Quando a entropia cai, a política desenvolve crenças confiantes sobre uma única "modo dominante" de resposta. Durante a geração de trajetórias (rollouts), o modelo amostra repetidamente esse modo dominante, recebe feedback positivo e reforça ainda mais essa distribuição, suprimindo alternativas.
• Consequências: Embora a precisão em dados de treinamento (in-distribution) possa aumentar, a capacidade de generalização para dados fora da distribuição (OOD) deteriora-se drasticamente. O modelo entra em ótimos locais e falha em descobrir estratégias de raciocínio alternativas e potencialmente superiores.
• Limitações das Soluções Atuais: Técnicas que aumentam a aleatoriedade indiscriminada (como aumentar a temperatura de amostragem ou regularização de entropia) achatam a distribuição uniformemente, mas não deslocam a massa de probabilidade dos modos dominantes, falhando em quebrar o loop de reforço.

2. Metodologia: EEPO (Exploration-Enhanced Policy Optimization)

Os autores propõem o EEPO, um framework que introduz um mecanismo de "Amostrar e Esquecer" (Sample-Then-Forget) diretamente no processo de geração de trajetórias (rollout) para forçar a exploração de regiões não dominantes.

O processo divide o rollout padrão do GRPO em duas etapas, separadas por uma etapa de "esquecimento" (unlearning):

1. Etapa 1 (Amostragem): O modelo de rollout ($\pi_{rollout}$) gera metade das trajetórias ($G/2$).
2. Etapa de Unlearning (Esquecimento): O modelo sofre uma atualização de gradiente leve e temporária para "esquecer" as trajetórias recém-amostradas.
   • Mecanismo de Ativação Condicional: O unlearning só é ativado se a entropia da política cair abaixo de um limiar ($\alpha$), garantindo que a intervenção ocorra apenas quando a exploração começa a deteriorar-se.
   • Função de Perda Complementar: Em vez de maximizar a verossimilhança (NLL), usa-se uma perda complementar que penaliza tokens de alta probabilidade (os modos dominantes) mais severamente do que os de baixa probabilidade. Isso força o modelo a reduzir a probabilidade das respostas já vistas.
   • Atualização Única: A atualização é feita em um único passo de gradiente no modelo de rollout (sincronizado com o modelo de política no início da iteração), sem alterar os parâmetros permanentes da política de otimização. O efeito é temporário e confinado à fase de rollout.
3. Etapa 2 (Amostragem): O modelo atualizado (agora com a probabilidade dos modos dominantes suprimida) gera a segunda metade das trajetórias ($G/2$).
4. Otimização: Todas as $G$ trajetórias são usadas para calcular vantagens e atualizar a política principal via GRPO padrão.

3. Contribuições Chave

• Mecanismo de "Sample-Then-Forget": Uma abordagem inovadora que interrompe o loop de reforço self-perpetuante ao suprimir temporariamente as respostas mais prováveis durante a geração de dados, forçando o modelo a explorar modos alternativos.
• Intervenção Direta no Rollout: Diferente de modificações no objetivo de treinamento (como ajustar coeficientes de entropia ou clipping), o EEPO atua dinamicamente no processo de amostragem, garantindo que a exploração seja direcionada e não apenas aleatória.
• Desacoplamento de Exploração e Otimização: A técnica permite que o modelo de rollout explore ativamente enquanto o modelo de política foca na maximização da recompensa, mantendo a estabilidade do treinamento.
• Eficiência Computacional: O método adiciona um custo computacional mínimo, pois o unlearning é uma única etapa de gradiente leve e não requer múltiplos rollouts ou modelos adicionais.

4. Resultados Experimentais

O EEPO foi avaliado em cinco benchmarks de raciocínio matemático (Minerva Math, OlympiadBench, AMC 2023, AIME 2024, AIME 2025) usando três modelos LLM distintos (Qwen2.5-3B, Llama3.2-3B-Instruct e Qwen3-8B-Base).

• Desempenho Superior: O EEPO superou consistentemente o GRPO padrão e outras variantes de exploração (temperatura aumentada, regularização de entropia, DAPO, mais rollouts).
  • Qwen2.5-3B: Ganho relativo médio de 24.3%.
  • Llama3.2-3B-Instruct: Ganho relativo médio de 33.0%.
  • Qwen3-8B-Base: Ganho relativo médio de 10.4%.
• Melhoria na Generalização: O método demonstrou melhor desempenho em benchmarks OOD (como AMC 2023), onde o GRPO padrão tendia a estagnar ou declinar devido ao sobreajuste.
• Manutenção da Entropia: As análises mostram que o EEPO mantém níveis de entropia mais altos durante o treinamento, especialmente na Etapa 2, indicando uma exploração bem-sucedida de regiões de baixa densidade de probabilidade.
• Eficiência: O tempo de treinamento do EEPO é comparável ao do GRPO padrão, enquanto métodos baseados em temperatura mais alta ou mais rollouts aumentaram significativamente o tempo de treinamento (até 30% mais lento).

5. Significado e Impacto

O trabalho apresenta uma solução prática e eficaz para o problema de colapso de entropia no RLVR, que é um gargalo crítico para o avanço do raciocínio em LLMs.

• Mudança de Paradigma: Ao invés de tratar a exploração como um problema de ajuste de hiperparâmetros ou ruído aditivo, o EEPO trata a exploração como um processo ativo de supressão de viés de amostragem.
• Escalabilidade: A eficácia do método em modelos de diferentes tamanhos (de 3B a 8B parâmetros) e arquiteturas sugere que é uma técnica robusta e agnóstica ao modelo.
• Aplicabilidade: O framework pode ser integrado a qualquer pipeline de RLVR que utilize amostragem de grupos (como GRPO), oferecendo um caminho para melhorar a capacidade de raciocínio e generalização de modelos sem sacrificar a eficiência computacional.

Em resumo, o EEPO demonstra que "esquecer" temporariamente o que foi recentemente aprendido (ou amostrado) pode ser uma estratégia poderosa para forçar modelos de IA a descobrirem novas e melhores soluções, superando os ótimos locais que limitam o progresso atual.