Learning to Self-Evolve

Título: Learning to Self-Evolve (LSE): Um Framework de Aprendizado por Reforço para Evolução de Contexto em Tempo de Teste

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) atuais possuem pipelines de treinamento onde o aprendizado ocorre durante a fase de pós-treinamento (ex: RLHF), mas param assim que o modelo é implantado. No momento de uso (tempo de teste), o modelo aplica a mesma política estática, independentemente de quantos problemas resolveu, descartando toda a experiência acumulada assim que o contexto é resetado.

Existe uma lacuna entre a implantação estática e a adaptação dinâmica. Embora existam métodos de "evolução em tempo de teste" (onde o modelo tenta melhorar seu próprio prompt ou contexto baseado em feedback), as abordagens existentes dependem inteiramente da capacidade de raciocínio inerente do modelo para analisar o feedback e propor melhorias. O modelo nunca é explicitamente treinado para a tarefa de auto-evolução, tratando-a apenas como uma habilidade emergente não otimizada.

2. Metodologia: Learning to Self-Evolve (LSE)

O LSE propõe tratar a auto-evolução como uma habilidade aprendível, utilizando um framework de Aprendizado por Reforço (RL) para treinar explicitamente uma política de auto-evolução.

A. Definição do Problema (Evolução Inter-episódica)
O foco é na evolução inter-episódica e baseada em prompts: o modelo observa seu desempenho em um lote de problemas e reescreve seu próprio contexto (prompt) para melhorar no próximo lote, mantendo os parâmetros do modelo de ação congelados.

B. Otimização via RL de Passo Único
Em vez de otimizar uma trajetória complexa de múltiplos passos (o que é computacionalmente caro e difícil de atribuir crédito), o LSE reduz o problema a um objetivo de passo único:

1. Entrada: O modelo recebe o contexto atual ($c_0$) e um resumo de desempenho ($S_0$) de um lote de problemas.
2. Ação: O modelo gera um novo contexto ($c_1$).
3. Recompensa: A recompensa não é a pontuação absoluta final, mas sim a melhoria de desempenho ($r_{LSE} = \bar{R}(c_1) - \bar{R}(c_0)$).
   • Isso incentiva o modelo a fazer edições que realmente melhoram o desempenho em relação ao ponto de partida, evitando o viés de apenas preservar contextos que já funcionam bem.
   • Matematicamente, isso permite usar o pré-editamento como uma linha de base (baseline) perfeita, eliminando a necessidade de estimadores de valor complexos.

C. Loop de Evolução Guiado por Árvore (Tree-Guided Evolution)
Para evitar que o modelo fique preso em um caminho de evolução subótimo (devido a uma edição ruim), o sistema utiliza uma busca em árvore no tempo de teste:

• Mantém uma árvore de evolução onde cada nó representa um contexto, um resumo de desempenho e uma recompensa média.
• Utiliza o critério Upper Confidence Bound (UCB) para selecionar qual nó (contexto) expandir a seguir.
• Isso permite que o sistema "volte atrás" (backtrack) e explore ramos promissores descobertos anteriormente, em vez de seguir cegamente a última edição feita.

3. Contribuições Principais

1. Formalização: Define a evolução auto-dirigida inter-episódica baseada em prompts e a operacionaliza através de atualizações de contexto guiadas por busca em árvore.
2. Framework LSE: Propõe um método de RL que treina explicitamente a política de auto-evolução usando uma recompensa baseada em melhoria (diferença de desempenho), em vez de pontuação absoluta.
3. Desempenho e Transferência: Demonstra que um modelo pequeno (4B parâmetros) treinado com LSE supera modelos fronteira não treinados (como GPT-5 e Claude Sonnet 4.5) e métodos de otimização de prompt existentes (GEPA, TextGrad). Além disso, a política treinada transfere-se para guiar outros modelos sem necessidade de retreinamento.

4. Resultados Experimentais

Os autores avaliaram o LSE em duas tarefas principais: Geração de Text-to-SQL (dataset BIRD) e Resposta a Perguntas Gerais (MMLU-Redux).

• Comparação com Modelos Fronteira:
  • No dataset BIRD, o modelo Qwen3-4B treinado com LSE alcançou 67.3% de precisão, superando o GPT-5 (65.2%) e o Claude Sonnet 4.5 (64.5%).
  • No MMLU-Redux, o LSE alcançou 73.3%, empatando com o GPT-5 (72.5%) e superando o Claude Sonnet 4.5.
• Comparação com Métodos de Otimização de Prompt:
  • O LSE superou consistentemente o GEPA e o TextGrad em ambas as tarefas, demonstrando que o treinamento explícito supera a otimização baseada apenas em raciocínio emergente.
• Transferência para Modelos Especializados:
  • Ao aplicar a política LSE treinada (Qwen3-4B) para guiar um modelo especializado em SQL (Arctic-Text2SQL-R1-7B), houve uma melhoria de 6.7% na precisão, provando que a estratégia de evolução é transferível entre diferentes arquiteturas de modelos.
• Ablação:
  • A recompensa baseada em melhoria ($\bar{R}(c_1) - \bar{R}(c_0)$) foi superior à recompensa baseada apenas na pontuação pós-edição.
  • A busca em árvore (UCB) superou a evolução em cadeia linear, permitindo recuperação de edições ruins e evitando ótimos locais.

5. Significado e Conclusão

O trabalho demonstra que a auto-evolução é uma habilidade aprendível que pode ser otimizada diretamente através de ajuste fino (fine-tuning) com RL.

• Mudança de Paradigma: Em vez de depender da capacidade de raciocínio bruta de modelos gigantes para se auto-corrigir, é mais eficiente treinar explicitamente uma política para realizar essa tarefa de melhoria de contexto.
• Eficiência: Um modelo pequeno e barato (4B parâmetros), quando treinado com LSE, pode superar modelos proprietários massivos e caros em tarefas de adaptação dinâmica.
• Complementaridade: A evolução de prompts (nível de contexto) complementa o treinamento de parâmetros (nível de pesos), permitindo que modelos especializados se adaptem a novos domínios ou variações de dados no momento da inferência.

Em suma, o LSE transforma a adaptação em tempo de teste de um processo passivo e dependente de "intuição" do modelo para um processo ativo, otimizado e aprendível.