Resumo Técnico: Aprendizado Rápido e Lento: Rumo a LLMs que se Adaptam Continuamente

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são tipicamente adaptados a tarefas downstream por meio de atualizações de parâmetros, como Ajuste Fino Supervisionado (SFT) ou Aprendizado por Reforço (RL). Embora eficaz, essa abordagem força o modelo a absorver todas as informações específicas da tarefa em um único conjunto persistente de pesos. Isso cria um gargalo fundamental: atualizações que melhoram o desempenho no domínio deslocam simultaneamente o modelo de seu comportamento base, reduzindo a entropia de saída, degradando a generalização fora da distribuição (OOD) e causando "perda de plasticidade"—a incapacidade de se adaptar efetivamente a tarefas futuras. Por outro lado, o aprendizado em contexto (por exemplo, otimização de prompts) permite uma adaptação rápida e barata sem modificar pesos, mas geralmente falha em igualar os tetos de desempenho alcançáveis por meio de atualizações de parâmetros. O artigo argumenta que restringir o aprendizado a mecanismos de contexto ou de pesos é subótimo e que os métodos atuais falham em aproveitar as forças complementares de ambos.

Metodologia: Treinamento Rápido-Lento (FST)

Os autores introduzem o Treinamento Rápido-Lento (FST), um framework que otimiza conjuntamente dois canais de adaptação complementares:

1. Pesos Lentos ($\theta$): Os parâmetros do modelo, atualizados infrequentemente e de forma custosa via Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Estes codificam comportamentos duradouros e persistentes.
2. Pesos Rápidos ($\Phi$): Uma população de contextos textuais (prompts, instruções), atualizados frequentemente e de forma barata via Evolução Reflexiva de Prompts (GEPA). Estes capturam sinais transitórios e específicos da tarefa.

O Loop de Treinamento

O FST intercala dois loops de atualização dentro de ciclos de comprimento $T$:

• Loop Rápido (Otimização de Contexto): Usando a política atual $\pi_\theta$, o sistema gera trajetórias (rollouts). Um LLM de "reflexão" congelado analisa essas trajetórias (incluindo pensamentos, chamadas de ferramentas, erros e feedback) para propor mutações textuais. O GEPA mantém uma população de fronteira de Pareto de $K$ prompts, em vez de um único melhor prompt. Essa população preserva a diversidade, permitindo que diferentes prompts se especializem em diferentes subconjuntos da distribuição de tarefas.
• Loop Lento (Atualização de Parâmetros): A política $\theta$ é atualizada usando Otimização de Política Relativa em Grupo (GRPO) com um objetivo substituto truncado (CISPO). Crucialmente, durante a geração de trajetórias para a atualização de RL, o sistema amostra de toda a população de $K$ prompts rápidos. O cálculo de vantagem normaliza as recompensas em todo o grupo, misturando a variação induzida tanto pelos prompts quanto pelo processo de amostragem.

Essa co-evolução permite que os pesos rápidos absorvam lições específicas da tarefa (por exemplo, heurísticas específicas ou correções de erros) imediatamente, orientando o modelo para um raciocínio melhor. Os pesos lentos então se atualizam sob esse contexto em evolução, impedindo que o modelo se especialize excessivamente em um único prompt estático ou se desvie demais da política base.

Contribuições Principais

1. Integração de Framework: O artigo instância o conceito teórico de pesos rápidos/lentos (originário da neurociência e da literatura inicial de redes neurais) para o pós-treinamento de LLMs, combinando especificamente RLVR para pesos e GEPA para prompts.
2. População de Prompts de Fronteira de Pareto: Diferentemente de trabalhos anteriores que otimizam um único prompt, o FST mantém uma população diversificada de prompts. Isso permite que o agente de RL compare respostas entre diferentes comportamentos de condicionamento dentro do mesmo cálculo de vantagem, fornecendo sinais de gradiente mais ricos.
3. Otimização Intercalada: O método evita o paradigma sequencial "treinar e depois ajustar". Em vez disso, permite que a política e a população de prompts co-evoluam, onde a população de prompts se adapta à política atual, e a política se adapta aos prompts em evolução.

Resultados Experimentais

Os autores avaliam o FST em três domínios de raciocínio: CodeIO (previsão de saída de código), Polaris (matemática) e HoVer-hard (verificação de fatos multi-hop), usando o Qwen3-8B como modelo base.

• Eficiência de Dados: O FST atinge o pico de desempenho em execução do RL padrão em significativamente menos passos: 3,0× menos no CodeIO, 1,4× menos em Matemática e 3,0× menos no HoVer-hard.
• Assíntota de Desempenho: O FST consistentemente atinge um teto de desempenho mais alto do que o RL sozinho. Por exemplo, no HoVer-hard, a assíntota ajustada melhora de 17,3% (RL) para 25,0% (FST).
• Redução de Desvio do Modelo: Em níveis de recompensa correspondentes, os modelos treinados com FST exibem até 70% de divergência KL menor em relação à política base em comparação com modelos apenas de RL. Isso indica que os pesos lentos permanecem mais próximos da configuração base.
• Plasticidade Preservada: Em um experimento de treinamento em duas fases (treinando na Tarefa X, depois na Tarefa Y), os modelos iniciados pelo FST mantêm a capacidade de aprender a Tarefa Y efetivamente. Em contraste, modelos apenas de RL frequentemente colapsam para desempenho próximo de zero na segunda tarefa, demonstrando perda severa de plasticidade.
• Aprendizado Contínuo: Em um cenário onde domínios de tarefa alternam a cada 200 passos, o FST se adapta rapidamente a novos objetivos, enquanto modelos apenas de RL estagnam ou falham em adquirir novas tarefas após a inicial.
• Análise de Mecanismos:
  • Observação 1: Os pesos rápidos adquirem sinais de tarefa muito mais rápido do que os pesos lentos. Em uma tarefa sintética de grafo estrela, o FST alcançou recompensas mensuráveis por volta do passo ~50, impulsionado pela evolução de prompts, enquanto o RL-only permaneceu próximo de zero até o passo ~300.
  • Observação 2: O teto de desempenho é elevado porque ambos os canais otimizam para recompensa. Destilar os pesos rápidos nos pesos lentos (FST-distill) melhora o desempenho sobre métodos apenas de prompts, mas falha em atingir o teto da abordagem conjunta FST, confirmando que ambos os componentes são necessários para o desempenho máximo.

Significado e Alegações

O artigo alega que o pós-treinamento eficaz de LLMs não deve ser visto como aprendizado de parâmetros seguido de ajuste de prompts, mas sim como otimização sobre múltiplos canais de adaptação.

• Divisão de Trabalho: Ao rotear melhorias específicas da tarefa e de rápida evolução através de pesos textuais rápidos, os pesos paramétricos lentos são liberados para consolidar comportamentos de raciocínio persistentes e gerais.
• Aprendizado Contínuo: Essa divisão de trabalho oferece um caminho para métodos de pós-treinamento que são mais eficientes em dados, menos destrutivos (menor desvio KL) e mais adequados ao aprendizado contínuo, abordando o fenômeno de "perda de plasticidade" observado no aprendizado contínuo profundo.
• Eficiência de Informação: O framework aproveita feedback textual rico (pensamentos, erros) na atualização de contexto, superando o limite de informação de "1 bit por episódio" frequentemente associado a recompensas binárias de RLVR.

Os autores concluem que o FST representa uma direção promissora para modelos de raciocínio, sugerindo que nem todas as informações específicas da tarefa precisam ser destiladas nos pesos do modelo, e que manter uma separação entre conhecimento declarativo (prompt) e procedimental (peso) é crucial para raciocinadores de propósito geral.