Resumo Técnico: Self-Play Meets Skill Evolution (SESA)

Declaração do Problema

As abordagens atuais para o treinamento de agentes de Grandes Modelos de Linguagem (LLMs) enfrentam uma dicotomia entre self-play e aprendizado por reforço aumentado por habilidades (RL), ambos os quais sofrem de limitações significativas:

• Self-Play (ex: SSP): Os agentes geram seus próprios problemas de treinamento sem conjuntos de dados externos, permitindo uma dificuldade adaptativa. No entanto, a experiência de aprendizado é transitória; as falhas contribuem para os gradientes de política, mas são descartadas posteriormente, não deixando um registro explícito e reutilizável das estratégias aprendidas.
• RL Aumentado por Habilidades: Os agentes utilizam bancos de memória externos para armazenar conhecimento procedural (habilidades) derivado da experiência. Contudo, essas habilidades são tipicamente destiladas de conjuntos de dados fixos ou currículos desenhados à mão, o que significa que o agente lembra de lições de tarefas que ele não escolheu, em vez de evoluir seu próprio currículo.

O problema central é a falta de um agente que possa simultaneamente escolher sua própria fronteira de prática (via self-play) e reter lições de suas próprias falhas (via memória de habilidade persistente) para criar um processo de aprendizado acoplado e coevolutivo.

Metodologia: SESA (Self-Evolving Skill-Augmented Agent)

O SESA introduz um framework de ciclo fechado que integra a evolução de habilidades online ao self-play de busca aumentada por ferramentas. O sistema emprega um desafiador (propositor) e um resolvedor (aprendiz) com uma memória de habilidade não paramétrica compartilhada ($B$).

Arquitetura Central

1. Self-Play Assimétrico: O sistema utiliza políticas parametrizadas separadamente. O desafiador propõe perguntas com alvos verificáveis. O resolvedor tenta responder utilizando uma ferramenta de busca. Crucialmente, apenas o resolvedor tem acesso para recuperar habilidades do banco de memória; o desafiador não possui esse acesso. Isso evita o vazamento de estratégias de solução para a geração de perguntas, preservando um jogo assimétrico.
2. Ciclo de Treinamento de Quatro Estágios:
   • Priming de Memória: O banco de habilidades é inicializado com uma mistura de habilidades escritas à mão e habilidades deduplicadas mineradas de uma fase inicial de bootstrap, fornecendo um substrato de recuperação inicial.
   • Modelagem de Fronteira: Para garantir que o aprendizado ocorra em problemas solucionáveis, mas desafiadores, a recompensa do desafiador é moldada usando uma função em forma de sino. Ela penaliza perguntas triviais (sempre solucionáveis) e insolúveis (sempre falhas), direcionando o desafiador a gerar problemas próximos à fronteira de competência atual do resolvedor.
   • Destilação de Falhas: Quando o resolvedor falha em um problema de fronteira, a falha não é descartada. Em vez disso, ela é destilada em um "Cartão de Habilidade" legível por humanos contendo:
     • Descrição ($u$)
     • Condições de gatilho ($c$)
     • Dicas de prevenção/anti-padrões ($a$)
     • Templates de consulta reutilizáveis ($z$)
     • Metadados de manutenção ($m$)
       Essas habilidades são deduplicadas (usando limiares de similaridade de cosseno) e escritas de volta no banco de memória.
   • Recuperação do Resolvedor: Em rodadas subsequentes, o resolvedor recupera habilidades relevantes do banco para condicionar sua estratégia de busca. Isso altera a distribuição da trajetória on-policy, permitindo que o gradiente de política internalize as lições de falhas passadas.

Reuso de Via Dupla

O SESA suporta dois modos de implantação, permitindo o isolamento dos efeitos de aprendizado:

• SESA-Off (Sem Memória): O resolvedor treinado é implantado sem recuperar do banco. Qualquer ganho de desempenho aqui representa carryover paramétrico, provando que o treinamento condicionado pela habilidade alterou os pesos internos do modelo.
• SESA-On (Com Memória): O resolvedor treinado utiliza o banco de habilidades final durante a inferência. A diferença entre SESA-On e SESA-Off isola o valor da recuperação em tempo de inferência.

Principais Contribuições

1. Autoevolução Acoplada: O artigo une a geração endógena de problemas com a consolidação de memória de habilidade. O agente escolhe sua própria fronteira de prática e retém lições de suas próprias falhas, criando um loop de feedback onde a geração de tarefas e a memória procedural coevoluem.
2. O Loop SESA: Um mecanismo inovador onde a recuperação exclusiva do resolvedor, a modelagem de fronteira e a destilação de falhas online alimentam habilidades reutilizáveis de volta ao self-play sem vazar memória para o desafiador.
3. Avaliação de Via Dupla: Os autores fornecem um protocolo de avaliação controlado, separando o carryover paramétrico dos ganhos de recuperação em tempo de inferência através de múltiplos benchmarks de busca e famílias de modelos.

Resultados Experimentais

Os autores avaliaram o SESA em 3.125 perguntas de teste em sete benchmarks de resposta a perguntas de domínio aberto e multi-salto (incluindo Natural Questions, HotpotQA e Bamboogle) usando vários backbones (Qwen3, Qwen2.5, LLaMA-3.1 e Search-R1).

• Ganhos de Desempenho: Em sete benchmarks, o SESA melhorou a precisão média sobre o baseline de Self-Play (SSP) padrão em 1,2–3,2 pontos através de múltiplos backbones.
  • No Qwen3-4B, o SESA melhorou o SSP em 2,3 pontos.
  • No Qwen3-8B, a melhoria foi de 3,2 pontos.
  • No LLaMA-3.1-8B, a melhoria foi de 1,2 pontos.
• Ganho Paramétrico vs. Recuperação:
  • SESA-Off (treinado com memória, implantado sem) reteve 1,8–2,2 pontos de melhoria sobre o SSP, demonstrando que o treinamento condicionado por habilidade internalizou com sucesso as capacidades nos parâmetros do modelo.
  • SESA-On (implantado com memória) adicionou mais 0,5–1,0 pontos sobre o SESA-Off, mostrando o valor opcional do banco externo.
• Comparação com SkillRL: Sob um protocolo de avaliação unificado, o SESA superou o baseline SkillRL (que aprende de distribuições fixas) em 0,9 pontos, indicando que o acoplamento da evolução de habilidades a uma fronteira de tarefa endógena fornece valor adicional.
• Ablação de Componentes: Remover a destilação de falhas causou a maior queda de desempenho (2,7 pontos), confirmando que persistir lições de falhas é o componente mais crítico. Remover a modelagem de fronteira causou uma queda de 2,2 pontos, destacando a importância de concentrar o aprendizado na fronteira de competência.

Significância e Alegações

O artigo afirma que evoluir a memória de habilidade não é meramente um plug-in de tempo de inferência. Em vez disso, isso altera fundamentalmente o aprendizado da política e a futura distribuição de treinamento.

• Estado de Treinamento vs. Prompt de Inferência: Ao destilar falhas em habilidades que condicionam as trajetórias on-policy, os benefícios são internalizados nos parâmetros do modelo. Isso permite uma implantação eficaz sem memória, mantendo a opção de aumento externo.
• Coevolução: Os resultados demonstram que, quando a memória de um agente altera seu comportamento, isso altera o sinal de recompensa para o desafiador, o que, por sua vez, muda a distribuição de problemas futuros. Isso cria um loop autossustentável onde o agente empurra continuamente sua própria fronteira de competência.
• Generalização: Os ganhos persistem através de diferentes escalas de modelos, famílias e até mesmo inicializações especializadas em busca, sugerindo que o mecanismo de "falha-para-habilidade-para-resolvedor" é um método robusto para melhorar o desempenho do agente em tarefas de busca de domínio aberto.