Resumo Técnico: Treinamento de Agentes de Linguagem para Aprender com a Experiência

Declaração do Problema

Os métodos atuais baseados em reflexão para agentes de Modelos de Linguagem de Grande Escala (LLMs) focam principalmente na autocorreção dentro de uma única instância de tarefa. Embora eficazes para refinar o comportamento em um problema específico por meio de tentativas repetidas, esses métodos falham em destilar a experiência em lições reutilizáveis que melhorem o desempenho em tarefas futuras e não vistas. Essa limitação é crítica em cenários do mundo real onde as tarefas não podem ser repetidas (por exemplo, partidas de xadrez ou cozinhar) e onde insights de uma instância de tarefa deveriam idealmente generalizar para tarefas semelhantes não vistas. A questão central de pesquisa abordada é se os LLMs podem ser treinados para gerar autorreflexões que facilitem a autoaperfeiçoamento entre tarefas, e, se sim, como alcançar isso sem depender de exemplos fornecidos por humanos.

Metodologia

A Tarefa de Treinamento em Contexto (ICT)

Os autores introduzem a tarefa de Treinamento em Contexto (ICT), um framework projetado para avaliar a capacidade de um LLM de aprender com a experiência para autoaperfeiçoamento entre tarefas. O framework emprega uma arquitetura de duplo LLM:

1. Ator ($LLM_{act}$): Um agente operacional que interage com um ambiente com base em um prompt de sistema. Crucialmente, em cada turno da tarefa ICT, o ator enfrenta um lote novo e não visto de tarefas e tem apenas uma tentativa por tarefa.
2. Refletor ($LLM_{refl}$): Um meta-agente que observa as trajetórias coletadas pelo ator e gera um prompt de sistema aprimorado ($sp_i$) destinado a melhorar o desempenho do ator no próximo lote de tarefas não vistas.

O objetivo é que o refletor analise episódios de um conjunto de treinamento ($E_{train}$) e gere um prompt de sistema que maximize a recompensa cumulativa do ator em um conjunto de validação retido ($E_{val}$) de tipos de tarefas não vistas.

Pipeline de Treinamento

Para permitir que o refletor aprenda essa capacidade, os autores propõem um pipeline de ajuste fino baseado em Aprendizado por Reforço (RL):

• Criação do Conjunto de Dados: O loop ICT é executado múltiplas vezes usando um modelo base para gerar um conjunto de dados de tuplas $(sp_i, obs_i, \text{lote de tarefas})$. Isso captura prompts de sistema diversos e as correspondentes meta-observações (trajetórias de interação).
• Sinal de Recompensa: A recompensa de treinamento é derivada diretamente da experiência. Para um prompt de sistema candidato gerado pelo refletor, a recompensa é calculada reexecutando o lote anterior de tarefas usando o modelo ator sob o novo prompt. Isso incentiva o refletor a identificar problemas de desempenho no lote anterior e propor correções que generalizem, em vez de sobreajustar ao lote imediato.
• Otimização: O refletor é ajustado finamente usando o algoritmo GRPO (Otimização de Política Relativa em Grupo). Durante o treinamento, o refletor amostra múltiplos prompts candidatos, que são pontuados reexecutando tarefas com um ator congelado. As pontuações impulsionam a estimativa de vantagem e as atualizações de parâmetros.

Infraestrutura: MetaGym

Os autores introduzem o MetaGym, uma biblioteca Python genérica para construir meta-ambientes a partir de ambientes existentes semelhantes ao Gym. Esta ferramenta facilita a criação da configuração de duplo LLM necessária para o ICT, gerenciando a instanciação de tarefas, a execução paralela e a interação entre ator e refletor.

Contribuições Principais

1. Um Pipeline de Treinamento para Autoaperfeiçoamento entre Tarefas: Um método para ajustar finamente LLMs para gerar reflexões que melhorem o desempenho em instâncias de tarefas não vistas sem depender de rótulos ou exemplos fornecidos por humanos.
2. A Tarefa de Treinamento em Contexto (ICT): Um framework de avaliação novel que mede capacidades de autoaperfeiçoamento online onde as tarefas são não repetíveis, forçando o modelo a aprender estratégias transferíveis em vez de memorizar soluções específicas.
3. MetaGym: Uma biblioteca de código aberto que permite a construção de meta-ambientes para pesquisa em agentes de linguagem que aprendem a se aperfeiçoar.

Resultados Experimentais

A abordagem foi avaliada em dois benchmarks: ALFWorld (tarefas domésticas baseadas em texto) e MiniHack (tarefas em mundo de grade 2D). Em ambos os casos, os tipos de tarefas foram divididos em conjuntos de meta-treinamento e meta-teste para garantir que o refletor aprendesse estratégias generalizáveis em vez de memorizar instâncias de tarefas específicas.

• Melhoria entre Tarefas: Refletores treinados superaram consistentemente as linhas de base não treinadas (Qwen2.5-7B-Instruct) e prompts iniciais em quase todos os tipos de tarefas retidos em ambos os benchmarks. Isso demonstra que a capacidade de aprender com a experiência é, em si mesma, uma meta-habilidade aprendível.
• Generalização Além do Treinamento: Em alguns casos, refletores treinados em MiniHack melhoraram com sucesso o desempenho em tarefas do ALFWorld (e vice-versa), indicando transferibilidade entre ambientes substancialmente diferentes.
• Turnos Meta e Horizonte: O desempenho continuou a melhorar além do número de turnos meta vistos durante o treinamento (turno 4), sugerindo que o modelo pode refinar recursivamente seus próprios prompts gerados.
• Efeitos do Tamanho do Lote: Tamanhos de lote maiores ($k=5$) geralmente produziram melhores resultados, particularmente no MiniHack, ao fornecer experiência mais diversa e reduzir a esparsidade dos sinais de recompensa. No entanto, no ALFWorld, lotes menores ($k=3$) às vezes foram suficientes, sugerindo retornos decrescentes com lotes maiores dependendo do ambiente.

Significado e Afirmações

O artigo afirma que aprender com a experiência é uma capacidade aprendível. Ao deslocar o foco da autocorreção dentro de uma única tarefa para o autoaperfeiçoamento através de uma família de tarefas, os autores fornecem um caminho para desenvolver agentes de propósito geral capazes de se adaptar a ambientes de fim aberto.

O trabalho enfatiza que:

• Mecanismos de reflexão podem ser treinados para extrair lições reutilizáveis, indo além do paradigma atual onde os agentes devem "reaprender" lições para cada nova tarefa.
• Essa capacidade pode ser adquirida sem supervisão humana, dependendo exclusivamente dos dados de interação do próprio agente.
• O framework proposto (ICT) e a ferramenta (MetaGym) oferecem uma maneira padronizada de avaliar e pesquisar agentes que aprendem a se aperfeiçoar, potencialmente deslocando a atenção do campo para a generalização entre tarefas.

Os autores permanecem modestos quanto às limitações, observando que manter modelos separados de ator e refletor é computacionalmente caro e que a dependência atual de um conjunto retido fixo para avaliação pode não espelhar perfeitamente cenários do mundo real onde tais conjuntos não estão disponíveis. Eles sugerem que trabalhos futuros poderiam explorar a aprendizagem ao longo da vida sem critérios de parada fixos.