Can RL Improve Generalization of LLM Agents? An Empirical Study

Este estudo empírico demonstra que, embora o ajuste fino por reforço (RFT) generalize bem para tarefas de dificuldade variável dentro do mesmo ambiente, seu desempenho em ambientes não vistos é limitado por mudanças nas interfaces e priores semânticos, enquanto o treinamento sequencial e por mistura oferece ganhos promissores com esquecimento mínimo.

O essencial

Imagine que você está treinando um robô cozinheiro (o Agente de IA) para preparar pratos complexos. O método que os pesquisadores estão testando é como dar a esse robô "lições de prática" onde ele erra, recebe um feedback (um "bom trabalho" ou "tente de novo") e aprende a melhorar. Isso se chama Ajuste Fino com Reforço (RFT).

O grande questionamento deste estudo do Laboratório NLP da Universidade Fudan é: Se ensinarmos esse robô a cozinhar perfeitamente na cozinha da sua casa, ele conseguirá cozinhar bem na casa de um amigo, onde os eletrodomésticos são diferentes e os ingredientes estão em lugares distintos?

Aqui está a explicação do estudo, dividida em três grandes testes, usando analogias do dia a dia:

1. O Teste da "Cozinha Familiar" (Generalização dentro do mesmo ambiente)

O Cenário: Você treina o robô apenas com receitas fáceis (como fazer um sanduíche) e depois o testa com receitas difíceis (como um bolo de três andares), mas na mesma cozinha, com os mesmos utensílios.

O Resultado: Funciona muito bem!

• A Analogia: É como um atleta que treina na academia. Se ele aprende a levantar pesos leves com a técnica correta, quando chega o dia de levantar pesos pesados, ele já sabe como se mover.
• A Descoberta: O estudo mostrou que treinar o robô em tarefas fáceis primeiro e depois nas difíceis (um método chamado "aprendizado curricular") é a melhor estratégia. O robô aprende a lógica do ambiente e consegue aplicar isso em tarefas mais complexas sem se perder.

2. O Teste da "Cozinha Estranha" (Generalização para ambientes novos)

O Cenário: Agora, você leva o robô treinado na sua cozinha para a casa de um amigo. Lá, a geladeira fica em outro lugar, os botões do forno são diferentes e não há uma lista de ingredientes pré-aprovada na mesa.

O Resultado: É um pouco mais complicado.

• A Analogia: Imagine que você treinou um cachorro para buscar uma bola em um parque. Se você levar esse cachorro para a praia, ele pode não saber o que fazer, porque a areia é diferente da grama e a bola pode afundar.
• O Problema: O robô aprendeu a depender de "atalhos" específicos da primeira cozinha. Se a interface de ação mudar (ex: em vez de clicar num botão, ele precisa falar um comando), ele pode travar.
• A Exceção: Se as cozinhas forem parecidas (ex: ambas são cozinhas de restaurante), o robô se adapta bem. Mas se a mudança for radical (ex: ir de uma cozinha para um laboratório químico), o desempenho cai. O robô às vezes fica "confiante demais" e não verifica se o que está fazendo faz sentido no novo lugar.

3. O Teste do "Maratona de Cozinhas" (Treinamento Sequencial)

O Cenário: Em vez de escolher apenas uma cozinha, você manda o robô treinar em 5 cozinhas diferentes, uma após a outra. A pergunta é: Ele vai esquecer como cozinhar na primeira cozinha quando aprender a segunda?

O Resultado: Surpreendentemente, não!

• A Analogia: É como um músico que aprende a tocar violão, depois piano, depois bateria. Ao aprender o piano, ele não esquece como tocar violão. Na verdade, ele fica um músico mais versátil.
• A Descoberta: O estudo mostrou que treinar o robô em várias cozinhas sequencialmente funciona muito bem. Ele consegue transferir o que aprendeu na cozinha A para a cozinha B, sem esquecer a A.
• O Segredo: A ordem importa! Se você começar com tarefas muito difíceis e confusas, o robô pode se desorientar. Mas se você começar com o "fácil" e ir para o "difícil", ele constrói uma base sólida e aprende a se adaptar a qualquer lugar.

O Que Isso Significa para o Futuro?

Os pesquisadores descobriram que, embora a Inteligência Artificial esteja ficando muito boa em tarefas específicas, ela ainda tem dificuldade em generalizar quando as regras do jogo mudam drasticamente.

• O Perigo: Às vezes, o robô começa a "chutar" respostas ou a confiar cegamente no que aprendeu antes, sem verificar se aquilo ainda é verdade no novo ambiente (como um aluno que decora a resposta de uma prova antiga e tenta aplicá-la em uma prova com perguntas diferentes).
• A Solução: Para criar agentes de IA que funcionem no mundo real (onde tudo muda o tempo todo), precisamos treiná-los em uma variedade de ambientes e usar uma estratégia de "fácil para difícil".

Em resumo: Treinar com Reforço (RFT) é como dar um "superpoder" de adaptação ao robô, mas esse poder só brilha de verdade se ele for treinado em cenários variados e desafiadores, não apenas repetindo a mesma tarefa no mesmo lugar.

Resumo técnico

Resumo Técnico: RL pode Melhorar a Generalização de Agentes LLM?

1. Problema e Motivação

O Fine-tuning por Reforço (RFT - Reinforcement Fine-tuning) tem se mostrado promissor para treinar Agentes de Grandes Modelos de Linguagem (LLMs) em tarefas de tomada de decisão multi-turno, como navegação web e engenharia de software. No entanto, a maioria das avaliações existentes é intra-domínio, onde o treinamento e o teste ocorrem no mesmo ambiente ou em tarefas sobrepostas.

Na implantação do mundo real, os agentes enfrentam deslocamentos de distribuição (distribution shifts): ambientes não vistos anteriormente com diferentes conhecimentos de fundo, espaços de observação e interfaces de ação. A questão central de pesquisa é: as melhorias trazidas pelo RFT generalizam-se para além da distribuição de treinamento? O artigo busca preencher essa lacuna ao investigar sistematicamente a generalização e a transferibilidade dos agentes LLM treinados com RL.

2. Metodologia

Os autores realizaram um estudo empírico sistemático utilizando o framework AgentGym-RL e modelos da família Qwen2.5 (3B e 7B). O estudo foi estruturado ao longo de três eixos principais (ilustrados na Figura 1 do artigo):

1. Generalização Intra-Ambiente (Dificuldade da Tarefa):
   • Avaliou-se se um agente treinado em um subconjunto de tarefas (fáceis ou difíceis) dentro de um mesmo ambiente consegue generalizar para tarefas de dificuldade oposta.
   • Utilizou-se curricula de aprendizado (fácil $\to$ difícil) e treinamento misto.
2. Generalização Inter-Ambiente (Transferência Cruzada):
   • Avaliou-se o desempenho de agentes treinados em um único ambiente quando testados em ambientes não vistos (zero-shot).
   • Foram utilizados 5 ambientes distintos com características variadas: WebShop (compras), SearchQA (busca), TextCraft (jogo de texto), AlfWorld (doméstico) e BabyAI (corpo incorporado).
   • Métricas: $\Delta_{Held-In}$ (melhoria no ambiente de treino), $\Delta_{Held-Out}$ (melhoria em ambientes não vistos) e $\Delta_{Overall}$.
3. Treinamento Sequencial e Misto:
   • Investigou-se o forgetting (esquecimento) e a transferência em treinamentos sequenciais (treinar em Ambiente A, depois em B) versus treinamento conjunto (mistura de dados de todos os ambientes).

Configuração Experimental:

• Algoritmo: GRPO (Group Relative Policy Optimization), escolhido por sua eficiência e estabilidade.
• Ambientes: 5 ambientes representativos com recompensas densas ou esparsas, validação de ações estrita ou flexível, e diferentes requisitos de conhecimento do mundo.
• Métricas: avg@8 (precisão média em 8 tentativas), número médio de turnos e tokens gerados.

3. Principais Contribuições e Resultados

A. Generalização Intra-Ambiente (Dificuldade)

• Transferência Robusta: O RFT demonstra forte capacidade de generalização dentro do mesmo ambiente, independentemente da dificuldade das tarefas de treino.
• Aprendizado de Currículo: O treinamento sequencial fácil $\to$ difícil (easy-to-hard curriculum) superou consistentemente o treinamento apenas em tarefas difíceis ou apenas em fáceis.
  • Exemplo: No BabyAI, o currículo fácil-difícil superou o treino apenas em tarefas difíceis em 3,3 pontos.
• Eficiência: O RFT não apenas aumenta a taxa de sucesso, mas também reduz significativamente o número de turnos e tokens gerados, indicando uma exploração mais eficiente e direcionada ao objetivo.

B. Generalização Inter-Ambiente (Transferência Cruzada)

• Generalização Limitada, mas Positiva: Embora haja ganhos significativos no ambiente de treino (Held-In), a transferência para ambientes não vistos (Held-Out) é mais modesta e variável.
  • Média de ganho: Modelos 3B e 7B mostraram ganhos médios de ~3,3 e ~3,4 pontos em ambientes não vistos, respectivamente.
• Sensibilidade ao Ambiente: A generalização depende criticamente das propriedades do ambiente alvo:
  • Transferência Positiva: Ambientes como WebShop e SearchQA (baseados em busca) transferem bem entre si devido à similaridade nas habilidades de extração de informação.
  • Transferência Negativa (Interferência): Treinar em BabyAI (que fornece listas de ações válidas a cada passo) pode prejudicar o desempenho em outros ambientes. O agente torna-se dependente dessa informação e falha em raciocinar de longo prazo quando essa ajuda é removida.
  • Ambientes Desafiadores: AlfWorld e SearchQA são difíceis de generalizar para devido à validação estrita de ações e feedback esparsos (ex: "Nada acontece" para ações inválidas).

C. Dinâmica de Treinamento Sequencial e Esquecimento

• Resistência ao Esquecimento: O treinamento sequencial permite que o agente aprenda novas tarefas (ambiente a jusante) mantendo o desempenho nas tarefas antigas (ambiente a montante), com esquecimento mínimo.
• Comparação com Treinamento Misto: O treinamento sequencial alcança desempenho comparável ao treinamento conjunto (joint training) em misturas de ambientes, sugerindo que o RFT preserva bem as capacidades adquiridas anteriormente.
• Ordem de Treinamento: A ordem importa. Uma ordem que segue um currículo "fácil-difícil" entre ambientes (ex: BabyAI $\to$ SearchQA) tende a gerar melhor generalização do que a ordem inversa.

D. Análise de Falhas (Failure Mode Analysis)

• Viés de Confirmação (Confirmation Bias): É o erro mais prevalente (>10% em todos os cenários). Após o treino, os agentes tendem a ficar excessivamente confiantes, negligenciando a verificação de feedbacks ambientais.
• Inconsistência de Estado/Memória: Em cenários out-of-distribution, a taxa de erros de inconsistência de estado aumenta drasticamente (ex: de 4,3% em in-domain para 21,9% em out-of-domain no WebShop), indicando dificuldade em manter a coerência com grandes volumes de informação.
• Adivinhação vs. Ferramentas: Em SearchQA, agentes não treinados tendem a "adivinhar" ou fabricar respostas em vez de usar ferramentas de busca de forma iterativa.

4. Significado e Conclusão

Este trabalho fornece uma das primeiras avaliações sistemáticas e em larga escala sobre como o RFT afeta a generalização de agentes LLM em cenários de deslocamento de distribuição.

• Insight Principal: O RFT é altamente eficaz para aprender dinâmicas de ambiente e melhorar a eficiência de exploração dentro de um domínio, mas sua capacidade de transferir habilidades para ambientes radicalmente diferentes é limitada pela natureza das interfaces de ação e pelo conhecimento prévio exigido.
• Implicações Práticas:
  1. Curriculum Learning: Adotar estratégias de "fácil para difícil" é crucial para maximizar a generalização.
  2. Evitar Dependência de Interface: Treinar em ambientes que fornecem listas de ações válidas (como BabyAI) pode ser prejudicial se o objetivo for um agente generalista que opere em ambientes sem essa ajuda.
  3. Treinamento Sequencial: É uma estratégia viável e eficiente para construir agentes que aprendem múltiplas tarefas sem sofrer de esquecimento catastrófico, oferecendo uma alternativa robusta ao treinamento conjunto massivo.

O estudo conclui que, embora o RFT não seja uma solução mágica para a generalização universal imediata, ele oferece ferramentas e padrões de treinamento (como currículos e sequenciamento) que são essenciais para desenvolver agentes LLM mais robustos e prontos para implantação no mundo real.