💬 NLP

Why Do LLM Agents Fail in Exploring New Environments? A World-Modeling Perspective

Este artigo identifica o "colapso da exploração" como um modo de falha fundamental onde agentes de LLM perdem a capacidade de descobrir novas soluções em ambientes desconhecidos durante o aprendizado por reforço, e propõe o SPA, um método que melhora o desempenho ao fundamentar primeiro o agente na previsão de estado e transição por meio de ajuste fino supervisionado de autoexperiência antes de otimizar para recompensa.

Autores originais: Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Ruochen Zhou, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

Publicado 2026-09-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shiqi Chen, Tongyao Zhu, Zian Wang, Jinghan Zhang, Kangrui Wang, Ruochen Zhou, Siyang Gao, Teng Xiao, Yee Whye Teh, Junxian He, Manling Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um programa de computador projetado para pensar e agir como um humano, capaz de resolver quebra-cabeças, navegar em mundos virtuais ou até mesmo usar um navegador da web para encontrar informações. Esses programas, conhecidos como modelos de linguagem de grande escala, são treinados em vastas quantidades de texto da internet, aprendendo a prever qual palavra vem a seguir em uma frase. Quando pesquisadores pedem que esses modelos atuem como agentes — tomando medidas para atingir um objetivo — eles frequentemente utilizam um método chamado aprendizagem por reforço. Este é um processo onde o modelo tenta diferentes ações, recebe feedback sobre se teve sucesso ou falhou e, gradualmente, aprende a repetir as ações que levam ao sucesso. É uma maneira poderosa de ensinar uma máquina a fazer coisas para as quais não foi explicitamente programada. No entanto, um problema crítico surge quando esses agentes são colocados em situações novas e desconhecidas. Embora possam aprender a resolver um quebra-cabeça específico que já viram antes, eles frequentemente têm dificuldade em descobrir como explorar um ambiente completamente novo, ficando presos em uma forma de pensar estreita que os impede de encontrar a melhor solução.

Uma equipe de pesquisadores partiu para entender por que esses agentes inteligentes falham quando encontram o desconhecido. Eles descobriram um fenômeno específico que chamam de "colapso de exploração". Em termos simples, quando um agente é treinado em uma nova tarefa, ele frequentemente aprende a encontrar apenas um caminho específico para o sucesso e então ignora todas as outras possibilidades. Ele se torna tão focado nessa única rota que perde a capacidade de tentar diferentes abordagens. Os pesquisadores mediram isso observando duas pontuações diferentes: uma que rastreia se o seu melhor palpite funciona, e outra que rastreia se qualquer um de seus muitos palpites diferentes funciona. Em tarefas familiares, ambas as pontuações melhoram à medida que o agente aprende. Mas em ambientes novos e difíceis, como um quebra-cabeça baseado em grade onde caixas devem ser empurradas para alvos específicos, a pontuação para o único melhor palpite sobe ligeiramente, enquanto a pontuação para tentar muitos caminhos diferentes na verdade cai. O agente está aprendendo a ter mais confiança em um mau hábito em vez de aprender a ser mais flexível. Isso acontece porque o agente não entende verdadeiramente as regras do novo mundo em que está; ele está adivinhando sem uma base sólida.

Para corrigir isso, os pesquisadores desenvolveram um novo método de treinamento chamado SPA, que significa Agente de Experiência Própria (Self-Experience Agent). Em vez de imediatamente tentar ensinar o agente como obter recompensas, eles primeiro o ensinaram a entender o mundo ao seu redor. Eles deram ao agente a chance de explorar o ambiente por conta própria, sem a pressão de marcar pontos. Durante esta fase, o agente era solicitado a descrever o que via e a prever o que aconteceria a seguir se realizasse uma certa ação. Por exemplo, se o agente visse uma caixa em um lugar específico e decidisse empurrá-la, ele teria que primeiro declarar onde a caixa estava e depois prever onde ela terminaria. Os pesquisadores então usaram os resultados reais e corretos do ambiente para corrigir as previsões do agente, efetivamente ensinando as leis da física para aquele jogo específico. Esse processo criou uma espécie de mapa interno ou "modelo de mundo" dentro da mente do agente, fundamentando sua compreensão na realidade, em vez de em palpites vagos.

Uma vez que o agente construiu esse entendimento interno de como o mundo funciona, os pesquisadores iniciaram o processo de treinamento padrão para ensinar como vencer. Os resultados foram impressionantes. Em testes em um jogo de quebra-cabeça chamado Sokoban, onde o agente tinha que empurrar caixas para alvos, o método de treinamento padrão permitiu que o agente tivesse sucesso apenas cerca de 25 por cento das vezes. Com o novo método, a taxa de sucesso saltou para quase 60 por cento. Em outro quebra-cabeça envolvendo um lago congelado, a taxa de sucesso melhorou de cerca de 22 por cento para mais de 70 por cento. Talvez o mais surpreendente seja que um modelo de computador muito pequeno, treinado com este método, foi capaz de superar um modelo muito maior e mais poderoso que havia sido treinado usando os métodos antigos e padrão. O modelo pequeno, tendo aprendido as regras do jogo primeiro, foi capaz de navegar pelos quebra-cabeças complexos de forma mais eficaz do que o modelo gigante que apenas tentava adivinhar o caminho para uma recompensa.

Os pesquisadores também testaram se essa abordagem funcionava em outros tipos de tarefas, como um quebra-cabeça de lógica chamado Sudoku e um ambiente simulado para tarefas domésticas. Em todos os casos, o método que ensinou o agente a entender o estado do mundo antes de tentar vencer levou a melhores resultados. Eles descobriram que a chave para o sucesso não era apenas ter mais dados ou um computador maior, mas sim a ordem em que o aprendizado acontecia. Ao forçar o agente a aprender a estrutura do ambiente primeiro, eles evitaram a armadilha de colapsar em uma estratégia única e frágil. O agente aprendeu a manter suas opções abertas, explorando múltiplos caminhos porque entendia as consequências de suas ações. Essa abordagem sugere que, para a inteligência artificial realmente se adaptar a situações novas e complexas, ela precisa construir um entendimento confiável da realidade antes de tentar otimizar o sucesso. O estudo mostra que, quando um agente está fundamentado nas mecânicas reais de seu ambiente, ele pode aprender a explorar de forma mais eficaz e resolver problemas que estavam anteriormente fora de alcance.

Resumo Técnico: Por que Agentes de LLM Falham ao Explorar Novos Ambientes? Uma Perspectiva de Modelagem de Mundo

1. Declaração do Problema: Colapso da Exploração em Ambientes Não Vistos

O artigo identifica um modo de falha crítico no Aprendizado por Reforço (RL) Agêntico para Grandes Modelos de Linguagem (LLMs) quando implantado em ambientes desconhecidos pela distribuição de pré-treinamento do modelo. Embora o RL padrão melhore as taxas de sucesso de trajetória única (Pass@1) em configurações familiares (ex: ALFWorld, WebShop), ele induz um fenômeno que os autores denominam colapso da exploração em ambientes não vistos (ex: Sokoban, FrozenLake, Sudoku).

Nesses domínios desconhecidos, caracterizados por uma alta perplexidade de estado em relação ao conhecimento prévio do modelo, o RL padrão faz com que o Pass@k (a probabilidade de que pelo menos uma de $k$ trajetórias amostradas tenha sucesso) caia drasticamente conforme o treinamento progride, mesmo enquanto o Pass@1 sobe ligeiramente. Essa divergência indica que a política torna-se cada vez mais frágil, convergindo para caminhos de solução estreitos e exploratórios, enquanto perde a capacidade de diversificar tentativas ou generalizar de forma robusta. Os autores atribuem esse colapso à falta de ancoragem (grounding) nos estados e dinâmicas do ambiente; o agente falha em internalizar um "modelo de mundo" das regras subjacentes, levando a uma má análise de estado e atribuição de crédito ineficaz.

2. Metodologia: SPA (Self-Experience Agent)

Para mitigar o colapso da exploração, os autores propõem o SPA, um framework de "explorar-então-explorar" que ancora o agente antes de otimizar as recompensas. Diferente do RL clássico baseado em modelos que consulta um modelo de mundo explícito durante o planejamento, o SPA internaliza a modelagem de mundo na própria política como uma inicialização de cold-start.

O framework consiste em duas etapas primárias:

A. Estimativa de Estado (Ancoragem)

Para lidar com o desvio de distribuição onde strings de estado simbólico bruto (ex: mapas de grade) possuem alta perplexidade, o SPA aumenta o estado bruto $s'_t$ com uma representação abstrata e estruturada $b_t$ .

Mecanismo: O modelo é instruído a gerar uma descrição de linguagem natural estruturada do estado atual (ex: coordenadas do jogador, caixas e objetivos) juntamente com a observação bruta.
Objetivo: Isso reduz a perplexidade do estado e transforma entradas simbólicas desconhecidas em representações interpretáveis e familiares, facilitando o raciocínio.

B. Ajuste Fino Supervisionado por Experiência Própria (SFT)

Antes do RL, o agente passa por uma etapa de ajuste fino supervisionado usando suas próprias trajetórias de interação para aprender as dinâmicas de transição.

Coleta de Dados: O modelo base explora livremente o ambiente para coletar trajetórias $\tau = (s_0, o_0, a_0, \dots)$ .
Objetivo de Modelagem de Mundo: Durante o raciocínio (entre as tags <thought> e </thought>), o modelo é instruído a descrever explicitamente o estado atual (<observation>) e prever o próximo estado (<prediction>).
Supervisão de Verdade Fundamental (Ground Truth): Crucialmente, as crenças autogeradas pelo modelo sobre os estados atuais e subsequentes são substituídas por estados de verdade fundamental ( $s_t, s_{t+1}$ ) fornecidos pelo simulador do ambiente. O modelo é então treinado via SFT para prever esses estados ancorados e a ação subsequente.
Função de Perda: O treinamento minimiza uma perda de entropia cruzada por nível de token mascarado sobre os intervalos de raciocínio que contêm descrições de estado e previsões, ensinando efetivamente o agente o seu núcleo de transição $p(s_{t+1} | s_t, a_t)$ .

C. Treinamento de RL

O modelo treinado via SFT, agora possuindo um modelo de mundo interno ancorado, serve como a inicialização para o algoritmo de Otimização de Política Próxima (PPO) padrão. A fase de RL otimiza as recompensas da tarefa usando as representações de estado ancoradas, sem adicionar recompensas auxiliares de modelagem de mundo que possam interferir no objetivo primário.

3. Principais Contribuições

Diagnóstico do Colapso da Exploração: O artigo caracteriza empiricamente a divergência entre Pass@1 e Pass@k em ambientes não vistos, identificando-o como uma falência de ancoragem, e não como uma ineficiência geral de RL.
Framework SPA: Introduz uma receita simples e escalável que desacopla a modelagem de mundo (SFT) da otimização de recompensa (RL), usando dados de experiência própria para inicializar a política.
Análise de Ablação e Mecanismo: Através de estudos controlados, os autores isolam quatro fatores críticos que impulsionam o sucesso do SPA:
- Representações de Estado Ancoradas: Abstrair estados brutos em coordenadas estruturadas.
- Modelagem de Transição Explícita: Aprender a prever próximos estados, não apenas ações.
- Trajetórias de Experiência Própria: Coletar dados de uma política de exploração suficientemente forte (ações aleatórias falham em gerar ganhos).
- Cobertura de Dados Adequada: Garantir dados de transição suficientes e adesão ao formato.
Desempenho em Modelos Sub-3B: O método permite que modelos pequenos (ex: Qwen2.5-1.5B) superem significativamente baselines muito maiores (ex: GPT-OSS-20B) em tarefas complexas de raciocínio espacial.

4. Resultados Experimentais

Os autores avaliaram o SPA através de múltiplas famílias de modelos (Qwen2.5, LLaMA-3.2, GPT-OSS) e ambientes (Sokoban, FrozenLake, Sudoku).

Ganhos de Desempenho: No modelo Qwen2.5-1.5B-Instruct, o SPA aumentou a taxa de sucesso do Sokoban (Pass@1) de 25,6% (Vanilla RL) para 59,8%, e do FrozenLake de 22,1% para 70,9%.
Restauração da Exploração: Ao contrário do Vanilla RL, onde o Pass@k degrada, o SPA melhora consistentemente tanto o Pass@1 quanto o Pass@k (ex: o Sokoban Pass@8 subiu de 34,0% para 69,5%).
Comparação com Baselines: O SPA superou o "State Estimation RL" (que carece de modelagem de transição) e o VAGEN (um baseline de modelagem de mundo por modelagem de recompensa). Os autores observam que a modelagem de recompensa online do VAGEN interfere no objetivo de RL, enquanto a abordagem de SFT offline do SPA fornece uma inicialização mais limpa.
Generalização: O SPA treinado em variantes simples (ex: FrozenLake 4x4) transferiu-se com sucesso para variantes mais difíceis (6x6), demonstrando transferência "fácil-para-difícil". No entanto, a generalização entre jogos (Sokoban para FrozenLake) permaneceu difícil, sugerindo que o modelo de mundo é específico para a família do ambiente.

5. Significância e Alegações

O artigo afirma que a principal barreira para escalar o RL agêntico em ambientes desconhecidos não é a falta de sinais de recompensa, mas a falta de compreensão ancorada de estado e transição. Ao ensinar explicitamente o agente a modelar as dinâmicas do ambiente antes de otimizar as recompensas, o SPA restaura a capacidade do agente de explorar diversos caminhos de solução.

Os autores enfatizam que o SPA é uma abordagem centrada na política, onde o modelo de mundo é internalizado como um prior, em vez de um simulador externo usado no tempo de inferência. Eles concluem que ancorar a política via SFT de experiência própria é um pré-requisito necessário para um RL eficaz em configurações fora da distribuição, oferecendo um ponto de partida reproduzível para construir agentes robustos em ambientes desconhecidos.

Limitações Reconhecidas:
Os autores observam que seus resultados estão atualmente limitados a benchmarks interativos de estilo grade e modelos de pesos abertos de pequena a média escala. Eles reconhecem que o SPA depende do acesso a estados de verdade fundamental (informação privilegiada) durante a etapa de SFT, o que pode não estar disponível em todas as implementações do mundo real sem um módulo de percepção adicional. Além disso, a generalização entre jogos continua sendo um desafio.