Resumo Técnico: Planejamento de Antevisão Aumentado por Fatos para Agentes LLM

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) demonstraram um potencial significativo na construção de agentes autônomos para tomada de decisão sequencial. No entanto, agentes LLM frequentemente têm dificuldade em planejar de forma eficaz em ambientes interativos, parcialmente observáveis e de longo horizonte. As limitações atuais surgem quando a busca é não guiada ou quando o agente depende apenas de um histórico recente insuficiente. Abordagens existentes, como aquelas que utilizam extensos exemplos de poucos disparos (few-shot) ou recuperam trajetórias passadas inteiras, frequentemente resultam em prompts excessivamente longos que falham em destilar informações cruciais de forma eficiente. Além disso, abordagens baseadas em modelos frequentemente exigem o aprendizado de modelos preditivos separados ou a interação com o ambiente para cada passo de antevisão (lookahead), em vez de aproveitar profundamente as capacidades de simulação inerentes ao LLM. O desafio central é permitir que os LLMs aprendam com novas experiências in-context para melhorar a precisão e a otimalidade sem realizar ajuste fino (fine-tuning).

Metodologia: LWM-Planner

Os autores propõem o LWM-Planner, um framework que aumenta o planejamento de agentes LLM com "fatos atômicos" extraídos da experiência. O sistema opera puramente através de aprendizado em contexto (in-context learning), atualizando sua base de conhecimento entre episódios sem modificar os pesos do LLM.

1. Extração e Gestão de Fatos Atômicos

Ao final de cada episódio, o agente analisa sua trajetória (observações, ações, recompensas e resultados) para extrair fatos atômicos críticos para a tarefa.

• Extração: Um LLM identifica fatos novos e mínimos (ex: "buraco em (3,0)", "objeto X está no receptáculo Y") que, se fossem conhecidos anteriormente, teriam melhorado as previsões de valor de estado ou de recompensa.
• Validação: Candidatos a fatos passam por um filtro de consistência preditiva. O agente reproduz o episódio recém-finalizado enquanto condiciona um simulador (com temperatura 0) ao fato candidato. O fato é retido apenas se reduzir o erro de previsão do próximo passo retido (held-out next-step prediction error) (recompensa, terminação ou próxima observação).
• Compressão: Uma etapa opcional utiliza um LLM para remover redundâncias e informações excessivamente específicas, garantindo que o conjunto de fatos permaneça mínimo e caiba na janela de contexto.
• Memória: Esses fatos são armazenados em uma fila (deque) de memória global, que é capturada como um instantâneo (snapshot) no início de cada episódio para garantir a consistência durante o planejamento.

2. Planejamento de Antevisão Aumentado por Fatos

O agente emprega uma busca de antevisão recursiva de profundidade limitada para selecionar ações. Este processo é fundamentado pela observação atual, histórico de interação recente e pelo conjunto curado de fatos atômicos. O loop de planejamento utiliza três componentes dirigidos por LLM:

• Propositor de Ações: Sugere ações plausíveis ($a_i$) dado o estado atual e os fatos.
• Modelo de Mundo Latente: Simula o resultado de uma ação, prevendo a próxima observação (potencialmente latente) ($o'$), a recompensa imediata ($r'$) e o status de terminação. Esta simulação é condicionada aos fatos atômicos para melhorar a fidelidade.
• Estimador de Valor de Estado: Prediz a utilidade de longo prazo ($\hat{V}(o')$) dos estados, particularmente nas folhas da árvore de busca.

O valor Q para uma ação é computado como:
$$Q(o_t, a_i) = r' - \lambda_{step} + \gamma \hat{V}(o')$$
onde $\lambda_{step}$ é uma penalidade de passo e $\gamma$ é o fator de desconto. A ação com o maior valor Q é selecionada para execução.

Motivação Teórica

O artigo enquadra a abordagem através da abstração de estado baseada em fatos, baseando-se em conceitos de aprendizado por reforço (ex: bissimulação aproximada).

• Abstração ($\epsilon_{sim}$): Os fatos atuam como uma representação comprimida do espaço de estados, visando reduzir o aliasing de estado (onde estados distintos parecem idênticos, mas possuem valores diferentes).
• Fidelidade de Simulação ($\delta_{model}$): Condicionar o modelo de mundo do LLM em fatos específicos visa reduzir os erros de previsão de um passo.
• Subotimalidade de Planejamento ($\epsilon_{plan}$): Ao reduzir o aliasing e o erro de simulação, o framework teoricamente reduz a lacuna entre a política ótima e a política aprendida pelo agente. Os autores esclarecem que estes são limites motivacionais e não garantias formais para a implementação específica do LWM-Planner.

Principais Contribuições

1. Algorítmica: Um mecanismo simples para agentes LLM destilarem um pequeno conjunto de fatos atômicos e específicos da tarefa após cada episódio e utilizá-los para condicionar a proposta de ação, a simulação de passo único e a estimativa de valor dentro de uma antevisão de profundidade limitada.
2. Enquadramento Teórico: Uma conexão entre o design e a abstração de estado baseada em fatos, postulando que fatos reduzem o aliasing de estado e que a simulação condicionada a fatos reduz o erro de previsão, melhorando assim o planejamento.
3. Empírica: Avaliação extensiva em ambientes baseados em texto (TextFrozenLake, CrafterMini) e no conjunto ALFWorld, demonstrando melhorias sobre fortes baselines.

Resultados Experimentais

Os autores avaliaram o LWM-Planner contra vários baselines, incluindo ReAct, Reflexion, Tree-of-Thought (ToT) e Planejamento Aumentado por Recuperação (RAP).

• Desempenho: O LWM-Planner alcançou consistentemente o maior retorno cumulativo em todos os ambientes (TextFrozenLake, CrafterMini e variantes do ALFWorld).
• Comparação com Busca-apenas: Baselines de busca pura (ToT, RAP) tiveram desempenho inferior com o mesmo orçamento de tempo de teste, sugerindo que a busca bruta sem abstrações simbólicas aprendidas é menos eficaz.
• Ablação: Um estudo de ablação (ReAct + FEC) mostrou que o aprendizado de fatos por si só fornece benefícios significativos, mas combinar isso com a antevisão fundamentada produz os resultados mais fortes.
• Escalabilidade: À medida que o espaço de estados-ações aumentou (ex: tabuleiros maiores de FrozenLake), baselines como ReAct e Reflexion degradaram significativamente, enquanto o LWM-Planner manteve o desempenho, indicando sua capacidade de aprender online representações de fatos mínimas para resolver ambientes complexos.

Significância e Alegações

O artigo afirma que fatos compactos derivados da experiência podem tornar a antevisão de tempo de teste materialmente mais confiável para agentes LLM em ambientes parcialmente observáveis e de múltiplos passos.

• Aprendizado em Contexto: A abordagem permite que os agentes aprendam com as interações e melhorem as políticas sem qualquer atualização de parâmetros ou ajuste fino.
• Busca Fundamentada: Os resultados sugerem que a busca adicional em tempo de teste é mais útil quando fundamentada por fatos compactos e aprendidos, em vez de aplicada de maneira não guiada.
• Integração Estilo-Dyna: O trabalho representa um passo em direção à integração do aprendizado de fatos online com a simulação dirigida por LLM, tratando o LLM como tanto um modelo de mundo latente quanto uma função de valor, efetivamente unindo a lacuna entre experiência e planejamento de uma maneira estruturada e simbólica.

Os autores permanecem modestos quanto a garantias formais, observando que os limites teóricos servem como motivação de design e que o filtro de consistência preditiva é um heurístico, uma verificação pós-hoc em vez de um teste causal. O trabalho futuro é identificado como a exploração de extração de fatos mais sofisticada (ex: descoberta causal) e ajuste dinâmico da profundidade de busca.