Agentic LLM Planning via Step-Wise PDDL Simulation: An Empirical Characterisation

O artigo apresenta o PyPDDLEngine, um motor de simulação PDDL que permite que modelos de linguagem atuem como agentes de planejamento interativos, demonstrando que, embora essa abordagem agênica ofereça uma vantagem modesta de 3 pontos percentuais em relação ao planejamento direto de LLMs em problemas de Blocksworld, ela não supera os métodos simbólicos clássicos e revela limitações na capacidade de autoavaliação do agente sem feedback externo.

O essencial

Imagine que você precisa organizar uma sala cheia de caixas, empilhando-as de um jeito muito específico para chegar a um objetivo final. Você tem duas opções de "ajudantes" para fazer isso:

1. O Arquiteto Clássico (Planejador Simbólico): É como um engenheiro de precisão que vê todas as caixas, calcula mil rotas possíveis em um segundo e entrega um mapa perfeito de como mover cada caixa, sem errar.
2. O Gênio da Conversa (LLM - Modelo de Linguagem): É como um amigo muito bem lido e criativo que tenta adivinhar a solução baseando-se em tudo o que já leu na internet.

O artigo que você pediu para explicar investiga uma pergunta simples: Se dermos ao "Gênio da Conversa" a chance de tentar, errar e corrigir o caminho passo a passo (agindo como um agente), ele ficará melhor do que quando apenas tenta adivinhar a resposta de uma vez só?

Para testar isso, os criaram uma ferramenta chamada PyPDDLEngine. Pense nela como um simulador de videogame ou um tabuleiro de xadrez digital que permite ao Gênio fazer um movimento, ver o resultado e decidir o próximo, em vez de ter que escrever todo o jogo antes de começar.

Aqui está a explicação dos resultados, usando analogias do dia a dia:

1. O Teste: Quem ganha?

Eles colocaram os dois tipos de "ajudantes" (o Arquiteto Clássico e o Gênio da Conversa, tanto na versão "de uma vez só" quanto na versão "interativa") para resolver 102 problemas de empilhamento de blocos.

• O Arquiteto Clássico: Foi o campeão, resolvendo 85% dos problemas. Ele é rápido, preciso e não se distrai.
• O Gênio (Versão Direta): Tentou adivinhar a solução inteira de uma vez. Resolveu 63% dos problemas.
• O Gênio (Versão Agente/Interativa): Fez um movimento, olhou o tabuleiro, corrigiu se necessário. Resolveu 66% dos problemas.

A Grande Revelação: A versão interativa (agente) foi apenas 3% melhor que a versão direta. Ou seja, dar ao Gênio um "tabuleiro de xadrez" para brincar e corrigir erros não o transformou em um mestre do xadrez. Ele melhorou um pouquinho, mas não muito.

2. O Custo: O preço da conversa

A versão interativa foi muito mais cara em termos de "conversa" (tokens). Para resolver um problema, ela gastou 5,7 vezes mais recursos do que a versão direta. É como se você tivesse que pagar por 5,7 horas de conversa para ganhar apenas 3% a mais de eficiência.

3. O Segredo: Por que o Gênio não melhorou mais?

Aqui está a parte mais interessante, usando uma analogia de programação de computadores:

• No Mundo do Código (Sucesso): Quando um agente de IA escreve código e o computador diz "Erro: linha 10", esse erro é externo e objetivo. O computador não mente. O agente sabe exatamente onde errou e corrige. É como ter um professor rigoroso apontando o erro no caderno.
• No Mundo do Planejamento (O Problema): No simulador de blocos, quando o Gênio move um bloco, o sistema apenas diz "Ok, movimento válido". O sistema não diz se você está perto ou longe da vitória. O Gênio precisa adivinhar se está indo bem. É como tentar resolver um labirinto de olhos vendados, onde o guia só diz "você pode andar para frente", mas não diz se você está se aproximando da saída ou se está andando em círculos.

Como o Gênio não tem um "professor externo" para dizer "você está indo para o lado errado", ele acaba se iludindo e desistindo de problemas que na verdade eram solúveis.

4. O Mistério dos Planos Curtos

Curiosamente, quando o Gênio conseguia resolver o problema, os planos que ele criou eram mais curtos do que os do Arquiteto Clássico (que é conhecido por otimizar soluções).

Por que isso acontece?
Os autores sugerem que o Gênio não está realmente "pensando" ou "planejando" do zero. Ele está lembrando. Como os problemas de empilhamento de blocos são muito famosos na internet e em livros didáticos, o Gênio provavelmente "decorou" a solução ideal durante seus treinamentos. Ele não está calculando o caminho; ele está recitando de memória. Por isso, mesmo sem um processo de melhoria iterativa, ele acerta planos curtos.

Conclusão Simples

Este estudo nos ensina que:

1. Interação não é mágica: Dar a uma IA a chance de interagir com o ambiente não a torna automaticamente mais inteligente se o ambiente não der feedback claro sobre o progresso.
2. Feedback é tudo: Para que uma IA aprenda e melhore em tarefas complexas, ela precisa de sinais externos claros (como um erro de código ou um teste falho), não apenas de "olhar para o resultado".
3. Memória vs. Raciocínio: Em problemas comuns, a IA pode estar apenas lembrando respostas antigas, e não criando novas soluções inteligentes.

Resumo em uma frase:
Tentar fazer uma IA "pensar" passo a passo em um ambiente onde ela não recebe dicas claras de progresso é como tentar ensinar alguém a dirigir apenas olhando para o mapa, sem ver a estrada; ela pode até acertar o destino por sorte ou memória, mas não vai aprender a dirigir de verdade.

Resumo técnico

1. O Problema

O planejamento de tarefas (sequenciar ações para atingir um objetivo a partir de um estado inicial) é uma capacidade fundamental para sistemas robóticos autônomos. Embora os planejadores simbólicos clássicos (como o Fast Downward) sejam eficientes em domínios formais, a viabilidade de usar Grandes Modelos de Linguagem (LLMs) como planejadores diretos ou complementares permanece uma questão em aberto.

A questão central deste trabalho é: A interação agênica passo a passo (onde o LLM executa uma ação, observa o estado resultante e decide a próxima) melhora o desempenho do planejamento em comparação com a geração direta de um plano completo? O estudo investiga se o feedback de simulação passo a passo em um ambiente PDDL (Planning Domain Definition Language) permite que o LLM corrija erros e navegue melhor no espaço de estados, ou se o desempenho é limitado pela falta de sinais de verificação externa.

2. Metodologia

Ferramenta Principal: PyPDDLEngine

Os autores desenvolveram o PyPDDLEngine, uma biblioteca Python de código aberto que atua como um motor de simulação PDDL.

• Interface MCP: O motor expõe operações de planejamento como chamadas de ferramentas (tools) através do Model Context Protocol (MCP), permitindo que LLMs interajam com o ambiente de planejamento de forma nativa.
• Operações Suportadas: Inicialização, consulta de estado atual, recuperação de ações aplicáveis, execução de uma única ação, reinício para o estado inicial, revisão do histórico e validação de planos completos.
• Papel do LLM: Diferente de abordagens onde o LLM apenas gera texto para um solucionador clássico, aqui o LLM atua como a política de busca, navegando no espaço de estados do PDDL um passo de cada vez.

Configuração Experimental

• Benchmarks: 102 instâncias do domínio Blocksworld da International Planning Competition (IPC), cobrindo um gradiente de dificuldade variado.
• Orçamento: Limite uniforme de 180 segundos por instância.
• Abordagens Comparadas:
  1. Fast Downward (Lama-first): Planejador clássico guloso (baseline principal).
  2. Fast Downward (Seq-sat-lama-2011): Planejador clássico que melhora iterativamente a qualidade do plano (baseline de qualidade).
  3. LLM Direto: Geração de um plano completo em uma única passagem (Claude Haiku 4.5), sem feedback intermediário. Se falhar, o modelo é re-promptado do zero.
  4. LLM Agêntico: O modelo usa o PyPDDLEngine para executar ações passo a passo, observando o estado e podendo reiniciar se julgar o trajeto improdutivo.

3. Principais Contribuições

1. PyPDDLEngine: Uma infraestrutura de código aberto que permite pesquisas reprodutíveis sobre planejamento agêntico, posicionando o LLM como um agente de busca interativo dentro de um sistema de transição formal, e não apenas como um gerador de texto.
2. Caracterização Empírica: Uma avaliação comparativa rigorosa de quatro abordagens, quantificando taxas de sucesso, custo de tokens, comprimento dos planos e modos de falha.
3. Análise de Feedback: A distinção crítica entre o sucesso de agentes de codificação (que possuem feedback externo objetivo, como erros de compilação) e agentes de planejamento PDDL (onde o feedback é autoavaliado e não verificado externamente).

4. Resultados Chave

• Taxa de Sucesso:

  • Fast Downward: 85,3% (87/102 instâncias).
  • LLM Direto: 63,7%.
  • LLM Agêntico: 66,7%.
  • Conclusão: A abordagem agêntica oferece uma vantagem modesta e consistente de 3 pontos percentuais sobre a geração direta, mas ainda fica significativamente atrás dos planejadores clássicos.

• Custo:

  • A abordagem agêntica é 5,7 vezes mais cara em termos de tokens por solução encontrada em comparação com a geração direta, devido à interação iterativa e ao histórico de chamadas.

• Qualidade do Plano (Comprimento):

  • Em instâncias resolvidas por todos os métodos, ambas as abordagens de LLM produziram planos mais curtos do que o Fast Downward seq-sat-lama-2011 (que é projetado para iterar e melhorar a qualidade do plano).
  • Isso sugere que os LLMs podem estar recuperando padrões de solução de seus dados de treinamento (memorização) em vez de realizar uma busca de otimização genuína, já que conseguem igualar ou superar um planejador clássico iterativo sem um mecanismo de melhoria de qualidade.

• Modos de Falha e "Saída Antecipada":

  • A abordagem agêntica introduziu um novo modo de falha: saída antecipada (early exit). Em 6 instâncias, o modelo agêntico julgou erroneamente que o problema era insolúvel e parou antes do tempo esgotar. Em 4 desses casos, a abordagem direta conseguiu resolver o problema, indicando que a autoavaliação do agente sobre o progresso foi incorreta.

• Casos Difíceis:

  • Nos 15 casos mais difíceis onde o Fast Downward falhou (timeout), os LLMs resolveram apenas uma instância comum (86). O método agêntico resolveu 3 instâncias adicionais que o método direto não resolveu, mas falhou na maioria dos casos extremos.

5. Significado e Discussão

O estudo oferece insights cruciais sobre as limitações atuais dos LLMs em tarefas de planejamento simbólico:

1. A Falta de Sinal Externo: O sucesso de agentes de codificação (que corrigem erros de sintaxe ou testes) deve-se ao feedback externamente fundamentado (objetivo e inegociável). No planejamento PDDL passo a passo, o feedback é autoavaliado. O agente sabe se uma ação é válida, mas não sabe se está "perto" do objetivo ou se está em um caminho sem saída, a menos que o modelo consiga inferir isso apenas observando o estado. A ausência de um sinal externo de progresso limita drasticamente a capacidade de correção do agente.
2. Memorização vs. Raciocínio: O fato de os LLMs gerarem planos mais curtos do que um planejador clássico iterativo, sem mecanismos de otimização, sugere fortemente que o desempenho em Blocksworld é impulsionado pela recuperação de dados de treinamento (memorização de padrões de solução conhecidos) e não por uma capacidade de planejamento generalizável.
3. Implicações para Robótica: Para que LLMs funcionem como camadas deliberativas em robótica, o sistema de percepção e estimativa de estado não pode apenas relatar "onde o robô está". Ele deve fornecer sinais de feedback externamente fundamentados que indiquem claramente se o agente está progredindo em direção ao objetivo ou se entrou em um trajeto falho. Sem esse sinal, a interação passo a passo por si só não é suficiente para superar as limitações de raciocínio do modelo.

Em resumo, o trabalho demonstra que, embora a abordagem agêntica ofereça uma pequena melhoria sobre a geração direta, ela não supera os planejadores clássicos e sua eficácia é severamente limitada pela natureza autoavaliada do feedback em ambientes de simulação PDDL, reforçando a hipótese de que o desempenho atual dos LLMs em planejamento reflete mais a familiaridade com os dados de treinamento do que uma capacidade de raciocínio lógico robusta.