Improved Generalized Planning with LLMs through Strategy Refinement and Reflection

Resumo Técnico: Planejamento Generalizado Melhorado com LLMs através de Refinamento de Estratégia e Reflexão

1. O Problema

O planejamento automatizado clássico (em PDDL) geralmente gera planos para tarefas individuais. O Planejamento Generalizado busca criar um único plano (ou programa) que generalize para todas as tarefas de um domínio específico, lidando com variações de tamanho e casos diferentes através de loops e condicionais.

Recentemente, Grandes Modelos de Linguagem (LLMs) foram utilizados para gerar programas Python que representam esses planos generalizados. No entanto, a abordagem anterior (Silver et al., 2024) apresentava limitações críticas:

• Geração de Estratégia Frágil: O LLM gerava uma estratégia em linguagem natural (NL) e a passava diretamente para a geração de código. Se a estratégia lógica estivesse incorreta, o código resultante falharia.
• Falta de Validação Intermediária: Não havia verificação da lógica da estratégia antes da implementação em código.
• Depuração Limitada: A depuração ocorria apenas no nível do código Python, sem uma etapa de reflexão profunda sobre por que o erro ocorreu.
• Baixa Cobertura: A abordagem original tinha dificuldade em gerar planos corretos em domínios complexos ou não vistos durante o treinamento.

2. Metodologia Proposta

Os autores propõem um novo framework que introduz três inovações principais para melhorar a qualidade dos planos generalizados:

A. Geração e Validação de Estratégias em Pseudocódigo
Em vez de gerar apenas uma descrição em linguagem natural, o LLM é instruído a gerar uma estratégia em pseudocódigo estruturado.

• Validação Automática: O pseudocódigo não é executável diretamente, mas é usado para instruir o LLM a gerar planos PDDL para tarefas de depuração (debugging tasks).
• Feedback: Um validador simbólico (VAL) verifica se os planos gerados são corretos. Se falharem, o feedback é convertido em uma mensagem de erro.
• Reflexão na Estratégia: O LLM recebe o feedback e é instruído a refletir sobre qual parte do pseudocódigo causou o erro e por que, antes de tentar corrigir o pseudocódigo. Isso permite corrigir erros lógicos antes da geração do código Python.

B. Reflexão no Depuração de Código (Code Debugging)
Aplicando o mesmo princípio ao código Python:

• O LLM gera o código baseado na estratégia validada.
• Se o código falhar em uma tarefa de depuração, o sistema não apenas relata o erro, mas solicita ao LLM uma reflexão sobre a localização e a causa raiz do erro lógico no código.
• O LLM revisa o código com base nessa reflexão.

C. Geração de Múltiplas Variantes de Código
Inspirado em técnicas de geração de código, o framework gera várias versões iniciais do programa (alterando aleatoriamente a ordem dos objetos e fatos nas entradas de exemplo) e seleciona a melhor versão com base no desempenho nas tarefas de depuração.

3. Contribuições Principais

1. Pipeline de Refinamento de Estratégia: Introdução de um passo intermediário onde a lógica do plano é validada e refinada via pseudocódigo e reflexão, separando a abstração lógica da implementação sintática.
2. Mecanismo de Reflexão: Uso sistemático de prompts de reflexão para identificar a causa raiz de falhas tanto na estratégia quanto no código, em vez de apenas tentar corrigir o erro cegamente.
3. Seleção de Melhor Candidato: Geração de múltiplas variantes de código para aumentar a probabilidade de encontrar uma solução correta.
4. Avaliação Abrangente: Testes em 17 domínios PDDL (incluindo os benchmarks de Silver et al. e novos domínios) com dois modelos de raciocínio (DeepSeek-V3.2, Qwen3-30B-A3B-Thinking) e dois não-raciocinadores (GPT-4o, Llama3.3).

4. Resultados Experimentais

• Desempenho Geral: A abordagem proposta (configuração F5-3 com DeepSeek) atingiu uma cobertura média de 82% em todos os domínios, superando significativamente a abordagem anterior (Silver et al.) e a linha de base reimplementada.
  • Melhoria de +23 pontos percentuais com GPT-4o.
  • Melhoria de +20 pontos percentuais com Qwen Thinking.
• Generalização: Os programas gerados com 100% de cobertura nos dados de avaliação foram verificados manualmente e demonstraram generalizar para tarefas de tamanho arbitrário e para domínios "disfarçados" (com nomes de ações/objetos alterados, mas mesma estrutura lógica), indicando que o modelo aprendeu a estratégia e não apenas memorizou soluções.
• Eficiência de Tempo de Execução: Embora a geração do programa seja custosa (per-domain), a execução do plano gerado é extremamente rápida. Em 97% das tarefas resolvidas por ambos, o programa Python foi consideravelmente mais rápido que o planejador simbólico satisficing (FF).
• Qualidade do Plano: Os planos gerados são ligeiramente mais longos (em média 1.1x a 1.5x) que os planos ótimos gerados por planejadores simbólicos, mas oferecem uma solução escalável e polinomial.

5. Significado e Conclusão

Este trabalho demonstra que o planejamento generalizado com LLMs pode ser substancialmente melhorado ao tratar a geração de estratégia como uma tarefa separada e validável, em vez de um passo único de "pensamento" (Chain-of-Thought) que leva diretamente ao código.

• Superação de Limitações de Escala: Ao gerar um programa generalizado, o custo de chamadas ao LLM é pago apenas uma vez por domínio, permitindo resolver tarefas de qualquer tamanho subsequentemente.
• Validação Lógica: A introdução da validação no nível do pseudocódigo e da reflexão sobre erros mitiga o problema de alucinação lógica, onde o LLM gera código sintaticamente correto, mas semanticamente falho.
• Futuro: Os autores sugerem que a combinação desses métodos com buscas simbólicas e a criação automática de conjuntos de tarefas de depuração mais eficazes são direções promissoras para garantir garantias de correção intrínseca.

Em suma, o artigo estabelece um novo estado da arte para o uso de LLMs em planejamento automatizado, provando que, com as técnicas corretas de refinamento e validação, os LLMs podem gerar controladores robustos e generalizáveis para domínios complexos.