Improved Generalized Planning with LLMs through Strategy Refinement and Reflection

Resumen Técnico

1. El Problema

La planificación generalizada busca generar planes que no resuelvan una sola tarea específica, sino que se generalicen para resolver todas las tareas dentro de un dominio de planificación dado (definido en PDDL). Tradicionalmente, esto se ha abordado con métodos simbólicos, pero recientemente se ha explorado el uso de Modelos de Lenguaje Grandes (LLMs).

El trabajo previo (Silver et al., 2024) propuso un marco donde un LLM genera una estrategia en lenguaje natural (NL) y luego la implementa como un programa Python. Sin embargo, este enfoque tiene limitaciones críticas:

• Falta de validación intermedia: Si la estrategia generada en lenguaje natural es incorrecta, el LLM intentará codificar una lógica errónea, resultando en un plan generalizado fallido.
• Dependencia de la primera aproximación: El sistema no verifica la viabilidad de la estrategia antes de la codificación.
• Escalabilidad y costo: Los enfoques directos de generación de planes para cada tarea son costosos y no escalan bien a dominios no vistos.

2. Metodología Propuesta

Los autores proponen un marco mejorado que introduce tres componentes clave para refinar el proceso de generación, transformando la estrategia en un subproceso central y validable. El flujo se divide en tres etapas principales:

A. Generación y Validación de Estrategias en Pseudocódigo
En lugar de generar una estrategia en lenguaje natural libre, el LLM genera una estrategia en pseudocódigo.

• Estructura: El pseudocódigo utiliza palabras clave estructuradas (for, if, continue) y una jerarquía anidada que se asemeja directamente a la estructura del programa Python final.
• Validación Automática (Debugging a nivel de estrategia): Dado que el pseudocódigo no es ejecutable directamente, el sistema utiliza un LLM para simular la ejecución de la estrategia en tareas de depuración (generando planes PDDL basados en la estrategia).
• Validación Simbólica: Los planes generados se validan con un validador simbólico (VAL). Si el plan falla, se genera un mensaje de retroalimentación.
• Reflexión y Corrección: Antes de corregir el pseudocódigo, el LLM pasa por un paso de reflexión donde debe identificar dónde y por qué falló la estrategia. Luego, se le pide que revise el pseudocódigo basándose en esta reflexión. Este ciclo continúa hasta que la estrategia resuelve todas las tareas de depuración.

B. Generación de Código con Reflexión
Una vez seleccionada la mejor estrategia en pseudocódigo, se pasa a la generación del programa Python.

• Reflexión en la depuración de código: Al igual que en la etapa de estrategia, si el código falla, el LLM recibe retroalimentación y debe reflexionar sobre la causa del error lógico antes de intentar reparar el código.
• Generación de Múltiples Variantes: Inspirándose en la generación de código con LLMs, el sistema genera múltiples versiones iniciales del programa variando el orden de los objetos y hechos en el prompt (manteniendo temperatura 0 y decodificación codiciosa). Se selecciona la versión que mejor rendimiento tiene en las tareas de depuración.

C. Selección del Mejor Plan
El sistema ejecuta múltiples iteraciones (configuraciones F3-6 y F5-3) y selecciona el programa final basado en su cobertura (porcentaje de tareas resueltas correctamente) en el conjunto de datos de depuración.

3. Contribuciones Clave

1. Refinamiento de Estrategias en Pseudocódigo: Tratar la generación de la estrategia como una tarea separada y validable mediante pseudocódigo, permitiendo detectar y corregir errores lógicos antes de la implementación en Python.
2. Mecanismo de Reflexión: Introducir un paso explícito de "reflexión" donde el LLM analiza la causa raíz de un error (tanto en estrategia como en código) antes de proponer una corrección, imitando procesos de auto-corrección avanzados.
3. Generación de Múltiples Candidatos: Implementar una estrategia de diversificación generando varias versiones iniciales del programa para mitigar el riesgo de quedar atrapado en un mínimo local de errores.
4. Evaluación Exhaustiva: Validación en 17 dominios de PDDL (incluyendo los de Silver et al. y nuevos) utilizando cuatro LLMs (dos de razonamiento: DeepSeek-V3.2, Qwen3; y dos no de razonamiento: GPT-4o, Llama3.3).

4. Resultados

• Rendimiento General: El enfoque propuesto mejora sustancialmente la cobertura promedio en todos los dominios y modelos en comparación con el estado del arte (Silver et al., 2024).
  • La configuración óptima (F5-3 con DeepSeek) logra una cobertura promedio del 82% en los 17 dominios.
  • Mejoras significativas sobre la línea base: +23 puntos porcentuales con GPT-4o, +20 con Qwen, +14 con DeepSeek y +12 con Llama.
• Generalización: Los programas que alcanzan el 100% de cobertura en los datos de evaluación se verificaron manualmente y demostraron generalizarse a tareas de tamaño arbitrario y generadas por instancias no vistas, superando la limitación de los LLMs de no generalizar bien a tamaños de tarea mayores cuando se generan planes directos.
• Eficiencia de Ejecución: Aunque los planes generados por Python son ligeramente más largos (1.1x) que los generados por planificadores simbólicos heurísticos (FF), su tiempo de ejecución es drásticamente menor (97% de las tareas son más rápidas que FF), ya que evitan la búsqueda simbólica costosa.
• Robustez: El sistema funciona bien en variantes "disfrazadas" (costumed) de los dominios, donde los nombres de objetos y acciones cambian pero la lógica se mantiene, indicando que el LLM está razonando sobre la estrategia y no solo memorizando soluciones.

5. Significado e Impacto

Este trabajo demuestra que la planificación generalizada asistida por LLMs puede superar sus limitaciones actuales mediante un enfoque modular que separa la lógica de alto nivel (estrategia) de la implementación (código).

• Cambio de Paradigma: Mueve el enfoque de "generar un plan por tarea" a "generar un programa generalizable por dominio", reduciendo el costo de inferencia a largo plazo (una vez generado el programa, se puede ejecutar en infinitas tareas del mismo dominio).
• Viabilidad Práctica: Al combinar la capacidad de razonamiento de los LLMs modernos con la validación simbólica rigurosa, se obtienen soluciones que son tanto correctas como eficientes en tiempo de ejecución, acercando la planificación basada en LLMs a la viabilidad para aplicaciones del mundo real.
• Limitaciones: El enfoque aún depende de la capacidad del LLM para generar pseudocódigo correcto inicialmente y requiere un presupuesto computacional mayor por dominio (aunque no por tarea) para la fase de depuración y refinamiento.

En conclusión, la introducción de la validación de estrategias en pseudocódigo y los pasos de reflexión cierra la brecha entre la capacidad de razonamiento de los LLMs y la necesidad de corrección lógica estricta en la planificación automática.