Resumen Técnico: EvoPlan

Definición del Problema

El artículo aborda el desafío de ejecutar tareas robóticas de lenguaje natural en entornos parcialmente conocidos y dinámicos, satisfaciendo al mismo tiempo normas implícitas (por ejemplo, reglas de seguridad, preferencias sociales) que no están explícitamente declaradas en la instrucción de la tarea. Los autores identifican tres dificultades centrales que hacen que las soluciones estándar sean ineficaces:

1. Observabilidad Parcial y Dinámica: El modelo del mundo es incompleto y las trayectorias del agente deben rastrearse en línea, lo que provoca que los planificadores que dependen de entornos totalmente especificados fallen.
2. Subespecificación de la Instrucción (Prompt): Las tareas de lenguaje natural suelen omitir requisitos normativos. Un planificador que optimiza únicamente para el objetivo explícito puede satisfacer la instrucción pero violar normas implícitas (por ejemplo, llegar a un destino cruzando un semáforo en rojo).
3. Datos de Clase Única: Los únicos datos previos disponibles consisten en registros de operación no anotados donde cada traza registrada es "aceptable". No hay violaciones etiquetadas, pares de preferencias o especificaciones simbólicas de las normas, lo que hace inaplicables el modelado de recompensas estándar, el aprendizaje por clonación de comportamiento o el RL basado en preferencias.

Metodología: El Marco de Trabajo EvoPlan

EvoPlan es un marco neuro-simbólico que integra Modelos de Lenguaje de Gran Escala (LLMs) con verificación formal y búsqueda evolutiva. Opera en tres etapas distintas:

1. Minería de Restricciones Offline (Ajuste de STL Evolutivo)

El sistema aprende una única restricción global de Lógica Temporal de Señales (STL), $\Phi_{mob}$, a partir de datos de demostración no anotados.

• Síntesis Contrafactual: Dado que los datos son de clase única (todos aceptables), el sistema genera una clase negativa ($D^-$) utilizando perturbaciones procedimentales (por ejemplo, exceso de velocidad, hacinamiento) y un generador de violaciones basado en LLM. Esto transforma el problema en una tarea de clasificación supervisada.
• Búsqueda Evolutiva: Una búsqueda evolutiva impulsada por LLM (inspirada en AlphaEvolve) evoluciona fórmulas STL sobre una gramática de átomos de señal (velocidad, despeje, tiempo para la colisión, etc.). La función de aptitud maximiza la robustez en el conjunto positivo ($D^+$) mientras minimiza la satisfacción en el conjunto negativo ($D^-$), penalizando la complejidad.
• Versatilidad: Este único procedimiento recupera tanto reglas codificadas (por ejemplo, "detenerse en semáforos en rojo" a partir de logs de nuPlan) como preferencias de población (por ejemplo, espaciado social a partir de datos de teleoperación de SCAND).

2. Síntesis de Planes PDDL Evolutivo

El sistema emplea un Planificador PDDL Evolutivo para generar secuencias de acciones discretas.

• LLM como Mecanismo de Propuesta: En lugar de un planificador independiente, el LLM propone y repara planes PDDL contra un dominio y un problema fijos.
• Cascada de Validación: Una cascada programática (verificación de sintaxis PDDL, simulación VAL, alcanzabilidad de objetivos y verificación de robustez STL) califica a los candidatos.
• Reparación Iterativa: El LLM condiciona su siguiente mutación basándose en el feedback específico del validador (por ejemplo, "la acción X falló el precondición Y"). Esto permite que el "prefijo verificado" del plan crezca de forma monótona a través de las iteraciones.
• Robustez ante el Desalineamiento: El sistema maneja escenarios de mundo abierto y desalineamiento de vocabulario (por ejemplo, objetivo "caliente" vs. acción "tostar") utilizando un LLM para derivar un mapa de predicado-símbolo antes de la validación.

3. Bucle de Ejecución con Restricciones

En tiempo de ejecución, el sistema vincula el plan PDDL discreto con la ejecución continua del robot.

• Expansión de Waypoints: Cada acción PDDL se envía a una capa de navegación (por ejemplo, Nav2) que genera una secuencia de waypoints.
• Blindaje (Shielding): La secuencia de waypoints se verifica contra la restricción global de STL minada $\Phi_{mob}$.
• Replanificación ante Violación: Si la secuencia viola $\Phi_{mob}$, la acción es rechazada. El sistema compromete el prefijo verificado del plan, actualiza el estado inicial basándose en el estado actual del mundo y vuelve a invocar al planificador para generar un nuevo sufijo. Esto crea un sistema de bucle cerrado donde el planificador se reactiva solo cuando la seguridad o la viabilidad se ven comprometidas.

Contribuciones Clave

1. Minería de STL Basada en Datos: Un método para extraer una única restricción de movilidad global de datos de demostración de clase única mediante la síntesis de negativos contrafactuales, aplicable tanto a dominios basados en reglas como en preferencias.
2. Solucionador PDDL Evolutivo: Un planificador que utiliza LLMs para la propuesta y reparación dentro de un bucle formalmente verificado, demostrando robustez al desalineamiento de vocabulario y al crecimiento de la creencia de mundo abierto.
3. Arquitectura de Ejecución con Restricciones: Un bucle de tiempo de ejecución que compila planes PDDL en waypoints, los valida contra restricciones STL aprendidas y dispara la replanificación tras una violación, asegurando la seguridad sin reentrenar la política subyacente.
4. Despliegue Local: Todo el pipeline, incluyendo todas las llamadas a LLM, se ejecuta en un modelo de pesos abiertos alojado localmente (Qwen3-32B), permitiendo el despliegue en el robot sin dependencia de la nube.

Resultados Experimentales

Los autores evalúan el marco de trabajo a través de tres benchmarks:

• Transferencia de Restricción STL (Blindaje):
  • Conducción (nuPlan $\to$ Bench2Drive): La restricción basada en reglas minada redujo las infracciones de semáforos en rojo en un 77% y las colisiones en un 71% en una política de conducción Qwen2.5-VL, mejorando la puntuación general de conducción.
  • Navegación Social (SCAND $\to$ HA-VLN-CE): La restricción basada en preferencias minada redujo los contactos evitables en un 82% (PointNav) y un 93% (MLP) en tareas de navegación de interiores, comprimiendo eficazmente la "cola insegura" de las distribuciones de seguridad.
• Rendimiento de Planificación (ALFWorld Text):
  • En el benchmark de mundo abierto ALFText, EvoPlan alcanzó una tasa de éxito del 98.5% en tareas no vistas, superando a bases sólidas (por ejemplo, NL-PDDL con 94%, LLMs directos con ~20%).
  • Crucialmente, mantuvo este rendimiento (98.5%) incluso cuando el vocabulario del objetivo no coincidía con el vocabulario del modelo de acción, mientras que otros métodos cayeron significativamente.
  • Resolvió tareas con planes óptimos que excedían la profundidad 10, donde los planificadores de horizonte fijo fallaron.
• Ejecución de Extremo a Extremo (Gazebo):
  • En un entorno de fábrica simulado con 9–15 peatones, el sistema completó misiones de recogida y entrega con degradación gradual. Aunque una misión falló debido a la densidad extrema, el sistema mantuvo una baja exposición al espacio personal y evitó colisiones en cuatro de cinco ejecuciones al replanificar cuando se violaron los umbrales de despeje.

Significado y Reivindicaciones

El artículo afirma que EvoPlan ofrece un enfoque de "lo mejor de ambos mundos": aprovecha la fluidez y la conciencia de contexto de los LLMs para la generación y reparación de planes, mientras confía en la validación simbólica y la lógica temporal derivada de datos para garantizar la ejecutabilidad y la seguridad.

Los autores enfatizan que el sistema trata a los modelos neuronales como generadores de candidatos en lugar de fuentes de autoridad sin control. Al aprender restricciones directamente de registros operativos no anotados, el marco evita la necesidad de especificaciones de seguridad escritas manualmente o datos de violación etiquetados. Los resultados sugieren que este bucle neuro-simbólico es robusto a la dinámica de mundo abierto y al desalineamiento de vocabulario, proporcionando una vía para desplegar planificadores robóticos seguros y adaptables que no requieren infraestructura en la nube.