Resumen Técnico: HALO – Un enfoque supervisado para la planificación de extremo a extremo con agentes PDDL mediante LLM

1. Planteamiento del problema

La planificación automatizada requiere traducir objetivos en lenguaje natural a especificaciones formales de Lenguaje de Definición de Dominios de Planificación (PDDL, por sus siglas en inglés), que los resolvedores clásicos puedan procesar. Aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen un puente entre el lenguaje natural y las representaciones formales, son poco fiables cuando se utilizan de forma aislada, ya que suelen alucinar predicados, codificar incorrectamente las restricciones o producir planes inválidos.

Los marcos de trabajo agénticos recientes (por ejemplo, La Malfa et al. [2026]) abordan esto orquestando un grupo de agentes de reparación especializados dentro de un bucle de refinamiento verificado por un verificador. En estos sistemas, un LLM de "frontera" (por ejemplo, GPT-5, Gemini-3) actúa como el orquestador, inspeccionando el estado actual (PDDL, registros del solver, errores del validador) y seleccionando el agente de reparación apropiado en cada paso. Si bien este enfoque es efectivo, crea un cuello de botella significativo: el propio orquestador requiere una llamada costosa a la API de un LLM de frontera en cada paso de refinamiento. Esta dependencia limita el despliegue a escenarios con acceso continuo a la API, lo que hace que el marco de trabajo sea prohibitivamente costoso para entornos de escala de laboratorio, de borde (edge) o aislados (air-gapped).

El desafío central abordado por este artículo es: ¿Puede el orquestador de LLM de frontera ser reemplazado por un modelo pequeño, servido localmente, sin sacrificar las tasas de éxito de la planificación?

2. Metodología: HALO

Los autores proponen HALO (Hybrid Agent-Learned Orchestrator), un sistema que reemplaza al orquestador de frontera basado en prompts por una política ajustada mediante QLoRA emparejada con una capa de reglas predefinidas.

2.1 La señal de entrenamiento: Trayectorias guiadas por el verificador

Un hallazgo clave del artículo es que el verificador externo (compilador y validador) ya proporciona una fuerte señal de supervisión. En el marco de trabajo agéntico, una trayectoria de refinamiento es una secuencia de decisiones de (estado, agente). Si la trayectoria termina en un plan válido (certificado por el verificador), cada decisión dentro de esa trayectoria es implícitamente "correcta" en el sentido de que contribuyó a un resultado exitoso.

• Recolección de datos: Los autores ejecutan un profesor fuerte basado en prompts (GPT-5-mini) en problemas de entrenamiento a través de 11 dominios PDDL.
• Filtrado: Las trayectorias se filtran estrictamente mediante el verificador externo. Solo se conservan aquellas que terminan en un plan válido.
• Supervisión: El conjunto de entrenamiento consiste en pares (estado, agente) extraídos de estas trayectorias verificadas. La política se entrena mediante el ajuste fino supervisado (SFT) para predecir el ID del agente que el profesor seleccionó, condicionado al estado.

2.2 Espacio de acción expandido

El marco de trabajo expande el grupo de agentes de los 13 originales a 21 agentes, categorizados como:

1. Agentes Base (13): Rutinas de reparación impulsadas por LLM (por ejemplo, corrector de sintaxis, eliminador de alucinaciones) de trabajos previos.
2. Agentes de Reparación de Planes Deterministas (5): Rutinas no basadas en LLM (por ejemplo, intercambio de variables, reordenamiento de acciones, eliminación de redundancias) que se ejecutan en milisegundos con costo cero de LLM.
3. Agentes de LLM conscientes de PDDL (3): Agentes especializados para errores de modelado (por ejemplo, correcciones de jerarquía de tipos, generalización de predicados).

2.3 Política de inferencia híbrida

En el tiempo de inferencia, HALO opera con una política de dos capas ($\pi_{hybrid}$):

• Capa 1 (Reglas predefinidas): Tres casos trivialmente decidibles se resuelven mediante reglas sin invocar un modelo:
  • Inicio en frío (PDDL vacío) $\rightarrow$ Selecciona AgentEmergency.
  • Se detectan errores de sintaxis $\rightarrow$ Selecciona AgentSyntaxPDDL.
  • Se alcanza un plan válido $\rightarrow$ Selecciona NoOpAgent (terminar).
• Capa 2 (Política aprendida): Si ninguna regla aplica, un LLM pequeño, ajustado con QLoRA (por ejemplo, Llama-3-8B), predice el siguiente ID de agente. El modelo se ajusta para producir un único token correspondiente al ID del agente (0–20).

2.4 Detalles del entrenamiento

• Arquitectura: Ajuste fino QLoRA (cuantización de 4 bits, rango LoRA 16) sobre modelos base como Llama-3-8B, Qwen-2.5-7B y Gemma-2-9B.
• Función de pérdida: Entropía cruzada de un solo token sobre el ID del agente, con los tokens de prompt enmascarados.
• Volumen de datos: Aproximadamente 12,000–15,000 pares (estado, agente) derivados de ~2,000 trayectorias de alta calidad aceptadas por el verificador.

3. Contribuciones clave

1. HALO (Hybrid Agent-Learned Orchestrator): Un orquestador entrenado que reemplaza la llamada a la API del LLM de frontera con la inferencia de un modelo pequeño servido localmente. Igualar o supera el rendimiento de las líneas base de GPT-5-mini y Gemini-3-Flash, reduciendo los costos de orquestación en más de un orden de magnitud.
2. Supervisión de trayectoria guiada por el verificador: Los autores formulan el entrenamiento del orquestador como aprendizaje por imitación en trayectorias certificadas por un compilador/validador externo. El verificador actúa como un filtro de aceptación de datos en lugar de una función de pérdida, proporcionando una señal de supervisión fuerte y libre de ruido que se generaliza a través de los dominios.
3. Espacio de acción expandido con política híbrida: La introducción de 21 agentes (incluyendo rutinas de reparación deterministas) y una política híbrida que delega decisiones triviales a reglas predefinidas. Esto permite que la política aprendida se concentre en decisiones genuinamente ambiguas, mejorando la eficiencia y reduciendo la carga de entrenamiento.

4. Resultados experimentales

El sistema fue evaluado en 11 dominios PDDL que abarcan los benchmarks PlanBench, Google Natural Plan y Classical Planning.

• Tasa de éxito:
  • HALO iguala o supera la línea base de GPT-5-mini en todas las familias (por ejemplo, +3.3% en PlanBench, +37.3% en Natural Plan).
  • HALO se sitúa dentro de los 3 puntos porcentuales de la línea base más fuerte, Gemini-3-Flash, en PlanBench y Natural Plan, y supera a esta última en la planificación clásica (95.8% frente a 93.0%).
• Eficiencia y Costo:
  • Llamadas a LLM: HALO reduce el total de llamadas a LLM por episodio en un 40–50% en comparación con las líneas base, debido principalmente a que la capa de reglas híbrida resuelve ~35% de las decisiones sin una llamada al modelo.
  • Costo: El costo de orquestación cae de ~$0.18–$0.22 por tarea (GPT-5-mini) y ~$0.06–$0.08 (Gemini-3-Flash) a $0.004 por tarea para HALO. Esto representa una reducción de 45× frente a GPT-5-mini y una reducción de 15× frente a Gemini-3-Flash.
• Generalización: El modelo se generaliza a dominios no incluidos en el entrenamiento con una caída de rendimiento de solo ~5–8 puntos porcentuales, lo que sugiere que la señal aprendida captura patrones de orquestación generales al dominio en lugar de memorizar atajos específicos.

5. Significancia y Reivindicaciones

El artículo afirma que los marcos de trabajo agénticos construidos alrededor de verificadores formales admiten una simplificación estructural: el orquestador no necesita ser un LLM de frontera generalista. En su lugar, puede ser un modelo pequeño, servido localmente y entrenable, siempre que el verificador proporcione señales de aceptación por trayectoria.

Este hallazgo tiene implicaciones significativas para el despliegue:

• Desacoplamiento de las APIs: Elimina la dependencia del acceso continuo a las costosas APIs de los LLM de frontera.
• Accesibilidad: Hace que la planificación de lenguaje natural de extremo a extremo sea factible para entornos de escala de laboratorio, de borde (edge) y aislados (air-gapped) donde el acceso a la API es impráctico o está prohibido.
• Eficiencia de Costos: Demuestra que se puede lograr una planificación de alta calidad a una fracción del costo (aproximadamente 45× más barato) aprovechando la supervisión "gratuita" inherente al bucle de verificación.

Los autores señalan limitaciones, incluyendo la dependencia del comportamiento del profesor (limitada por las trayectorias filtradas por el verificador) y la incapacidad de manejar extensiones de PDDL fuera del alcance de los 21 agentes (por ejemplo, fluentes numéricos). Sin embargo, postulan que este enfoque supervisado sirve como una base sólida, con trabajos futuros que podrían explorar el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) para romper el "techo del profesor".