Resumen Técnico: Planificación de Lenguaje Iterativa con Anclaje (Grounded Iterative Language Planning - GILP)

1. Planteamiento del Problema

El artículo aborda el desafío de la propagación de alucinaciones en tareas de planificación de largo horizonte realizadas por agentes de Modelos de Lenguaje de Gran Escala (LLM). En la planificación estándar basada en agentes (por ejemplo, ReAct, Chain-of-Thought), el LLM actúa tanto como el planificador como el modelo de mundo basado en agentes. Genera una acción y, simultáneamente, predice el siguiente estado (un "delta") en lenguaje natural o JSON estructurado.

El problema central es que los errores en estas predicciones de estado son alucinaciones semánticas (por ejemplo, afirmar que una tarea se ha completado cuando no es así, o ignorar una dependencia). A diferencia de los modelos parametrizados, estos errores no se cuantifican fácilmente mediante pérdidas de regresión estándar (como MSE). Una vez que un átomo de estado alucinado entra en la ventana de contexto, se propaga a través de los pasos subsiguientes, causando una cascada de acciones inválidas y el fallo de la tarea. El artículo señala que, si bien los modelos basados en agentes sobresalen en el razonamiento semántico, sus tasas de error se acumulan significamente en horizontes largos (por ejemplo, alcanzando una probabilidad de error por paso de 0.393 en el paso 10 en los experimentos).

Por el contrario, los modelos de mundo parametrizados (predictores de transición entrenados) ofrecen métricas de error supervisadas y medibles (NodeMSE, precisión de delta), pero a menudo carecen de la flexibilidad semántica para razonar sobre objetivos complejos y novedosos, lo que resulta en tasas de éxito independientes más bajas.

2. Metodología: Planificación de Lenguaje Iterativa con Anclaje (GILP)

GILP es una arquitectura híbrida diseñada para combinar el razonamiento semántico de los agentes basados en API con las señales de transición medibles de un núcleo parametrizado pequeño y entrenado. El sistema opera en un bucle iterativo con cuatro fases distintas:

Fase 1: Puntuación del Esqueleto Parametrizado

Una red neuronal pequeña y entrenada (el "núcleo", típicamente una Red Neuronal de Grafos o MLP) recibe el estado actual $G_t$ y las acciones candidatas $A_t$. Predice:

• Validez de la acción ($p_{valid}$)
• Deltas de estado ($\hat{\Delta}G$)
• Riesgo ($\hat{\rho}$)
• Valor ($\hat{U}$)
• Probabilidad de finalización ($\hat{p}_{done}$)

El núcleo comprime el conjunto de acciones candidatas en un "esqueleto" (las top-$k$ acciones por valor y riesgo) para reducir la sobrecarga de la ventana de contexto.

Fase 2: Borrador del LLM

El agente LLM recibe el estado serializado, el objetivo y el esqueleto de la Fase 1. Elabora un borrador de una acción y un delta del siguiente estado imaginado ($\tilde{\Delta}_t$) en JSON estructurado. Esta fase aprovecha las capacidades de razonamiento del LLM.

Fase 3: Puerta de Consistencia y Re-prompteo Correctivo

Este es el mecanismo central para la reducción de alucinaciones. El sistema compara el delta imaginado por el LLM ($\tilde{\Delta}_t$) con el delta predicho por el núcleo ($\hat{\Delta}G$) utilizando la similitud de Jaccard sobre el conjunto de nodos cambiados.

• Alta Consistencia ($\ge 0.70$): La acción es aceptada.
• Consistencia Media ($0.30 \le cons < 0.70$): La acción es aceptada pero penalizada en el ranking.
• Baja Consistencia ($< 0.30$): Se activa un re-prompteo correctivo. El sistema envía un mensaje dirigido al LLM enumerando explícitamente los nodos donde el núcleo y el LLM discrepan (por ejemplo, "Nodo X: el núcleo predice pendiente, usted imaginó completado"). Se le pide al LLM que revise su acción o su delta de estado. Esta corrección está limitada a una revisión por paso para acotar los costes.

Fase 4: Puerta de Riesgo

Si el riesgo predicho por el núcleo para la acción elegida supera un umbral ($\rho_{th} = 0.65$), se activa una tercera llamada al LLM para advertir al agente y restringir el espacio de acciones a opciones de bajo riesgo, evitando fallos catastróficos (por ejemplo, reintentar una tarea con una causa raíz no resuelta).

3. Contribuciones Clave

1. Marco Comparativo: El artículo enmarca la planificación de largo horizonte como un compromiso entre dos familias de modelos de mundo: modelos basados en agentes, flexibles pero propensos a las alucinaciones, y modelos parametrizados, medibles pero semánticamente más débiles.
2. Métricas de Alucinación Operativas: Define métricas específicas para los errores de los agentes que van más allá de las funciones de pérdida estándar:
   • Tasa de Estado Alucinado (HSR): La fracción de átomos de estado imaginados que discrepan con la verdad de referencia (ground truth).
   • Profundidad de Propagación (PD): El número medio de pasos subsiguientes condicionados a un átomo alucinado.
   • Pendiente de Explosión de Error (EES): La tasa a la que los errores se acumulan con el tiempo.
3. Arquitectura GILP: La introducción de un sistema híbrido que utiliza un núcleo pequeño y entrenado no para resolver la tarea, sino para proporcionar una "señal de anclaje" (validez, delta, riesgo) para corregir las predicciones de estado del LLM a través de una puerta de consistencia.
4. Validación Empírica: Evaluación extensa a través de cuatro benchmarks estructurados en grafos (TaskGraph, ToolChain, ResourceAlloc, RepairFlow) y llamadas de API del mundo real (GPT-4o-mini).

4. Resultados Experimentales

Los resultados se derivan de un simulador de comportamiento calibrado (validado contra ejecuciones reales de GPT-4o-mini) y pruebas directas de API.

• Tasa de Éxito (SR): GILP logra una tasa de éxito de 0.838 en los benchmarks agrupados, superando significativamente al mejor baseline de solo agente (Agent-Replan con 0.668) y a los planificadores de solo parametrizados (0.565–0.625).
• Reducción de Alucinaciones:
  • Simulador: La HSR cae de 0.205 (Agent-Replan) a 0.079 (GILP).
  • API Real (GPT-4o-mini): La HSR cae de 0.176 a 0.035 (una reducción relativa del 80%).
• Rendimiento de Largo Horizonte: Para tareas con horizontes $H > 10$, la tasa de éxito del agente solo colapsa a 0.471, mientras que GILP mantiene 0.758.
• Eficiencia de Coste: GILP añade aproximadamente un 22% de llamadas adicionales al LLM por paso (debido a la corrección ocasional y las puertas de riesgo), pero reduce los tokens totales requeridos por tarea resuelta en comparación con los agentes sin corrección porque resuelve más episodios.
• Fuerza del Núcleo: El núcleo parametrizado no necesita ser un planificador fuerte. Incluso un MLP débil (SR independiente de 0.509) mejora significativamente el sistema híbrido (SR 0.768) cuando se utiliza como señal de anclaje.
• Robustez Multi-API: GILP iguala el rendimiento entre diferentes APIs de LLM (GPT-4o-mini, Claude-3-Haiku, Gemini-1.5-Flash, Llama-3-8B), reduando la varianza de la HSR y haciendo que los modelos de código abierto sean competitivos con los propietarios cuando están anclados.

5. Significado y Reivindicaciones

El artículo afirma que la principal contribución no es la superioridad del modelo parametrizado, sino la división del trabajo que permite. El agente retiene su razonamiento semántico y flexibilidad, mientras que el núcleo parametrizado proporciona una señal "barata, medible y auditable" para detectar y corregir las alucinaciones de estado antes de que se propaguen.

Los autores enfatizan que:

• La alucinación es un problema de propagación: Un solo token falso puede invalidar toda una trayectoria; GILP interrumpe esta cascada.
• El entrenamiento dirigido es suficiente: Un núcleo pequeño y entrenado es suficiente para anclar un agente basado en API; no necesita reemplazar las capacidades de razonamiento del agente.
• La corrección dirigida es eficiente: La puerta de consistencia solo activa los re-prompteos cuando es necesario (aprox. 22% de los pasos), evitando el alto coste de verificar cada paso con un modelo grande.

El artículo concluye que GILP ofrece un camino práctico para reducir las alucinaciones en agentes autónomos sin sacrificar las capacidades de razonamiento de los grandes modelos de lenguaje, logrando altas tasas de éxito con solo un aumento marginal en el coste computacional.