Bridging Large-Model Reasoning and Real-Time Control via Agentic Fast-Slow Planning

Resumen Técnico: Planificación Ágil Rápida-Lenta (AFSP)

1. El Problema

La integración de Modelos de Lenguaje Grandes (LLMs) y Modelos Fundacionales en sistemas autónomos presenta un desafío fundamental: traducir la intención semántica de alto nivel en un control fiable y en tiempo real. Las aproximaciones existentes sufren de dos limitaciones principales:

• Generación directa de trayectorias por LLMs: Es frágil, difícil de verificar y propensa a latencias que violan las restricciones de tiempo estrictas del control.
• Ajuste de objetivos de Control Predictivo de Modelo (MPC) en línea: Mezcla la deliberación lenta con el control rápido, difuminando las interfaces y reduciendo la interpretabilidad.

Existe una brecha en la arquitectura actual: las estrategias actuales no desacoplan adecuadamente los roles y escalas de tiempo de la percepción, el razonamiento, la planificación y el control, lo que impide aprovechar sus fortalezas complementarias.

2. Metodología: Agentic Fast–Slow Planning (AFSP)

El autores proponen AFSP, un marco jerárquico inspirado en la cognición de doble proceso (lento/rápido) que desacopla el sistema en tres capas operando en diferentes escalas de tiempo:

1. Capa de Razonamiento (Lenta): Interpreta la escena y emite decisiones simbólicas.
2. Capa de Planificación (Media): Convierte las decisiones en trayectorias ejecutables.
3. Capa de Control (Rápida): Ejecuta el seguimiento en bucle cerrado para garantizar seguridad y estabilidad.

El sistema se basa en dos "puentes" clave que conectan estas capas:

A. Puente 1: Perception2Decision (Percepción a Decisión)
Este módulo desacopla la percepción en el borde (vehículo) del razonamiento en la nube para optimizar el ancho de banda y la latencia.

• Detector de Topología basado en VLM (Vehículo): Un modelo Visión-Lenguaje (VLM) ligero en el vehículo comprime las imágenes crudas en gráficos de topología centrados en el ego. Estos gráficos codifican la semántica y la geometría espacial (distancia, orientación, clase) sin los detalles visuales redundantes.
• Tomador de Decisiones basado en LLM (Nube): Un LLM en la nube procesa el gráfico de topología compacto utilizando Chain-of-Thought (Cadena de Pensamiento) para generar directivas de conducción simbólicas (ej. "IZQUIERDA", "MANTENER", "DERECHA") y un estilo de conducción.
• Beneficio: Reduce drásticamente el ancho de banda, mantiene la percepción de baja latencia en el vehículo y proporciona una interfaz interpretable para la planificación.

B. Puente 2: Decision2Trajectory (Decisión a Trayectoria)
Este módulo convierte las directivas simbólicas en trayectorias ejecutables, abordando la sensibilidad de los planificadores clásicos a los hiperparámetros.

• A Guiado Semánticamente (Semantic-Guided A):** En lugar de imponer las directivas del LLM como restricciones duras (lo que podría causar callejones sin salida), se incorporan como costos suaves en la función de búsqueda clásica.
  • Se asignan costos semánticos ($c_{sem}$) que recompensan la alineación con la intención, penalizan las contradicciones y permiten la recuperación ante conflictos geométricos.
  • Esto sesga la búsqueda hacia trayectorias consistentes con la intención sin sacrificar la factibilidad geométrica.
• Módulo de Refinamiento Ágil (Agentic Refinement Module): Un agente autónomo ajusta dinámicamente los hiperparámetros del planificador (pesos de costos) en tiempo real.
  • Utiliza un bucle de retroalimentación con memoria: observa el rendimiento de la trayectoria, consulta una base de conocimientos en la nube y solicita al LLM que refine los parámetros para la siguiente iteración.
  • Automatiza el ajuste de "prueba y error" que normalmente requeriría expertos humanos.

C. Control: MPC Guiado por la Nube
Un Control Predictivo de Modelo (MPC) rastrea la trayectoria de referencia generada. En casos difíciles, puede recibir referencias globales de la nube, pero opera principalmente con baja latencia local.

3. Contribuciones Clave

1. Marco Jerárquico AFSP: Una arquitectura que integra razonamiento, planificación y control respetando sus escalas de tiempo naturales, evitando mezclar deliberación lenta con control rápido.
2. Perception2Decision: Una solución eficiente para la colaboración borde-nube que transforma imágenes en gráficos topológicos para reducir la latencia y el ancho de banda, manteniendo la interpretabilidad.
3. Decision2Trajectory: Una combinación innovadora de A guiado semánticamente* (para factibilidad y consistencia de intención) y un módulo de refinamiento ágil (para adaptabilidad automática sin ajuste manual).
4. Interfaz Principada: Establece una conexión robusta entre el razonamiento simbólico (LLM) y la búsqueda gráfica clásica, superando la fragilidad de los enfoques puramente basados en aprendizaje.

4. Resultados Experimentales

Las pruebas se realizaron en el simulador CARLA comparando AFSP contra un MPC puro y un MPC guiado por A* estándar.

• Rendimiento en Perturbaciones: AFSP demostró una mayor robustez frente a mapas perturbados (desplazamientos laterales y cambios en el tamaño de obstáculos).
• Métricas Cuantitativas:
  • Desviación Lateral: Reducción de hasta un 45% en comparación con MPC puro y un 35% frente a A*-MPC.
  • Tiempo de Completado: Reducción de más del 12% en comparación con MPC puro.
  • Suavidad: Menor variación de velocidad y trayectorias más fluidas, evitando oscilaciones comunes en MPC local.
• Eficiencia de Decisión: El uso de LLMs en la nube para decisiones simbólicas (tras la compresión VLM) logró una calidad de decisión comparable a los VLMs directos, pero con una latencia significativamente menor (promedio de 4.13s vs 10.24s en pruebas de decisión).

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la flexibilidad semántica de los grandes modelos de lenguaje y la rigidez de seguridad requerida por los sistemas de control autónomo.

• Seguridad y Verificabilidad: Al mantener la planificación basada en búsqueda (A*) y el control (MPC) como núcleos, el sistema conserva garantías de factibilidad geométrica y seguridad, a diferencia de los enfoques "end-to-end" puramente neuronales.
• Adaptabilidad: El módulo de refinamiento ágil permite que el sistema aprenda y se adapte a escenarios de "cola larga" (long-tail scenarios) sin intervención humana constante.
• Escalabilidad: La arquitectura borde-nube permite utilizar modelos grandes potentes sin sobrecargar los recursos computacionales del vehículo, haciendo viable la implementación de IA generativa en vehículos reales.

En resumen, AFSP demuestra que es posible crear sistemas autónomos que no solo "piensan" como humanos (razonamiento semántico) sino que también "actúan" con la precisión y velocidad de los controladores clásicos, logrando un equilibrio óptimo entre inteligencia y ejecución.