Resumen Técnico: Razonar–Imaginar–Actuar (RIA) para la Conducción Autónoma

1. Declaración del Problema

El artículo aborda una brecha crítica en la aplicación de Modelos de Lenguaje Grandes (LLM) a la conducción autónoma: la falta de anclaje físico. Aunque los LLM sobresalen en el razonamiento semántico, la interpretación de las normas de tráfico y la gestión de escenarios de cola larga, a menudo funcionan como un "cerebro en una cubeta". Pueden generar comandos de alto nivel lógicamente coherentes (por ejemplo, "ejecutar evasión de emergencia"), pero fallan en capturar con precisión las restricciones dinámicas del vehículo o anticipar las consecuencias numéricas de estos comandos en el espacio físico continuo.

Esta desacoplamiento conduce a alucinaciones físicas, donde las intenciones generadas son cinemática o dinámicamente inviables, planteando riesgos graves de seguridad. Los enfoques existentes dependen o bien de un razonamiento en línea sin verificación explícita de la dinámica, o utilizan Modelos del Mundo (WM) principalmente en pipelines fuera de línea. En consecuencia, existe una desconexión entre la lógica semántica "consciente de las reglas" y la ejecución física "consciente de la dinámica".

2. Metodología: Razonar–Imaginar–Actuar (RIA)

Los autores proponen Razonar–Imaginar–Actuar (RIA), un marco de bucle cerrado que acopla estrechamente un razonador LLM con un Modelo del Mundo (WM) condicionado a la acción para la verificación de seguridad en línea. El sistema opera sin actualizaciones de parámetros (sin ajuste fino) durante la inferencia.

Componentes del Bucle Central

1. Razonar (LLM):

   • El LLM ingiere el estado estructurado actual (características del ego, topología de la carretera, características sociales) y un búfer de memoria de comportamientos recientes.
   • Genera una plantilla de acción discreta de alto nivel (por ejemplo, "cambio de carril a la izquierda", "acelerar", "detenerse") y un conjunto de sub-acciones candidatas (parametrizaciones como incrementos de velocidad específicos o sesgos de dirección).
   • El LLM está restringido a salidas JSON estructuradas para garantizar un espacio de razonamiento compacto.

2. Imaginar (Modelo del Mundo):

   • Un WM condicionado a la acción realiza despliegues de corto horizonte (predicción de 1 segundo) para cada sub-acción candidata generada por el LLM.
   • Arquitectura: El WM utiliza una formulación de dinámica latente inspirada en Modelos de Espacio de Estados Recurrentes (RSSM). Emplea:
     • Atención Social: Para priorizar los riesgos de interacción (por ejemplo, cortes con alta velocidad de cierre) sobre la distancia bruta.
     • Recurrencia Temporal: Para rastrear la continuidad del movimiento (aceleración, evolución de la velocidad de guiñada).
     • Decodificación Residual: Para predecir cambios de estado ($\hat{s}_{t+1} = s_t + \text{residual}$) para la estabilidad numérica.
   • El modelo predice trayectorias futuras e interacciones, centrándose específicamente en los límites de seguridad (salida de carril, colapso del espacio delantero, riesgo de línea de parada).

3. Actuar (Puntúa de Seguridad y Ejecución):

   • Un puntúa de seguridad evalúa los despliegues utilizando una función de costo ($C$) que penaliza riesgos críticos (por ejemplo, distancia $<3.0$m), la proximidad a agentes circundantes y las violaciones de carril.
   • El sistema selecciona la sub-acción con el costo mínimo (puntuación de seguridad más alta).
   • Restricciones Duras: Si un despliegue indica una colisión inminente o si todos los candidatos violan los umbrales, una regla dura de respaldo (por ejemplo, frenado de emergencia) anula la selección.
   • La acción seleccionada se ejecuta mediante el backend CARLA Traffic Manager (TM), que mapea intenciones de alto nivel a señales de control de bajo nivel.
   • Retroalimentación: El resumen de ejecución y los resultados de verificación se retroalimentan al búfer de memoria del LLM, permitiendo la autocorrección iterativa en pasos posteriores.

Entrenamiento del Modelo del Mundo

El WM se entrena con un conjunto de datos que combina políticas expertas (CARLA TM) con perturbaciones controladas para cubrir regímenes nominales y de fallo inminente (por ejemplo, frenado brusco, casi colisiones). El objetivo de entrenamiento se centra en la fidelidad de la predicción de corto horizonte y la cobertura de transiciones de límites en lugar de la síntesis de video de largo horizonte, asegurando que el modelo esté optimizado para la clasificación de seguridad de candidatos y no para el realismo a nivel de píxel.

3. Contribuciones Clave

El artículo afirma tres contribuciones principales:

1. Primera Acoplamiento de Bucle Cerrado: Hasta donde sabemos, este es el primer trabajo que acopla estrechamente un razonador LLM con un modelo del mundo condicionado a la acción específicamente para la verificación "piensa antes de actuar" en línea en un pipeline de conducción de bucle cerrado.
2. Mecanismo RIA: La propuesta de un mecanismo de decisión que evalúa sub-acciones candidatas condicionadas a plantillas mediante despliegues de corto horizonte e introduce señales de verificación física de vuelta al LLM para la corrección iterativa.
3. Ganancias de Rendimiento: Demostrar que bajo una interfaz unificada de bucle cerrado, el método supera consistentemente a las líneas base sin entrenamiento. Específicamente, en comparación con un LLM sin verificación WM, el método RIA completo mejora la Finalización de Ruta (RC) del 61.21% al 80.05%, la Tasa de Llegada (AR) del 30.20% al 51.10%, y reduce la Tasa de Colisión (ColR) del 0.40% al 0.20%.

4. Resultados Experimentales

Los experimentos se realizaron en el simulador CARLA 0.9.15 bajo un protocolo de navegación a objetivos puntuales aleatorizados a través de 1,000 episodios en entornos urbanos complejos.

Rendimiento Comparativo (vs. Líneas Base):

• vs. LLM sin WM: RIA mejora significativamente las métricas de seguridad y finalización.
• vs. CARLA Traffic Manager (TM): RIA logra una RC mucho más alta (80.05% vs. 46.47%) y una AR (51.10% vs. 13.40%) con una tasa de colisión drásticamente menor (0.20% vs. 16.00%).
• vs. MADA (línea base impulsada por LLM): RIA supera a MADA en todas las métricas principales, incluida la RC (80.05% vs. 21.88%) y la ColR (0.20% vs. 53.00%).

Indicadores de Seguridad y Confort:

• RIA muestra reducciones sustanciales en eventos de frenado brusco (HB), eventos de alta sacudida (HJ) y la sacudida absoluta media (MAJ) en comparación con la línea base solo LLM.
• Si bien RIA muestra un ligero aumento en eventos fuera de la carretera en comparación con el TM nativo (0.19 vs. 0.00), mantiene un equilibrio superior de finalización de ruta y resultados de seguridad en general.

5. Significado y Afirmaciones

El artículo postula que la integración del razonamiento semántico con la imaginación anclada físicamente es esencial para la conducción autónoma segura. El significado de RIA radica en su capacidad para:

• Cerrar la Brecha: Conectar la intención semántica de alto nivel con la viabilidad física de bajo nivel sin requerir entrenamiento adicional de políticas o ajuste fino.
• Habilitar la Corrección Iterativa: Utilizar la retroalimentación física para refinar las decisiones del LLM en tiempo real, mitigando el riesgo de comandos "alucinados físicamente".
• Demostrar Valor Práctico: Probar que un marco sin entrenamiento, en tiempo de inferencia, puede lograr un rendimiento robusto en entornos dinámicos y críticos para la seguridad, superando tanto a los sistemas tradicionales basados en reglas como a otros enfoques basados en LLM.

Los autores enfatizan que su objetivo no es el realismo de píxeles de largo horizonte, sino el ordenamiento confiable de candidatos dentro de una ventana de reacción corta para garantizar la seguridad. El marco está diseñado para ser reproducible, con código y scripts de evaluación disponibles.