Resumen Técnico: FLARE – Aprendizaje de Representaciones Latentes Conscientes del Futuro a partir de Modelos Visuales-Lingüísticos para la Conducción Autónoma

1. Declaración del Problema

Los sistemas actuales de conducción autónoma (CA) de extremo a extremo enfrentan dos limitaciones principales al integrar Modelos Visuales-Lingüísticos (VLM):

1. Cuello de botella en la anotación y sesgo semántico: Los enfoques existentes dependen en gran medida de anotaciones lingüísticas intensivas en mano de obra (por ejemplo, Respuesta a Preguntas Visuales, descripciones de escenas) para alinear los VLM con las tareas de conducción. Este paradigma ofrece rendimientos decrecientes, introduce sesgos semánticos que no se alinean con los comportamientos de conducción reales y no aprovecha plenamente la capacidad de parámetros de los VLM grandes.
2. Incompatibilidad discreto-continuo: Existe una incompatibilidad fundamental entre los tokens lingüísticos discretos utilizados por los VLM y la naturaleza continua de las trayectorias de conducción. La tokenización de acciones conduce a errores de discretización, señales de supervisión dispersas y políticas de control inestables que luchan por la planificación de movimientos finos.

El artículo argumenta que depender de la generación explícita de texto o de la tokenización de acciones impide que los VLM aprendan eficazmente los matices tácitos e inefables de la dinámica de conducción.

2. Metodología: El Marco FLARE

FLARE (Representación Latente Consciente del Futuro) es un marco novedoso de extremo a extremo diseñado para activar las capacidades visuales-semánticas de los VLM preentrenados sin requerir supervisión lingüística. Cierra la brecha entre el razonamiento de alto nivel y el control de bajo nivel a través de tres componentes centrales:

A. Predicción de Características Futuras Auto-supervisada

En lugar de alinearse con el texto, FLARE introduce un objetivo auto-supervisado para predecir la dinámica futura de la escena directamente en el espacio latente.

• Mecanismo: El modelo se entrena para reconstruir parches de características DINOv2 de alta granularidad de cuadros futuros, en lugar de generar texto o imágenes a nivel de píxel.
• Fundamento: La predicción de parches semánticos obliga a la arquitectura base a capturar la dinámica espacial explícita de la escena y la permanencia de los objetos. Esto proporciona gradientes densos y continuos que aprovechan la capacidad del VLM de manera más efectiva que los tokens de acción dispersos.
• Simulación Mental: Al condicionar el predictor en la intención de acción planificada, el modelo realiza una "simulación futura condicional a la acción", anticipando cómo decisiones específicas influyen en el entorno.

B. Módulo de Fusión Jerárquica Basado en Consultas

Para utilizar eficazmente la salida del VLM para la planificación, FLARE emplea un mecanismo de Agrupación de Atención Multimodal (MAP) en dos etapas:

1. Compresión Visual: Los tokens visuales se comprimen en un conjunto compacto de latentes visuales, destilando el contenido semántico a nivel de escena.
2. Agregación Condicionada al Estado: Un bloque MAP de acción condensa estos latentes visuales en un único vector de decisión. Crucialmente, este proceso utiliza la incrustación del estado propio (ego-state) del vehículo (velocidad, aceleración, trayectoria histórica) como la consulta de inicialización. Esto asegura que la agregación visual esté condicionada al estado dinámico del vehículo y a su intención de navegación.

C. Predicción de Doble Cabeza y Refinamiento con GRPO

El marco utiliza una arquitectura de doble cabeza:

1. Planificador DiT: Un Transformador Difusivo Condicional (DiT) genera trayectorias futuras multimodales, fundamentadas por la consulta de acción fusionada y las restricciones físicas.
2. Predictor de Características Futuras (FFP): La cabeza auxiliar predice las características DINOv2 del cuadro objetivo.

Estrategia de Entrenamiento:

• Etapa 1 (Ajuste Fino Supervisado - SFT): El modelo se optimiza conjuntamente utilizando una pérdida compuesta que equilibra la generación de trayectorias (coincidencia de puntuación de eliminación de ruido) y la predicción de características futuras (regresión de magnitud y alineación direccional).
• Etapa 2 (Ajuste Fino por Refuerzo - RFT): Para abordar las limitaciones del aprendizaje por imitación en el manejo de violaciones de seguridad raras, FLARE emplea Optimización de Política Relativa por Grupos (GRPO). Esto refina la política utilizando una función de recompensa no diferenciable (Puntaje PDM) basada en seguridad, progreso y comodidad, sin requerir una red de valor separada. Se introduce una pérdida de regularización de Clonación de Comportamiento (BC) para prevenir el colapso de la política.

3. Contribuciones Clave

1. Objetivo de Predicción de Características Futuras: Una tarea auto-supervisada novedosa que reconstruye parches espaciales DINOv2, permitiendo a los VLM aprender representaciones de movimiento robustas a partir de datos de video no etiquetados y mitigando la dispersión de la supervisión pura por tokens de acción.
2. Fusión Basada en Consultas e Integración de GRPO: Un mecanismo de fusión en dos etapas que alinea las modalidades visual y de estado, acoplado con GRPO para afinar la política de trayectorias hacia resultados críticos para la seguridad en lugar de una simple imitación.
3. Rendimiento de Vanguardia: Lograr nuevos resultados de vanguardia en la prueba de referencia NAVSIM entre los métodos basados en VLM bajo configuraciones tanto de SFT como de RFT utilizando únicamente entradas de una sola cámara.

4. Resultados Experimentales

Los autores evaluaron FLARE en la prueba de referencia NAVSIM (v1 y v2) utilizando el Puntaje PDM (PDMS) y el Puntaje PDM Extendido (EPDMS).

• Rendimiento SFT: FLARE-4B logró un PDMS de 86.9, superando a ReCogDrive-8B (86.8) mientras utilizaba la mitad de parámetros (4B vs. 8B). Superó significativamente la línea base QwenVL3-4B (+6.1 PDMS) y redujo la brecha con modelos de extremo a extremo multisensoriales como DiffusionDrive (88.1) y WoTE (88.3), a pesar de utilizar solo una cámara.
• Rendimiento RFT: Con ajuste fino por refuerzo, FLARE-4B alcanzó un PDMS de 91.4, superando a ReCogDrive-2B (90.8) y ReCogDrive-8B (90.5). Aunque otros métodos (por ejemplo, DriveVLA-W0) reportaron puntuaciones más altas, estos dependían de una estrategia de muestreo "mejor de N"; bajo una evaluación justa de muestra única, FLARE logró el mejor rendimiento entre los enfoques basados en VLM.
• NAVSIM v2: FLARE logró el EPDMS más alto de 86.3, demostrando un equilibrio superior en seguridad (NC, TTC) y comodidad en comparación con las líneas base que a menudo sacrificaban uno por el otro.
• Estudios de Ablación:
  • Objetivo de Predicción: La predicción espacial DINO (Nuestra propuesta) obtuvo el rendimiento más alto (86.9), superando a la predicción de características globales (85.9) y a la predicción a nivel de píxel (84.7), confirmando la importancia de preservar la granularidad espacial.
  • Módulo de Fusión: Eliminar la fusión MAP en dos etapas o la inyección del estado propio resultó en caídas significativas de rendimiento (-1.9 y -2.1 PDMS respectivamente), validando la necesidad de una agregación visual condicionada al estado.

5. Significado y Afirmaciones

El artículo afirma que FLARE valida un paradigma altamente eficiente para la conducción autónoma: aprovechar el conocimiento del mundo de los VLM a través de la auto-supervisión predictiva en lugar de la generación explícita de lenguaje.

• Cambio de Paradigma: Demuestra que los VLM pueden adaptarse eficazmente a la conducción sin el costo y el sesgo de conjuntos de datos masivos de anotación lingüística.
• Robustez: Al predecir características latentes futuras, el modelo aprende a anticipar la dinámica de la escena y el movimiento propio directamente, cerrando la brecha entre los tokens discretos y el control continuo.
• Escalabilidad: El enfoque ofrece una vía escalable para utilizar datos de trayectorias no etiquetados a gran escala, superando potencialmente las limitaciones de cobertura de datos de los sistemas modulares actuales o de extremo a extremo puramente supervisados.

Los autores concluyen que FLARE desbloquea con éxito el razonamiento visual-semántico de los VLM para el control continuo, logrando calidad de seguridad y planificación de vanguardia con una configuración de una sola cámara.