Resumen Técnico: Exposición Diferida de Trayectorias Futuras para el Razonamiento Verificable en Modelos VLM de Conducción Autónoma

Declaración del Problema

Los modelos recientes de Visión-Lenguaje-Acción (VLA) para la conducción autónoma (AD) dependen cada vez más de la supervisión de Cadena de Pensamiento (CoT) para mejorar las capacidades de razonamiento de sus componentes de Modelos de Lenguaje-Visión (VLM). Sin embargo, los procesos de anotación existentes suelen exponer al modelo profesor a la trayectoria futura de verdad de campo (GT) registrada antes de que el modelo genere su razonamiento.

Los autores identifican y validan empíricamente un fenómeno denominado sesgo de anclaje de trayectoria (trajectory anchoring bias). Cuando se revela la trayectoria GT, el modelo profesor tiende a racionalizar el resultado conocido en lugar de inferir una decisión a partir de la evidencia de la escena. Esto conduce a:

1. Reducción de la Fidelidad Causal: Los CoT generados son geométricamente consistentes con la GT, pero fallan en identificar fielmente la evidencia de la escena que respalda la acción.
2. Aumento de Alucinaciones: Los modelos son significativamente más propensos a fabricar pistas causales (por ejemplo, inventando señales de tráfico) para justificar la trayectoria revelada, particularmente en escenas causalmente desafiantes.
3. Desajuste de Supervisión: La trayectoria GT actúa como un atajo de razonamiento (un ancla de pre-decisión) en lugar de un objetivo de decisión, lo que provoca que el modelo aprenda a realizar una inferencia inversa de explicaciones para resultados ya conocidos.

Aunque ocultar la trayectoria GT elimina este atajo, introduce un nuevo desafío: la generación de trayectorias de código abierto entrelaza la toma de decisiones de alto nivel con la síntesis geométrica precisa y la dinámica de bajo nivel, lo que convierte la tarea en algo difícil para los VLM y difícil de verificar.

Metodología

Para abordar estos problemas, el artículo propone un marco que consiste en una nueva formulación de benchmark y una estrategia de entrenamiento: AD-MCQ y DEFT-RLVR.

1. AD-MCQ: Pregunta de Opción Múltiple de Conducción Autónoma

En lugar de la generación de coordenadas de código abierto, los autores plantean la planificación de AD como una tarea de selección entre candidatos de trayectoria explícitos.

• Prototipos de Trayectoria Discretos: Se construye un libro de códigos (codebook) de $K=8192$ prototipos de trayectoria utilizando agrupamiento K-means sobre un corpus de futuros registrados. Esto cuantiza trayectorias continuas en un vocabulario de movimiento finito.
• Construcción de Candidatos: Para cada escena, la trayectoria GT se mapea a su prototipo más cercano (el oráculo). Los distractores se construyen recuperando prototipos que son geométricamente similares pero distintos (negativos difíciles), incluyendo alternativas de escala coincidente y extrapolaciones de velocidad constante.
• Verificabilidad: La tarea consiste en seleccionar el índice de la opción correcta de un conjunto permutado de $M$ candidatos, proporcionando un objetivo de decisión exactamente verificable sin requerir la síntesis geométrica de código abierto.

2. DEFT-RLVR: Exposición Diferida de Trayectorias Futuras para RLVR

Basándose en AD-MCQ, los autores proponen DEFT-RLVR (Deferred Exposure of Future Trajectories for Reinforcement Learning with Verifiable Rewards) para mitigar el sesgo de anclaje durante el entrenamiento.

• Interacción de Dos Etapas:
  • Turno 1 (Razonamiento de Decisión Causal): El modelo de política recibe únicamente el contexto de la escena (historial visual, estado del ego, instrucción de navegación) y debe generar una decisión de alto nivel y un rastro de razonamiento sin ver las trayectorias candidatas.
  • Turno 2 (Anclaje de Trayectoria Explícita): Solo después de que el modelo se compromete con una decisión derivada de la escena, se revelan las trayectorias candidatas. El modelo entonces selecciona la trayectoria que mejor se ajusta a la decisión asumida.
• Exposición Diferida: Este diseño asegura que la geometría de los candidatos modele el anclaje de una decisión, no la formación de la misma, evitando que el modelo tome atajos al razonar alrededor de una respuesta visible.
• Recompensas de Rúbrica Estructurada: Para evitar que el modelo explote el formato MCQ mediante el azar o el uso de atajos, los autores introducen la supervisión de proceso.
  • El rastro de razonamiento del Turno 1 se evalúa contra una rúbrica específica de la instancia para los despliegues con respuestas correctas de MCQ.
  • La rúbrica es generada offline por un VLM grande basado en la evidencia de la escena.
  • Un juez de solo texto evalúa el rastro de razonamiento frente a los criterios de la rúbrica (por ejemplo, anclaje, ausencia de alucinación, coherencia causal) sin acceso a la entrada visual ni a las opciones candidatas.
  • La recompensa final es el producto de la recompensa de elección exacta y la recompensa de la rúbrica ($R = R_{MCQ} \times R_{RUB}$).

Principales Contribuciones

1. Identificación del Sesgo de Anclaje de Trayectoria: El artículo proporciona evidencia empírica de que exponer las trayectorias GT durante la anotación de CoT induce la racionalización post-hoc y severas alucinaciones, degradando la fidelidad causal en el razonamiento de AD.
2. Benchmark AD-MCQ: Un benchmark de selección de trayectoria candidato verificable que preserva la granularidad a nivel de trayectoria (tiempo de frenado, perfil de velocidad, geometría lateral) mientras reemplaza la generación de código abierto con la selección exacta, permitiendo una dificultad escalable y controlable.
3. Marco DEFT-RLVR: Un paradigma de entrenamiento que difiere la exposición de los candidatos hasta después de que la política se compromete con una decisión. Combinado con la supervisión de proceso basada en rúbricas, mejora el razonamiento de AD preservando las capacidades visuales generales del VLM base.

Resultados Experimentales

Los autores evaluaron su enfoque utilizando Qwen3-VL-8B-Instruct y Qwen3.5-4B como modelos base, con Qwen3.5-397B-A17B actuando como profesor/juez.

• Rendimiento de Razonamiento de AD:

  • DEFT-RLVR supera significativamente a los baselines libres de entrenamiento y ablaciones. En el modelo Qwen3-VL-8B, alcanzó un 77.9% de precisión en el conjunto de prueba AD-MCQ-500, comparado con el 28.1% del modelo base y el 56.6% de DEFT libre de entrenamiento.
  • También mejoró la Puntuación de Fidelidad Causal (CFS) de 0.431 (DEFT libre de entrenamiento) a 0.658, y la consistencia de la Decisión de Alto Nivel (HLD) de 0.425 a 0.501.
  • Comparado con la ablación JEFT (Exposición Conjunta), DEFT-RLVR mostró ganancias consistentes (por ejemplo, +15.3% de precisión en Qwen3-VL-8B), confirmando que la exposición diferida reduce la optimización impulsada por atajos.

• Capacidad Visual General:

  • A diferencia del destilado de Ajuste Fino Supervisado (SFT), que degradó las capacidades visuales generales (bajando la capacidad visual promedio de 54.81 a 49.80), DEFT-RLVR preservó e incluso mejoró las capacidades generales.
  • En Qwen3-VL-8B, la puntuación de capacidad visual general promedio aumentó de 54.81 a 56.09. Los autores atribuyen esto a la naturaleza fina de los gradientes de política basados en RL y al razonamiento espacial-visual compartido requerido para la tarea.

• Generalización:

  • El método demostró una fuerte transferencia fuera de la distribución (OOD) en el dominio nuScenes, mejorando la precisión del 39.6% (libre de entrenamiento) al 49.5% con DEFT-RLVR.
  • Las ganancias fueron robustas a través de diferentes construcciones de conjuntos de candidatos y geometrías de distractores.

• Eficiencia:

  • La generación de rúbricas específicas de la instancia en DEFT-RLVR añadió solo un 0.5% de sobrecarga al tiempo de entrenamiento en comparación con el entrenamiento de solo corrección, siendo un 41.1% más rápido que las variantes de calificación de rúbricas condicionadas a la imagen en línea.

Significado y Reivindicaciones

El artículo afirma que DEFT-RLVR ofrece una base escalable y flexible para el razonamiento de AD verificable mediante:

1. Desacoplar la Decisión y la Verificación: Transformar las trayectorias futuras de anclas de pre-decisión en objetivos de post-decisión de verificación, forzando así a los modelos a razonar desde la evidencia de la escena primero.
2. Evitar la Doble Limitación: Al usar la selección de candidatos en lugar de la generación directa de tokens de trayectoria, el método evita los cuellos de botella del error de cuantización de la trayectoria y la degradación de las capacidades visuales generales que se ven a menudo en las tareas de generación directa.
3. Permitir RL Verificable: Proporcionar un mecanismo para aplicar el aprendizaje por refuerzo con recompensas verificables (RLVR) a tareas de control continuo complejas como la conducción autónoma sin requerir la síntesis geométrica de código abierto.

Los autores concluyen que su enfoque mejora el razonamiento de AD generalizable manteniendo las capacidades visuales generales del modelo, abordando una brecha crítica en los procesos de entrenamiento actuales de VLA donde la supervisión CoT a menudo depende de datos con la respuesta ya revelada.