💻 computer science

Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

Drive-JEPA establece un nuevo estado del arte en la conducción autónoma de extremo a extremo al integrar la Arquitectura Predictiva de Incrustación Conjunta de Video (V-JEPA) para el aprendizaje de representaciones predictivas con un planificador centrado en propuestas que destila trayectorias multimodales generadas por simuladores para superar las limitaciones de la supervisión de trayectoria única.

Autores originales: Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

Publicado 2026-07-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le enseñas a un coche autónomo no solo mostrándole unos pocos ejemplos de cómo conduce un humano, sino dándole una biblioteca masiva de películas de conducción para que las estudie, y luego dejándole practicar en un simulador de videojuegos súper avanzado. Eso es esencialmente lo que hace Drive-JEPA.

Aquí tienes un desglose de cómo funciona este nuevo sistema, utilizando analogías sencillas:

1. El Problema: La trampa del "camino único"

La mayoría de los coches autónomos actuales aprenden observando a un conductor humano. Pero hay un detalle: en cualquier situación dada (como acercarse a una luz amarilla), un humano suele realizar una sola acción específica. Sin embargo, en el mundo real, a menudo existen muchas formas seguras de manejar una situación (por ejemplo, podrías frenar suavemente o podrías detenerte por completo).

Si un coche solo aprende de ese único camino humano, se queda "atascado" pensando que solo hay una forma de conducir. Se vuelve rígido y podría perderse otras opciones seguras y cómodas. Esto se llama colapso de modo (mode collapse): el coche olvida que existen múltiples formas de resolver un problema.

2. La Solución: Drive-JEPA

Los investigadores construyeron un sistema de tres partes para solucionar esto, actuando como un maestro instructor de conducción con una máquina del tiempo y una consola de videojuegos.

Parte A: El preentrenamiento del "Aficionado al Cine" (V-JEPA)

En lugar de solo memorizar giros específicos, el coche primero observa miles de horas de vídeos de conducción reales.

La Analogía: Imagina a un estudiante que ve miles de horas de películas de conducción pero aún no se le ha dicho qué hacer. Aprende la "gramática" de la conducción: cómo se mueven los coches, cómo fluye el tráfico y cómo cambia el mundo con el tiempo.
La Tecnología: Utilizan una técnica llamada V-JEPA. Piensa en esto como un juego de "completar los huecos" para vídeos. La computadora oculta un fragmento del vídeo y le pide a la IA que prediga qué sucede después. Al hacer esto millones de veces, la IA construye una comprensión profunda e intuitiva de cómo funciona el mundo de la conducción sin necesidad de etiquetar cada objeto individualmente. Esto le da al coche un "cerebro" sólido antes de que siquiera empiece a aprender a conducir.

Parte B: El "Entrenador del Simulador" (Destilación de Trayectorias Multimodales)

Una vez que la IA tiene su "cerebro", necesita aprender a tomar decisiones. Normalmente, solo ve el único camino que tomó un humano. Drive-JEPA cambia las reglas del juego al introducir un Entrenador de Simulador.

La Analogía: Imagina a un estudiante de conducción practicando en un videojuego. El juego puede generar miles de diferentes escenarios de "qué pasaría si". Tal vez en una versión de la simulación, el coche gira a la izquierda; en otra, frena fuerte; en una tercera, serpentea entre el tráfico. Todas estas son opciones seguras y legales.
La Tecnología: El sistema utiliza un simulador basado en reglas para generar muchos caminos seguros distintos (trayectorias) para cada escena. Luego enseña a la IA a reconocer y valorar todas estas diferentes opciones, no solo el único camino que tomó el humano. Esto se llama Destilación de Trayectorias Multimodales. Es como decirle a la IA: "No hay una sola respuesta correcta; aquí tienes cinco formas diferentes y seguras de manejar esta intersección".

Parte C: El "Filtro de Suavidad" (Selección Consciente del Momento)

Ahora la IA tiene un montón de caminos diferentes para elegir. ¿Cómo elige el mejor?

La Analogía: Imagina que vas caminando por un pasillo. Si de repente sacudes tu cuerpo hacia la izquierda, luego hacia la derecha y luego hacia la izquierda otra vez, te sientes mareado e incómodo. Quieres moverte con suavidad.
La Tecnología: El sistema incluye un módulo de Selección Consciente del Momento (Momentum-Aware Selection). Observa el camino que el coche tomó hace una fracción de segundo y comprueba las nuevas opciones. Si una opción requiere un cambio de dirección repentino y brusco, el sistema la penaliza. Elige el camino que no solo es seguro, sino que también se siente suave y natural para los pasajeros, evitando una conducción "errática".

Los Resultados

Cuando probaron este sistema en bancos de pruebas de conducción estándar (como NAVSIM y Bench2Drive), los resultados fueron impresionantes:

Decisiones más inteligentes: Superó a los métodos anteriores de vanguardia, estableciendo nuevos récords de seguridad y suavidad.
Menos es más: Incluso cuando eliminaron todos los sensores de "percepción" sofisticados (como el LiDAR) y solo usaron una única cámara frontal, el sistema funcionó mejor que otros. Esto demuestra que el preentrenamiento del "Aficionado al Cine" le dio al coche una base realmente sólida.
Viajes más suaves: Al usar el filtro de momento, el coche conduce de forma más cómoda, evitando movimientos repentinos y bruscos.

En Resumen

Drive-JEPA es como tomar a un estudiante de conducción autónoma, darle un doctorado en teoría de la conducción viendo miles de películas, dejarle practicar en un videojuego donde ve todos los resultados seguros posibles, y luego enseñarle a elegir el camino más suave y cómodo. El resultado es un coche que conduce más como un humano experto que entiende el flujo del tráfico, en lugar de un robot que solo copia una línea en un mapa.

Resumen Técnico: Drive-JEPA

Planteamiento del Problema

La conducción autónoma de extremo a extremo (end-to-end) busca mapear observaciones sensoriales puras directamente a acciones de conducción utilizando un modelo neuronal unificado. Sin embargo, el campo enfrenta dos cuellos de botella primarios:

Utilidad Limitada del Preentrenamiento de Video: Aunque el preentrenamiento de video autosupervisado se utiliza cada vez más para aprender representaciones transferibles, los enfoques existentes (por ejemplo, modelos generativos a nivel de píxel o modelos de mundo latentes) han proporcionado mejoras limitadas. Los objetivos a nivel de píxel son computacionalmente costosos y pueden centrarse en detalles visuales irrelevantes, mientras que los enfoques latentes a menudo sufren de colapso de representación o no demuestran beneficios claros al escalar.
Ambigüedad Multimodal y Cuello de Botella de Supervisión: Los escenarios de conducción son inherentemente multimodales, sin embargo, los conjuntos de datos estándar proporcionan solo una trayectoria humana por escena. Esta escasez limita el aprendizaje de comportamientos diversos. Las soluciones existentes dependen de vocabularios discretos fijos (lo que limita la generalización a escenarios fuera del vocabulario) o de métodos basados en difusión que permanecen constreñidos por la supervisión de trayectoria única, lo que conduce al colapso de modo o a una diversidad limitada.

Metodología: Drive-JEPA

Los autores proponen Drive-JEPA, un marco que integra la Arquitectura Predictiva de Embebido Conjunto de Video (V-JEPA) con la destilación de trayectorias multimodales para abordar estos cuellos de botella. El marco consta de tres componentes principales:

1. Preentrenamiento de Video de Conducción (Adaptación de V-JEPA)

Para aprender representaciones predictivas alineadas con la planificación, los autores adaptan V-JEPA para el dominio de la conducción.

Arquitectura: Un codificador Vision Transformer (ViT) es preentrenado en un conjunto de datos a gran escala de videos de conducción (curados de CoVLA, DrivingDojo y OpenScene).
Objetivo: El modelo aprende a predecir la representación latente de una vista objetivo enmascarada a partir de una vista de origen enmascarada. Este objetivo autosupervisado incluye un operador de parada de gradiente (stop-gradient) y un codificador de media móvil exponencial (EMA) para evitar el colapso de la representación.
Escalabilidad: A diferencia de los modelos de mundo latentes previos, este enfoque escala con éxito el preentrenamiento a 330 horas de datos de video con un menor costo computacional, produciendo características que están inherentemente alineadas con la planificación de trayectorias.

2. Destilación de Trayectorias Multimodales

Para superar el cuello de botella de la supervisión de trayectoria única, el marco destila el conocimiento de simuladores basados en reglas hacia un planificador centrado en propuestas.

Generación de Propuestas: En lugar de un vocabulario fijo, el modelo genera propuestas de trayectoria en línea utilizando atención deformable anclada a puntos de referencia (waypoints). Estas propuestas se refinan iterativamente agregando características de Vista de Pájaro (BEV) alrededor de los puntos de referencia predichos.
Destilación de Pseudo-Profesor: Se construye un vocabulario de trayectorias mediante el agrupamiento k-means de datos históricos. Para cada escena, un simulador basado en reglas (basado en protocolos NAVSIM v2) evalúa las trayectorias en este vocabulario contra restricciones de seguridad y confort (puntuación EPDMS). Las trayectorias diversas y de alta puntuación se seleccionan como "pseudo-profesores".
Pérdida de Entrenamiento: El generador de propuestas se entrena para minimizar la distancia tanto con la trayectoria humana real como con el conjunto de trayectorias diversas de pseudo-profesores generadas por el simulador, fomentando así una salida multimodal sin depender de una sola demostración humana.

3. Selección de Trayectoria Consciente del Momento

Para seleccionar la trayectoria final del conjunto de propuestas diversas, un evaluador neuronal evalúa los candidatos basándose en el riesgo de colisión, el cumplimiento de las reglas de tráfico y el confort.

Mecanismo de Confort: Para mitigar la inconsistencia temporal (jitter) que a menudo introducen las propuestas diversas, el módulo de selección incorpora una penalización consciente del momento (momentum-aware penalty). Compara las propuestas actuales con la trayectoria seleccionada en el cuadro anterior ( $t-1$ ) y penaliza las distorsiones grandes.
Selección Final: La trayectoria con la puntuación recalibrada más alta (que combina el evaluador aprendido y el término de confort) es la seleccionada para la ejecución.

Contribuciones Clave

Preentrenamiento V-JEPA para Conducción: El artículo introduce la aplicación de V-JEPA a la conducción de extremo a extremo, demostrando que el preentrenamiento de video a gran escala con objetivos predictivos aumenta significamente el rendimiento tanto en entornos basados en percepción como en entornos libres de percepción.
Destilación de Trayectorias Multimodales: Una estrategia de supervisión novedosa que destila trayectorias diversas generadas por simuladores en un marco centrado en propuestas, rompiendo efectivamente la limitación de la supervisión de trayectoria humana única.
Selección Consciente del Momento: Un módulo de selección ligero que mejora el confort de la conducción y la estabilidad temporal al penalizar la distorsión de trayectoria entre cuadros.
Rendimiento de Vanguardia (State-of-the-Art): El método alcanza nuevos resultados de vanguardia en los principales bancos de pruebas sin depender de anotaciones de percepción complejas.

Resultados Experimentales

El marco fue evaluado en NAVSIM v1, NAVIMS v2 y Bench2Drive.

NAVSIM v1 (Libre de Percepción): Utilizando solo una cámara de vista frontal y un decodificador transformer ligero con características preentrenadas de V-JEPA, el modelo logró 89.0 PDMS, superando significativamente a métodos previos de libre percepción (por ejemplo, Epona con 86.1, LAW con 8 la 83.8).
NAVSIM v1 (Marco Completo): Con el marco completo de Drive-JEPA (incluyendo destilación y selección), el modelo logró 93.7 PDMS (backbone ViT/L), superando al mejor anterior (DriveSuprim con 93.5).
NAVSIM v2: El método logró 87.8 EPDMS, estableciendo un nuevo estado del arte. Notablemente, funcionó bien en métricas de Confort Extendido (EC) y otras de cumplimiento de reglas donde los métodos previos tuvieron dificultades.
Bench2Drive: En simulaciones de CARLA de bucle cerrado, Drive-JEPA logró un Driving Score (DS) de 64.52, superando a otros métodos centrados en propuestas como iPad (60.52) por 4 puntos, validando la efectividad de la destilación multimodal.

Significado y Reivindicaciones

El artículo afirma que Drive-JEPA logra unificar con éxito el preentrenamiento de video autosupervisado con la generación de trayectorias multimodales para abordar las limitaciones fundamentales de los sistemas de conducción de extremo a extremo actuales.

Efectividad del Preentrenamiento: Los resultados resaltan que el preentrenamiento V-JEPA proporciona representaciones fuertes y transferibles que permiten que incluso decodificadores simples superen a complejos pipelines basados en percepción en entornos libres de percepción.
Diversidad vs. Estabilidad: El trabajo demuestra que la destilación guiada por simuladores puede generar trayectorias diversas y seguras sin sacrificar la estabilidad temporal, siempre que se utilice un mecanismo de selección consciente del momento.
Escalabilidad: El enfoque demuestra que escalar el preentrenamiento de video con la predicción latente eficiente (V-JEPA) es un camino viable, evitando los costos computacionales de la generación a nivel de píxel y evitando los problemas de colapso de los modelos latentes ingenuos.

Los autores enfatizan que su método establece un nuevo referente para la conducción de extremo a extremo, particularmente en escenarios donde se minimiza la dependencia de anotaciones de percepción explícitas, y que la integración del conocimiento del simulador ofrece un camino robusto para aprender comportamientos de conducción multimodales.