🤖 machine learning

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

TRAVEL es un marco de ajuste fino consciente del movimiento que mejora la recuperación de videos de conducción mediante el aprovechamiento de la similitud de la trayectoria del ego como recompensa dentro de la Optimización de Política Relativa de Grupo, permitiendo que los modelos multimodales de propósito general distingan eficazmente eventos centrados en el movimiento sin depender de datos de percepción auxiliares o reglas de expertos.

Autores originales: Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

Publicado 2026-08-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Búsqueda de Vídeos

Imagina que eres un detective intentando resolver un misterio, pero en lugar de una única escena del crimen, tienes una biblioteca que contiene millones de horas de metraje de vídeo. Esta es la realidad diaria para las empresas que construyen coches autónomos. No solo conducen; lo graban todo. Pero encontrar el momento específico en que un coche casi atropella a un peatón, o el segundo exacto en que un conductor realizó un giro complicado, es como buscar una aguja en un pajar hecho de otras agujas.

Para resolver esto, los científicos utilizan algo llamado "embedding multimodal". Piensa en esto como un traductor mágico que convierte tanto un clip de vídeo como una frase de texto en un código secreto único (un vector). Si el código de un vídeo de un "coche rojo girando a la izquierda" es muy similar al código del texto "coche rojo girando a la izquierda", la computadora sabe que coinciden. Es como darle a cada vídeo una huella dactilar única y a cada consulta de búsqueda una llave que encaje. El objetivo es hacer que la computadora sea tan buena emparejando estas llaves que pueda extraer instantáneamente el vídeo correcto de entre millones de opciones sin necesidad de que un humano los vea todos.

Sin embargo, hay un inconveniente. Los actuales "traductores mágicos" son excelentes reconociendo cosas estáticas como árboles, edificios o el color del cielo. Pero a menudo se confunden con el movimiento. Para una IA estándar, un coche girando a la izquierda podría parecerse mucho a un coche girando a la derecha si el escenario de fondo es el mismo. Dependen demasiado del "dónde" y no lo suficiente del "cómo". Este artículo pregunta: ¿Podemos enseñar a estos modelos de IA a preocuparse más por el movimiento en sí, de modo que puedan distinguir entre un coche acelerando y un coche frenando, incluso si el escenario parece idéntico?

La Solución: Enseñar a la IA a Sentir la Carretera

Los investigadores detrás de este artículo, trabajando con Uber AV Labs y la Universidad de Purdue, presentaron un nuevo método llamado TraVEL (Trajectory-Guided Video Embedding Learning - Aprendizaje de Embedding de Vídeo Guiado por Trayectoria). Su principal hallazgo es que, al utilizar la trayectoria física real que sigue un coche (su "trayectoria del ego") como una herramienta especial de entrenamiento, pueden lograr que la IA sea mucho mejor comprendiendo las acciones de conducción.

Así es como lo hicieron, utilizando una analogía sencilla:

El Problema: La Trampa del "Contexto"
Imagina que tienes a dos estudiantes tomando un examen sobre conducción.

Estudiante A (la IA antigua) observa una foto de un coche girando a la izquierda en un día soleado y una foto de un coche girando a la derecha en un día soleado. Debido a que el cielo y los árboles se ven iguales, el Estudiante A piensa: "¡Estas son básicamente la misma imagen!". Se confunde porque está enfocado en el fondo.
Estudiante B (la nueva IA) es enseñado a ignorar el fondo y concentrarse en las ruedas y la dirección del coche.

Los investigadores descubrieron que los modelos de IA estándar actuaban como el Estudiante A. Podían distinguir entre un "clip diurno" y un "clip nocturno", pero tenían dificultades para distinguir entre "acelerar" y "desacelerar" si la escena parecía similar.

El Arreglo: El Entrenador "Privilegiado"
Para solucionar esto, el equipo utilizó un proceso de entrenamiento de dos pasos.

Paso Uno: Leer el Manual. Primero, enseñaron a la IA utilizando descripciones de texto (subtítulos) emparejadas con vídeos. Esto ayudó a la IA a aprender el lenguaje de la conducción, pero no fue suficiente. La IA aún no "sentía" el movimiento profundamente.
Paso Dos: La Recompensa de la Trayectoria. Aquí es donde TraVEL brilla. Introdujeron un entrenador "privilegiado". Durante el entrenamiento, la IA veía el vídeo y la ruta exacta de GPS que tomó el coche. El entrenador decía: "Si el texto dice 'girar a la izquierda' y el vídeo muestra una trayectoria de 'giro a la derecha', obtienes una mala puntuación. Si la trayectoria coincide con el texto, obtienes una puntuación alta".

Crucialmente, este "entrenador" (la ruta GPS) solo se utiliza durante el entrenamiento. Una vez que la IA ha terminado de aprender, ya no necesita la ruta GPS. Solo necesita el vídeo y la consulta de texto. La IA ha aprendido a interiorizar la sensación del movimiento tan bien que puede encontrar el vídeo correcto usando solo un único código de búsqueda, sin necesidad de sensores adicionales o reglas complejas en el momento de la búsqueda.

Lo Que Encontraron
Los resultados fueron bastante prometedores. Cuando probaron su nuevo método en un conjunto de datos de clips de conducción llamado nuReasoning:

Mejor en Movimiento: La IA se volvió significamente mejor encontrando vídeos basados en el movimiento. Por ejemplo, al buscar "acelerando" o "girando a la izquierda", la precisión aumentó.
Los Números: En un modelo de tamaño de 2 mil millones de parámetros, el nuevo método mejoró la capacidad de encontrar movimiento "longitudinal" (adelante/atrás) en 9.8 puntos y movimiento "lateral" (lado a lado) en 4.7 puntos en comparación con el mejor método anterior. Incluso con un tamaño mayor de 8 mil millones de parámetros, vieron ganancias de 7.2 y 1.5 puntos respectivamente.
Prueba Visual: En una prueba, la IA antigua intentó encontrar un vídeo de un coche frenando para un peatón y accidentalmente eligió un vídeo de un coche acelerando por la noche. El nuevo modelo TraVEL eligió correctamente el vídeo del coche frenando, coincidiendo tanto con la acción como con el contexto.

Lo Que Descartaron
El artículo argumenta explícitamente contra la idea de que simplemente hacer el modelo de IA más grande (añadiendo más parámetros) resolverá el problema. Probaron modelos que iban desde pequeños hasta enormes, y sin su nuevo método de entrenamiento, los modelos más grandes seguían estando tan confundidos sobre el movimiento como los más pequeños. También descartaron la necesidad de sistemas complejos de múltiples pasos que requieran sensores adicionales o reglas definidas por humanos cada vez que se realiza una búsqueda. TraVEL mantiene las cosas simples: un vídeo, un código, una búsqueda.

¿Qué Tan Seguros Están?
Los autores sugieren que este enfoque es una mejora sólida para la recuperación "centrada en el movimiento", pero advierten cuidadosamente que no es una solución perfecta para todos los escenarios de conducción. Encontraron que, aunque la IA mejoró mucho en movimientos grandes como girar y detenerse, todavía encontraba algo complicados los cambios de carril sutiles (como "moverse ligeramente hacia la izquierda en el carril"). Concluyen que, si bien las señales de movimiento físico son una herramienta poderosa, todavía hay margen de mejora, quizás enseñando a la IA a notar el movimiento de otros coches, no solo el del que ella está viajando.

En resumen, TraVEL enseña a las computadoras de los coches autónomos a prestar atención a la danza del vehículo, no solo al escenario sobre el que baila, haciendo que sea mucho más fácil encontrar los momentos específicos que importan para la seguridad y el aprendizaje.

Resumen Técnico: TraVEL – Aprendizaje de Incrustaciones de Video Guiado por Trayectorias para la Recuperación de Videos de Conducción

Planteamiento del Problema

La recuperación eficiente de escenarios de conducción específicos a partir de registros de gran escala de vehículos autónomos es fundamental para la curación de datos, el desarrollo de modelos y el análisis de seguridad. Si bien los sistemas de recuperación basados en reglas estructuradas pueden apuntar a eventos específicos, requieren reglas definidas por expertos, datos auxiliares (por ejemplo, detecciones de objetos, mapas) y canales de percepción de múltiples etapas, lo que los hace costosos de extender a nuevos dominios. Por el contrario, los modelos de incrustación (embeddings) multimodales ofrecen una alternativa más simple y eficiente al representar los videos como vectores únicos buscables. Sin embargo, los modelos de lenguaje-visión (VLM) de propósito general suelen fallar en el dominio de la conducción porque dependen de atajos de contexto de escena estática en lugar de un movimiento detallado. Tienen dificultades para distinguir eventos operativamente opuestos (por ejemplo, acelerar frente a desacelerar, girar a la izquierda frente a la derecha) cuando el fondo visual es similar.

Metodología

Los autores proponen TraVEL (Trajectory-Guided Video Embedding Learning), un marco diseñado para adaptar los modelos de incrustación multimodales de propósito general a la recuperación de videos de conducción mediante la incorporación de señales de movimiento físico durante el entrenamiento sin requerirlas en el momento de la inferencia. El enfoque consiste en un proceso de entrenamiento de dos etapas:

1. Ajuste Fino Supervisado del Dominio de Conducción (SFT)

Los autores abordan primero la brecha de dominio entre los datos de preentrenamiento general y los videos de conducción. Realizan el ajuste fino del modelo Qwen3-VL-Embedding utilizando clips de video de conducción emparejados con subtítulos de traza de razonamiento del conjunto de datos nuReasoning. Esta etapa emplea el objetivo InfoNCE para alinear las representaciones de texto y video, mejorando significativamente el rendimiento general de la recuperación. Sin embargo, los autores señalan que la supervisión mediante subtítulos proporciona solo una señal dispersa para la dinámica fina del vehículo, lo que hace que las consultas centradas en el movimiento (como perfiles de aceleración específicos) sean un desafío.

2. Optimización de Política de Grupo Relativa de Trayectoria (GRPO)

Para abordar las limitaciones de la supervisión basada únicamente en subtítulos, TraVEL introduce una etapa de aprendizaje por refuerzo utilizando la Optimización de Política de Grupo Relativa (GRPO).

Supervisión Privilegiada: Durante el entrenamiento, cada clip de video se empareja con una secuencia de pose del ego sincronizada (desplazamiento lateral y velocidad). Estas poses son información privilegiada: se utilizan únicamente como señal de recompensa durante el entrenamiento y no se proporcionan como entradas al modelo de incrustación ni se requieren durante la recuperación.
Representación del Movimiento: Las secuencias de pose del ego se remuestreanan y transforman mediante una función de deformación logarítmica para enfatizar los cambios cerca de cero (por ejemplo, de detenerse a acelerar). La similitud entre las señales de movimiento se calcula utilizando Dynamic Time Warping (DTW) para manejar desalineaciones temporales.
Construcción de la Recompensa: El proceso de entrenamiento construye dos tipos de grupos candidatos:
- Texto-a-Video ( $G_{t2v}$ ): Incluye el video de referencia (ground-truth) y negativos difíciles. La recompensa es binaria (1 para el par correcto, 0 de lo contrario) para preservar la alineación transmodal.
- Video-a-Video ( $G_{v2v}$ ): Incluye candidatos de video con puntuaciones altas basados en el modelo actual. La recompensa es un valor graduado derivado de la similitud de la trayectoria del ego (distancia DTW). Los clips con movimientos similares reciben recompensas más altas.
Optimización: El objetivo de GRPO actualiza el modelo para maximizar la ventaja de los pares correctos y los videos con movimiento similar, remodelando efectivamente el espacio de incertidumbre para ser sensible al movimiento del vehículo mientras mantiene la eficiencia de recuperación de vector único.

Contribuciones Clave

Marco TraVEL: Un método simple y efectivo para adaptar modelos de incrustación multimodales de propósito general a la recuperación de videos de conducción mediante la integración de señales de movimiento físico en el bucle de entrenamiento.
Ajuste Fino Consciente del Movimiento: La introducción de una recompensa derivada de la trayectoria dentro de un marco GRPO. Esto hace que las incrustaciones de video sean sensibles al movimiento del ego (longitudinal y lateral) sin alterar el flujo de inferencia (sin necesidad de poses del ego o datos auxiliares de percepción en el momento de la recuperación).
Benchmark de Recuperación de Video de Conducción: La construcción de un benchmark de recuperación derivado del conjunto de datos nuReasoning, que evalúa específicamente consultas centradas en el movimiento.

Resultados Experimentales

Los autores evaluaron TraVEL en el conjunto de datos nuReasoning utilizando modelos Qwen3-VL-Embedding a escalas de 2B y 8B de parámetros.

Rendimiento de la Línea Base: Los modelos estándar (incluyendo CLIP4Clip, InternVideo2 y Qwen3-VL preentrenado) exhibieron una brecha de dominio significativa, con puntuaciones R@1 generalmente por debajo del 2.5% y rangos medianos cercanos al azar.
Impacto de SFT: El ajuste fino supervisado en clips emparejados mejoró la recuperación significativamente, pero siguió siendo insuficiente para las distinciones de movimiento fino.
Rendimiento de TraVEL:
- Recuperación a Nivel de Instancia: TraVEL mejoró sustancialmente el recuerdo (recall). En 2B, R@1 aumentó del 1.3% (Preentrenado) al 8.7%, y el rango mediano cayó de 266 a 23. En 8B, R@1 alcanzó el 10.1%, con un rango mediano de 17.
- Recuperación Centrada en el Movimiento: TraVEL mostró las ganancias más significativas en consultas específicas de movimiento.
  - Modelo 2B: El mAP longitudinal mejoró en 9.8 puntos (del 45.9% con SFT al 55.7% con TraVEL). El mAP lateral mejoró en 4.7 puntos (del 31.0% al 35.7%).
  - Modelo 8B: El mAP longitudinal mejoró en 7.2 puntos (al 57.5%), y el mAP lateral en 1.5 puntos (al 39.9%).
- Análisis Cualitativo: Las visualizaciones mostraron que TraVEL redujo con éxito la similitud entre clips visualmente similares con diferentes movimientos (por ejemplo, aceleración en giro a la izquierda frente a desaceleración en giro a la derecha) e incrementó la similitud entre clips que comparten la misma trayectoria a pesar de diferentes contextos visuales (por ejemplo, día frente a noche).

Significado y Reivindicaciones

El artículo afirma que TraVEL logra cerrar la brecha entre la eficiencia de la búsqueda de incrustación de vector único y la necesidad de una recuperación sensible al movimiento en la conducción autónoma. Al utilizar la similitud de la trayectoria del ego como una señal de entrenamiento privilegiada, el método organiza el espacio de incrustación de video de acuerdo con la dinámica del vehículo sin requerir canales de percepción complejos o datos auxiliares durante la inferencia.

Los autores enfatizan que, si bien TraVEL produce ganancias claras en consultas centradas en el movimiento (particularmente en comportamientos de parada y giro), aún quedan desafíos para los desplazamientos sutiles dentro del carril. Posicionan a TraVEL no como un reemplazo para los sistemas estructurados basados en reglas, sino como un enfoque complementario y eficiente que aprovecha las señales de movimiento físico fácilmente disponibles para mejorar el poder de representación de los modelos multimodales de propósito general. El trabajo sugiere que combinar la supervisión físicamente fundamentada con la búsqueda basada en incrustaciones es un camino viable para mejorar los flujos de trabajo de conducción descendentes, tales como la curación de datos y la validación de seguridad.