🤖 machine learning

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

TRAVEL est un cadre de réglage fin sensible au mouvement qui améliore la recherche de vidéos de conduite en exploitant la similitude de l'ego-trajectoire comme récompense au sein de l'Optimisation de Politique Relative de Groupe (GRPO), permettant ainsi aux modèles multimodaux à usage général de distinguer efficacement les événements centrés sur le mouvement sans dépendre de données de perception auxiliaires ou de règles d'experts.

Auteurs originaux : Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

Publié 2026-08-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Chasse aux Vidéos

Imaginez que vous êtes un détective essayant de résoudre un mystère, mais au lieu d'une seule scène de crime, vous avez une bibliothèque contenant des millions d'heures de séquences vidéo. C'est la réalité quotidienne des entreprises qui construisent des voitures autonomes. Elles ne se contentent pas de conduire ; elles enregistrent tout. Mais trouver le moment précis où une voiture a failli heurter un piéton, ou la seconde exacte où un conducteur a effectué un virage délicat, c'est comme chercher une aiguille dans une botte de foin faite d'autres aiguilles.

Pour résoudre cela, les scientifiques utilisent ce qu'on appelle l'« incrustation multimodale » (multimodal embedding). Voyez cela comme un traducteur magique qui transforme à la fois un clip vidéo et une phrase de texte en un code unique et secret (un vecteur). Si le code d'une vidéo montrant une « voiture rouge tournant à gauche » est très similaire au code du texte « voiture rouge tournant à gauche », l'ordinateur sait qu'ils correspondent. C'est comme donner à chaque vidéo une empreinte digitale unique et à chaque requête de recherche une clé correspondante. L'objectif est de rendre l'ordinateur si doué pour faire correspondre ces clés qu'il puisse instantanément extraire la bonne vidéo parmi des millions d'options sans avoir besoin qu'un humain les regarde toutes.

Cependant, il y a un piège. Les « traducteurs magiques » actuels sont excellents pour reconnaître des éléments statiques comme des arbres, des bâtiments ou la couleur du ciel. Mais ils sont souvent confus par le mouvement. Pour une IA standard, une voiture tournant à gauche peut ressembler exactement à une voiture tournant à droite si le décor en arrière-plan est le même. Elles se concentrent trop sur le « où » et pas assez sur le « comment ». Ce document pose la question : pouvons-nous apprendre à ces modèles d'IA à se soucier davantage du mouvement lui-même, afin qu'ils puissent faire la différence entre une voiture qui accélère et une voiture qui ralentit, même si le décor semble identique ?

La Solution : Apprendre à l'IA à Ressentir la Route

Les chercheurs derrière ce document, travaillant avec Uber AV Labs et l'Université de Purdue, ont introduit une nouvelle méthode appelée TraVEL (Trajectory-Guided Video Embedding Learning). Leur principale conclusion est qu'en utilisant le chemin physique réel emprunté par la voiture (son « ego-trajectoire ») comme un outil d'entraînement spécial, ils peuvent rendre l'IA bien meilleure pour comprendre les actions de conduite.

Voici comment ils ont procédé, en utilisant une analogie simple :

Le Problème : Le Piège du « Contexte »
Imaginez que vous avez deux étudiants passant un examen sur la conduite.

L'Étudiant A (l'ancienne IA) regarde une image d'une voiture tournant à gauche par une journée ensoleillée et une image d'une voiture tournant à droite par une journée ensoleillée. Comme le ciel et les arbres se ressemblent, l'Étudiant A pense : « Ces deux images sont pratiquement les mêmes ! ». Il est confus car il se concentre sur l'arrière-plan.
L'Étudiant B (la nouvelle IA) est enseigné pour ignorer l'arrière-plan et se concentrer sur les roues et la direction de la voiture.

Les chercheurs ont découvert que les modèles d'IA standards agissaient comme l'Étudiant A. Ils pouvaient faire la différence entre un « clip de jour » et un « clip de nuit », mais ils avaient du mal à distinguer une « accélération » d'un « ralentissement » si la scène se ressemblait.

La Solution : Le Coach « Privilégié »
Pour corrifier cela, l'équipe a utilisé un processus d'entraînement en deux étapes.

Étape Un : Lire le Manuel. D'abord, ils ont enseigné à l'IA en utilisant des descriptions textuelles (légendes) associées à des vidéos. Cela a aidé l'IA à apprendre le langage de la conduite, mais cela ne suffisait pas. L'IA ne « ressentait » toujours pas profondément le mouvement.
Étape Deux : La Récompense de Trajectoire. C'est ici que TraVEL brille. Ils ont introduit un coach « privilégié ». Pendant l'entraînement, l'IA se voit montrer la vidéo et le chemin GPS exact emprunté par la voiture. Le coach dit : « Si le texte dit "tourner à gauche" et que la vidéo montre un chemin de "virage à droite", tu reçois un mauvais score. Si le chemin correspond au texte, tu reçs un score élevé. »

Crucialement, ce « coach » (le chemin GPS) n'est utilisé que pendant l'entraînement. Une fois que l'IA a fini d'apprendre, elle n'a plus besoin du chemin GPS. Elle a juste besoin de la vidéo et de la requête textuelle. L'IA a appris à intérioriser le sentiment du mouvement si bien qu'elle peut trouver la bonne vidéo en utilisant simplement un seul code de recherche, sans avoir besoin de capteurs supplémentaires ou de règles complexes au moment de la recherche.

Ce Qu'Ils Ont Trouvé
Les résultats étaient très prometteurs. Lorsqu'ils ont testé leur nouvelle méthode sur un ensemble de données de clips de conduite appelé nuReasoning :

Meilleure gestion du Mouvement : L'IA est devenue nettement meilleure pour trouver des vidéos basées sur le mouvement. Par exemple, lors de la recherche d'« accélération » ou de « virage à gauche », la précision a bondi.
Les Chiffres : Pour un modèle de taille 2 milliards de paramètres, la nouvelle méthode a amélioré la capacité à trouver le mouvement « longitudinal » (avant/arrière) de 9,8 points et le mouvement « latéral » (côté à côté) de 4,7 points par rapport à la meilleure méthode précédente. Même avec une taille plus grande de 8 milliards de paramètres, ils ont observé des gains de 7,2 et 1,5 points respectivement.
Preuve Visuelle : Dans un test, l'ancienne IA a essayé de trouver une vidéo d'une voiture ralentissant pour un piéton et a accidentellement choisi une vidéo d'une voiture accélérant la nuit. Le nouveau modèle TraVEL a correctement choisi la vidéo de la voiture ralentissant, correspondant à la fois à l'action et au contexte.

Ce Qu'Ils Ont Éliminé
Le document argumente explicitement contre l'idée que le simple fait de rendre le modèle d'IA plus grand (en ajoutant plus de paramètres) résoudra le problème. Ils ont testé des modèles allant de petits à énormes, et sans leur nouvelle méthode d'entraînement, les modèles plus grands étaient tout aussi confus sur le mouvement que les plus petits. Ils ont également écarté la nécessité de systèmes complexes à plusieurs étapes nécessitant des capteurs supplémentaires ou des règles définies par l'homme à chaque fois qu'une recherche est effectuée. TraVEL garde les choses simples : une vidéo, un code, une recherche.

À Quel Point Sont-ils Sûrs ?
Les auteurs suggèrent que cette approche est une amélioration significative pour la recherche « centrée sur le mouvement », mais ils précisent avec prudence qu'il ne s'agit pas d'une solution parfaite pour chaque scénario de conduite. Ils ont constaté que, bien que l'IA soit devenue bien meilleure pour les grands mouvements comme tourner ou s'arrêter, elle trouvait encore les changements de voie subtils (comme « se déplacer légèrement vers la gauche dans la voie ») un peu difficiles. Ils concluent que, bien que les signaux de mouvement physique soient un outil puissant, il reste de la place pour l'amélioration, peut-être en apprenant à l'IA à remarquer le mouvement des autres voitures, et pas seulement celui de celle dans laquelle elle se trouve.

En résumé, TraVEL apprend aux ordinateurs des voitures autonomes à prêter attention à la danse du véhicule, et non seulement à la scène sur laquelle elle danse, ce qui facilite grandement la recherche des moments spécifiques qui comptent pour la sécurité et l'apprentissage.

Résumé Technique : TraVEL – Apprentissage d'Embeddings Vidéo Guidé par la Trajectoire pour la Recherche de Vidéos de Conduite

Énoncé du Problème

La récupération efficace de scénarios de conduite spécifiques à partir de journaux de bord de véhicules autonomes à grande échelle est cruciale pour la curation de données, le développement de modèles et l'analyse de la sécurité. Bien que les systèmes de recherche structurés et basés sur des règles puissent cibler des événements précis, ils nécessitent des règles définies par des experts, des données auxiliaires (ex. : détection d'objets, cartes) et des pipelines de perception multi-étapes, ce qui les rend coûteux à étendre à de nouveaux domaines. À l'inverse, les modèles d'embedding multimodaux offrent une alternative plus simple et efficace en représentant les vidéos sous forme de vecteurs uniques et interrogeables. Cependant, les modèles de vision-langage (VLM) à usage général échouent souvent dans le domaine de la conduite car ils reposent sur des raccourcis contextuels de scènes statiques plutôt que sur un mouvement fin. Ils peinent à distinguer des événements opérationnellement opposés (ex. : accélérer vs décélérer, tourner à gauche vs tourner à droite) lorsque l'arrière-plan visuel est similaire.

Méthodologie

Les auteurs proposent TraVEL (Trajectory-Guided Video Embedding Learning), un cadre conçu pour adapter les modèles d'embedding multimodaux à usage général à la recherche de vidéos de conduite en incorporant des signaux de mouvement physique lors de l'entraînement, sans nécessiter ces derniers lors de l'inférence. L'approche consiste en un pipeline d'entraînement en deux étapes :

1. Ajustement Supervisé du Domaine de la Conduite (SFT)

Les auteurs traitent d'abord l'écart de domaine entre les données de pré-entraînement général et les vidéos de conduite. Ils affinent le modèle Qwen3-VL-Embedding en utilisant des clips vidéo de conduite appariés et des légendes de traces de raisonnement issues du jeu de données nuReasoning. Cette étape utilise l'objectif InfoNCE pour aligner les représentations texte et vidéo, améliorant considérablement la performance globale de la recherche. Cependant, les auteurs notent que la supervision par légende ne fournit qu'un signal parciel pour la dynamique fine du véhicule, laissant les requêtes centrées sur le mouvement (comme des profils d'accélération spécifiques) difficiles à traiter.

2. Optimisation de Politique Relative de Groupe Sensible à la Trajectoire (GRPO)

Pour remédier aux limites de la supervision par légende seule, TraVEL introduit une étape d'apprentissage par renforcement utilisant l'Optimisation de Politique Relative de Groupe (GRPO).

Supervision Privilégiée : Pendant l'entraînement, chaque clip vidéo est associé à une séquence d'ego-pose synchronisée (déplacement latéral et vitesse). Ces poses sont des informations privilégiées : elles sont utilisées uniquement comme signal de récompense pendant l'entraînement et ne sont pas fournies comme entrées au modèle d'embedding, ni requises lors de la recherche.
Représentation du Mouvement : Les séquences d'ego-pose sont rééchantillonnées et transformées via une fonction de déformation logarithmique pour accentuer les changements proches de zéro (ex. : de l'arrêt à l'accélération). La similitude entre les signaux de mouvement est calculée à l'aide de la Dynamic Time Warping (DTW) pour gérer les désalignements temporels.
Construction de la Récompense : Le processus d'entraînement construit deux types de groupes de candidats :
- Texte-vers-Vidéo ( $G_{t2v}$ ) : Comprend la vidéo de vérité terrain et les négatifs difficiles. La récompense est binaire (1 pour la paire correcte, 0 sinon) pour préserver l'alignement cross-modal.
- Vidéo-vers-Vidéo ( $G_{v2v}$ ) : Comprend les candidats vidéo ayant un score élevé selon le modèle actuel. La récompense est une valeur graduée dérivée de la similitude de la trajectoire (distance DTW). Les clips partageant un mouvement similaire reçoivent des récompenses plus élevées.
Optimisation : L'objectif GRPO met à jour le modèle pour maximiser l'avantage des paires correctes et des vidéos similaires en termes de mouvement, remodelant efficacement l'espace d'embedding pour être sensible au mouvement du véhicule tout en maintenant l'efficacité de la recherche par vecteur unique.

Principales Contributions

Cadre TraVEL : Une méthode simple et efficace pour adapter les modèles d'embedding multimodaux à usage général à la recherche de vidéos de conduite en intéant des signaux de mouvement physique dans la boucle d'entraînement.
Affinage Sensible au Mouvement : L'introduction d'une récompense dérivée de la trajectoire au sein d'un cadre GRPO. Cela rend les embeddings vidéo sensibles à l'ego-mouvement (longitudinal et latéral) sans modifier le pipeline d'inférence (pas besoin d'ego-poses ou de données auxiliaires lors de la recherche).
Benchmark de Recherche de Vidéos de Conduite : La construction d'un benchmark de recherche dérivé du jeu de données nuReasoning, évaluant spécifiquement les requêtes centrées sur le mouvement.

Résultats Expérimentaux

Les auteurs ont évalué TraVEL sur le jeu de données nuReasoning en utilisant des modèles Qwen3-VL-Embedding à des échelles de 2B et 8B de paramètres.

Performance de Base : Les modèles prêts à l'emploi (incluant CLIP4Clip, InternVideo2 et Qwen3-VL pré-entraîné) présentent un écart de domaine significatif, avec des scores R@1 généralement inférieurs à 2,5 % et des rangs médians proches du hasard.
Impact du SFT : L'ajustement supervisé sur des clips appariés améliore significativement la recherche mais reste insuffisant pour les distinctions de mouvement fines.
Performance de TraVEL :
- Recherche au Niveau Instance : TraVEL améliore substantiellement le rappel. À 2B, le R@1 passe de 1,3 % (Pré-entraîné) à 8,7 %, et le rang médian chute de 266 à 23. À 8B, le R@1 atteint 10,1 %, avec un rang médian de 17.
- Recherche Centrée sur le Mouvement : TraVEL montre les gains les plus importants sur les requêtes liées au mouvement.
  - Modèle 2B : Le mAP longitudinal s'améliore de 9,8 points (passant de 45,9 % avec SFT à 55,7 % avec TraVEL). Le mAP latéral s'améliore de 4,7 points (de 31,0 % à 35,7 %).
  - Modèle 8B : Le mAP longitudinal s'améliore de 7,2 points (pour atteindre 57,5 %), et le mAP latéral de 1,5 point (pour atteindre 39,9 %).
- Analyse Qualitative : Les visualisations ont montré que TraVEL réduit avec succès la similitude entre des clips visuellement similaires mais aux mouvements différents (ex. : virage à gauche en accélération vs virage à droite en décélération) et augmente la similitude entre des clips partageant la même trajectoire malgré des contextes visuels différents (ex. : jour vs nuit).

Signification et Revendications

L'article affirme que TraVEL comble avec succès l'écart entre l'efficacité de la recherche par embedding à vecteur unique et la nécessité d'une recherche sensible au mouvement dans la conduite autonome. En utilisant la similitude de l'ego-trajectoire comme signal d'entraînement privilégié, la méthode organise l'espace d'embedding vidéo selon la dynamique du véhicule sans nécessiter de pipelines de perception complexes ou de données auxiliaires lors de l'inférence.

Les auteurs soulignent que bien que TraVEL apporte des gains clairs sur les requêtes centrées sur le mouvement (particulièrement pour les comportements d'arrêt et de virage), des défis subsistent pour les changements subtils au sein d'une même voie. Ils positionnent TraVEL non pas comme un remplacement des systèmes structurés basés sur des règles, mais comme une approche complémentaire et efficace qui tire parti des signaux de mouvement physique disponibles pour améliorer la puissance de représentation des modèles multimodaux à usage général. Ce travail suggère que la combinaison d'une supervision ancrée physiquement et de la recherche par embedding est une voie viable pour améliorer les flux de travail en aval de la conduite, tels que la curation de données et la validation de la sécurité.