🤖 machine learning

Zero-Label Driving Scenario Complexity Detection via Joint Embedding Predictive Architecture

Cet article démontre qu'une architecture de prédiction d'encastrement conjoint (JEPA) auto-supervisée, entraînée sur des données de conduite non étiquetées, peut identifier efficacement des scénarios complexes et critiques pour la sécurité en utilisant l'erreur de prédiction temporelle comme score de complexité sans étiquette, atteignant une performance significative dans la détection d'anomalies sans aucune annotation humaine.

Auteurs originaux : Santosh Jaiswal

Publié 2026-06-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Santosh Jaiswal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot conducteur comment gérer des situations délicates sur la route, comme une intersection animée ou un piéton qui descend du trottoir. Le problème est que la plupart des vidéos de conduite sont ennuyeuses : des routes droites, des autoroutes vides et des voitures qui roulent tranquillement. Les moments « excitants » et dangereux sont rares, enfouis au plus profond de millions d'heures de séquences. Trouver ces clips rares nécessite qu'un humain les regarde tous et les étiquette, ce qui est lent, coûteux et sujet aux biais.

Cette publication pose une question simple : Un ordinateur peut-il déterminer de lui-même quelles scènes de conduite sont « difficiles », sans que personne ne lui dise jamais ce qu'est une scène « difficile » ?

La réponse, selon les auteurs, est oui. Ils ont construit un système qui agit comme un rêveur prédictif.

L'analogie du « Rêveur »

Considérez le modèle d'IA comme un étudiant qui a regardé des milliers d'heures de vidéos de conduite. Au lieu de mémoriser les images (comme la couleur du ciel ou la texture de la route), cet étudiant apprend les règles du mouvement. Il apprend comment les voitures et les piétons se déplacent habituellement les uns par rapport aux autres.

Chaque fois que l'étudiant voit une nouvelle scène, il ferme les yeux et essaie de prédire ce qui va se passer ensuite en se basant sur ce qu'il vient de voir.

Si la scène est ennuyeuse (comme une voiture roulant en ligne droite sur une route déserte), la prédiction de l'étudiant est parfaite. Il dit : « Je sais exactement ce qui se passe ensuite. » Le « score de surprise » est faible.
Si la scène est complexe (comme une voiture effectuant un virage soudain alors qu'un piéton descend du trottoir), la prédiction de l'étudiant est erronée. Il dit : « Attendez, ce n'était pas censé arriver ! » Le « score de surprise » est élevé.

Le papier soutient que haute surprise = haute complexité. Si le modèle est confus, c'est probablement parce que la situation est difficile et critique pour la sécurité.

Comment ils l'ont construit (La « Boîte Noire » vs le « Miroir »)

Les chercheurs ont utilisé une architecture spécifique appelée JEPA (Joint Embedding Predictive Architecture). Pour faire simple, imaginez deux miroirs :

Le Miroir Actif (Encodeur de Contexte) : Il observe la scène actuelle et essaie de deviner le futur.
Le Miroir Lent (Encodeur Cible) : Il observe le futur réel. Mais voici l'astuce : le Miroir Lent ne change pas instantanément. Il se met à jour très lentement, comme un reflet dans un vieux verre épais.

Le Miroir Actif essaie de correspondre au Miroir Lent. Comme le Miroir Lent est toujours légèrement « en retard » et lissé, le Miroir Actif ne peut pas tricher en se copiant lui-même. Il doit réellement apprendre les modèles profonds de la circulation. S'il échoue à correspondre au Miroir Lent, cet « échec » (l'erreur de prédiction) devient le Score de Complexité.

Ce qu'ils ont trouvé

Ils ont testé cela sur un ensemble de données de conduite urbaine réelle. Sans jamais avoir été informés que « ceci est un virage » ou « ceci est un piéton », le modèle a naturellement attribué les scores de « surprise » les plus élevés à :

Les virages à gauche sans protection (où il faut attendre une ouverture dans le trafic).
Les interactions avec les piétons aux passages cloutés.
Les voitures s'arrêtant aux feux rouges.

Il a donné les scores les plus bas à :

Les voitures suivant simplement leur voie.
Le trafic complètement arrêté et statique.

Les tests d'« Ablation » (Prouver que ce n'est pas de la magie)

Pour s'assurer qu'il ne s'agissait pas d'un coup de chance, ils ont mené quatre expériences de type « et si » :

Mélanger les cartes : S'ils mélangeaient les scores de manière aléatoire, le motif disparaissait. Cela a prouvé que le système ne faisait pas que deviner.
Poids aléatoires : S'ils utilisaient un modèle qui n'avait rien appris (nombres aléatoires), il ne pouvait pas trouver les scènes complexes. Cela a prouvé que c'est l'apprentissage qui importait.
La référence de la « Physique » : Ils ont essayé une règle simple : « Supposons que les voitures continuent de se déplacer à la même vitesse. » Cela a échoué lamentablement. Pourquoi ? Parce que les événements complexes commencent souvent par des mouvements lents (comme une voiture ralentissant pour tourner). Une règle de physique simple pense que « lent égale sûr », elle donne donc un score de surprise faible. Le modèle d'IA, cependant, a reconnu qu'une « approche lente » mène souvent à un « virage complexe », il a donc donné un score de surprise élevé.
Supprimer le « Miroir Lent » : S'ils avaient supprimé l'astuce d'entraînement spéciale (EMA) qui maintient les miroirs différents, le système s'effondrait. Les deux miroirs devenaient identiques, le modèle arrêtait d'apprendre, et chaque scène recevait exactement le même score. Cela a prouvé que la méthode d'entraînement spécifique était essentielle.

Le Résultat

Enfin, ils ont testé si ce « score de surprise » pouvait servir de filtre pour trouver automatiquement les scènes dangereuses.

L'objectif : Trouver les 5 % des scènes les plus complexes.
Le résultat : L'IA a trouvé des scènes complexes environ 56 % du temps dans le top 5 %.
La référence : Si on choisissait au hasard, on les trouverait environ 43 % du temps.
La référence de la « Physique » : La règle simple du « continuer à avancer à la même vitesse » a en fait obtenu des résultats pires que le hasard pour les scènes de tête.

L'essentiel

Ce papier montre qu'il n'est pas nécessaire d'avoir une équipe d'humains pour étiqueter des millions de vidéos de conduite afin de trouver les plus dangereuses. On peut entraîner un « rêveur prédictif » sur des données brutes. Lorsque le rêveur est confus quant à ce qui va se passer ensuite, cette confusion est un signal fiable que la situation de conduite est complexe et potentiellement dangereuse.

C'est comme avoir un copilote qui n'a pas besoin de manuel ; il sait simplement quand la route devient technique parce qu'il ne peut pas prédire ce qui arrive ensuite.

Résumé Technique : Détection de la Complexité des Scénarios de Conduite sans Étiquetage via une Architecture de Prédiction d'Espace Latent Conjoint

Énoncé du Problème

Les jeux de données de véhicules autonomes (VA) en conditions réelles sont fortement biaisés en faveur de scénarios de conduite routiniers et sans incident, ce qui rend l'identification des événements rares, complexes et critiques pour la sécurité particulièrement laborieuse et coûteuse. Les solutions existantes reposent sur l'annotation humaine, des classifieurs supervisés ou des ensembles de règles artisanales, qui nécessitent tous une connaissance préalable substantielle ou une collecte de données coûteuse. Les auteurs proposent une solution pour découvrir la complexité des scénarios entièrement sans étiquettes, en se demandant si un modèle peut identifier de manière autonome les scénarios exigeants en se basant uniquement sur sa capacité à prédire la dynamique future des agents.

Méthodologie

Données et Représentation

L'étude utilise le jeu de données nuPlan mini, extrayant 1 322 scénarios (5 secondes à 10 Hz chacun). Contrairement aux approches utilisant des pixels bruts, cette méthode opère sur des données d'état d'agents structurées. Chaque scénario est représenté par un tenseur de forme $[50, 21, 6]$ , encodant 50 pas de temps pour jusqu'à 21 agents (véhicule propre + 20 environnants). Les six caractéristiques par agent incluent la position ( $x, y$ ), la vitesse ( $v_x, v_y$ ), le cap ( $\theta$ ) et le type d'agent. Les données sont normalisées pour garantir que les valeurs typiques se situent proches de $[-1, 1]$ .

Architecture : Architecture de Prédiction d'Espace Latent Conjoint (JEPA)

Le cœur de l'approche est une Architecture de Prédiction d'Espace Latent Conjoint (JEPA) minimale, entraînée sur des états d'agents structurés. L'architecture se compose de quatre éléments :

Encodeur de Contexte : Un Transformer à 4 couches qui traite les 25 premiers pas de temps (fenêtre de contexte) pour produire une représentation latente $z_{ctx}$ .
Prédicteur : Un Transformer à 2 couches qui mappe $z_{ctx}$ vers un futur latent prédit $\hat{z}_{tgt}$ , conditionné par un encodage d'horizon apprenable.
Encodeur de Cible : Une copie identique de l'encodeur de contexte qui traite les 25 futurs pas de temps (fenêtre cible) pour produire le latent de vérité terrain $z_{tgt}$ . Crucialement, cet encodeur n'est jamais mis à jour via la rétropropagation ; ses poids sont mis à jour uniquement via une Moyenne Mobile Exponentielle (EMA) des poids de l'encodeur de contexte.
Décodeur de Position : Un petit MLP qui décode le latent prédit en positions futures, servant de signal de supervision auxiliaire.

Objectif d'Entraînement

Le modèle est entraîné avec une fonction de perte auto-supervisée combinant deux termes :
$\mathcal{L} = \underbrace{\|\hat{z}_{tgt} - z_{tgt}\|_2^2}_{\text{Perte JEPA}} + \lambda \underbrace{\|\hat{p} - p_{tgt}\|_2^2}_{\text{Perte de Position}}$
où $\lambda = 0,1$ . Les gradients circulent à travers l'encodeur de contexte et le prédicteur, mais sont stoppés au niveau de l'encodeur de cible. La mise à jour EMA ( $\alpha = 0,996$ ) empêche l'effondrement de la représentation en garantissant que l'encodeur de cible reste une moyenne lissée historique de l'encodeur de contexte.

Métrique de Complexité : Score de Surprise

À l'inférence, aucune étiquette n'est utilisée. Le score de surprise ( $s$ ) pour un scénario est défini comme la distance L2 entre le futur latent prédit et le futur latent réel :
$s = \|\hat{z}_{tgt} - z_{tgt}\|_2$
Un score élevé indique que la prédiction du modèle concernant l'état futur était inexacte, impliquant que le scénario contenait des interactions complexes et inattendues.

Contributions Clés

Score de Complexité sans Étiquetage : Les auteurs démontrent qu'un modèle JEPA entraîné sur des données de conduite structurées, sans aucune étiquette, produit des scores de surprise qui corrèlent fortement avec les étiquettes de scénarios de vérité terrain (ex: "virage non protégé", "proximité piéton").
Analyse d'Ablation : Quatre expériences isolent la source du signal :
- Scores Mélangés (Shuffled Scores) : Confirment que la corrélation n'est pas un artefact du pipeline d'analyse.
- Encodeur Aléatoire : Prouve que les poids entraînés sont nécessaires (une initialisation aléatoire ne produit aucune corrélation).
- Baseline de Vitesse Constante : Montre qu'une simple prédiction cinématique échoue à classer correctement les scénarios complexes, attribuant souvent une faible surprise aux événements de ralentissement précédant des manœuvres complexes.
- Entraînement sans EMA : Démontre que sans EMA, le modèle s'effondre (l'étalement des scores chute de 44 fois), prouvant que l'EMA est le mécanisme spécifique permettant l'apprentissage de la structure temporelle.
Détection d'Anomalies en Aval : Le score de surprise sert de détecteur d'anomalies zero-shot efficace, atteignant une Précision Moyenne (AP) de 0,512 contre une base de référence de 0,436.

Résultats

Corrélation des Étiquettes : Le modèle attribue des scores de surprise nettement plus élevés aux étiquettes complexes telles que "début de virage non protégé" (1,978) et "proximité piéton sur passage clouté" (1,834), tout en attribuant des scores plus faibles aux étiquettes routinières comme "suivre la voie avec véhicule de tête" (1,406).
Résultats d'Ablation : La baseline de vitesse constante a montré une corrélation modérée ( $\rho=0,314$ ) mais a échoué à distinguer les scénarios complexes qui débutent par une décélération contrôlée. Le modèle sans EMA a totalement échoué, tous les scénarios recevant des scores presque identiques.
Détection d'Anomalies : Le modèle JEPA entraîné était la seule méthode à rester systématiquement au-dessus de la ligne de base du hasard sur toute la courbe de classement. La baseline de vitesse constante est tombée sous le niveau du hasard après les 5 % de scénarios les mieux classés.
Validation Qualitative : L'inspection visuelle des 9 scénarios les plus surprenants a révélé des regroupements d'agents denses, des intersections et des passages piétons, tandis que les 9 moins surprenants montraient des trajectoires parallèles et dégagées.

Signification et Revendications

L'article affirme que l'erreur de prédiction temporelle dans un modèle de monde latent auto-supervisé est un proxy pratique de la complexité des scénarios de conduite.

Mécanisme : Le modèle apprend à prédire "l'essence compressée" des interactions futures entre agents. Il réagit aux scénarios présentant des dynamiques multi-agents inhabituelles plutôt qu'au bruit visuel ou aux propriétés statiques.
Avantage sur la Cinématique : Contrairement aux baselines de vitesse constante, le modèle JEPA reconnaît qu'une décélération contrôlée vers une intersection est un précurseur d'événements complexes, attribuant des scores de surprise plus élevés même avant que la manœuvre critique ne se produise.
Praticité : Cette approche ne nécessite aucun coût d'annotation. Un seul modèle entraîné de bout en bout avec un objectif auto-supervisé standard peut automatiquement constituer des jeux de données en faisant remonter les scénarios complexes, répondant ainsi au problème de déséquilibre des données dans le développement de la conduite autonome.

Les auteurs maintiennent une portée modeste, notant des limites telles que l'utilisation du sous-ensemble mini de nuPlan (1 322 scénarios) et l'actuel couplage au pipeline de données nuPlan, suggérant qu'un calibrage pourrait s'améliorer avec des données à plus grande échelle.