🤖 AI

Mode-as-Sequence: Translating Multimodal Motion Prediction into Unified Sequential Mode Modeling

L'article propose « Mode-as-Sequence », un cadre unifié qui traduit des prédictions de mouvement multimodales non ordonnées en une séquence ordonnée pour modéliser explicitement les dépendances entre modes, résolvant ainsi les problèmes d'effondrement de modes et d'étalonnage de la confiance grâce à des stratégies de décodage récurrentes ou parallèles ayant obtenu les meilleurs classements lors des défis du Waymo Open Dataset.

Auteurs originaux : Zikang Zhou, Haibo Hu, Xinhong Chen, Yifan Zhang, Nan Guan, Yung-Hui Li, Chun Jason Xue, Jianping Wang

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zikang Zhou, Haibo Hu, Xinhong Chen, Yifan Zhang, Nan Guan, Yung-Hui Li, Chun Jason Xue, Jianping Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire ce qu'un conducteur fera ensuite à une intersection animée. Il pourrait tourner à gauche, tourner à droite, aller tout droit ou s'arrêter. Dans le monde réel, il n'existe pas une seule « bonne » réponse ; il y a plusieurs futurs plausibles. C'est ce qu'on appelle la prédiction multimodale.

Le problème est que, lorsque nous apprenons aux ordinateurs à faire cela, nous ne leur montrons qu'un seul exemple de ce qui s'est réellement produit (la vérité terrain). Nous ne leur montrons pas toutes les autres choses que le conducteur aurait pu faire. C'est comme montrer à un élève un seul problème de mathématiques et sa solution, puis lui demander de deviner cinq façons différentes de résoudre un problème similaire plus tard. Sans suffisamment d'exemples, l'élève est souvent confus, donne la même réponse cinq fois (redondance), ou ne peut pas dire quelle réponse est la plus probable (mauvaise confiance).

Ce papier introduit une nouvelle façon d'apprendre aux ordinateurs à gérer cette incertitude, appelée Mode-as-Sequence (Mode comme Séquence).

L'Ancienne Méthode : L'Approche « Fusil à Plombs »

Traditionnellement, les modèles d'IA tentaient de deviner tous les futurs possibles exactement au même moment, comme tirer avec un fusil à plombs et espérer que les chevrotines couvrent la cible.

Le Défaut : Parce qu'ils devinaient tout simultanément sans communiquer entre eux, le modèle produisait souvent cinq devinettes identiques (effondrement des modes) ou ne pouvait pas les classer correctement. C'était comme demander à cinq personnes de prédire la météo indépendamment ; elles pourraient toutes deviner « ensoleillé » même si « pluie » était aussi possible, ou elles pourraient toutes deviner des choses différentes avec une confiance égale, rendant difficile de savoir laquelle faire confiance.

La Nouvelle Méthode : L'Approche « Conteur d'Histoires »

Les auteurs proposent Mode-as-Sequence. Au lieu de tout deviner d'un coup, le modèle raconte une histoire, un chapitre à la fois.

Comment ça marche : Le modèle devine d'abord le futur le plus probable (Chapitre 1). Ensuite, il examine cette devinette et se demande : « D'accord, j'ai déjà prédit cela. Quelle est la prochaine chose la plus probable qui est différente ? » (Chapitre 2). Ensuite, il recommence pour le Chapitre 3, et ainsi de suite.
L'Avantage : En construisant la liste séquentiellement, le modèle est forcé d'être diversifié. Il ne peut pas simplement répéter la première devinette car cette idée est déjà « épuisée ». Il apprend naturellement à dire : « Si la voiture ne tourne pas à gauche, elle ira probablement tout droit. »

Deux Versions du Conteur d'Histoires

Le papier présente deux versions de cette idée :

ModeSeq (Le Rédacteur Prudent) : Cette version écrit l'histoire une phrase à la fois. Elle prend un moment pour réfléchir à la phrase précédente avant d'écrire la suivante. C'est très précis et assure une grande diversité, mais cela peut être un peu lent si vous devez écrire une histoire très longue (prédire de nombreux futurs).
Parallel ModeSeq (Le Rédacteur Rapide) : Cette version est un tour de passe-passe ingénieux. Elle écrit toutes les phrases en même temps (ce qui est beaucoup plus rapide pour les ordinateurs), mais elle utilise un « masque » spécial (comme un bandeau) afin que, lorsqu'elle écrit la phrase n°3, elle ne puisse « voir » que les phrases n°1 et n°2. Elle ne peut pas jeter un coup d'œil à la phrase n°4. Cela maintient le flux logique de l'histoire mais permet à l'ordinateur de travailler à grande vitesse.

L'Astuce d'Entraînement : « Match Précoce, Tout Prendre »

Comment enseigner à un modèle à écrire une bonne histoire quand vous n'avez qu'une seule fin à lui montrer ? Les auteurs ont inventé une stratégie d'entraînement appelée Early-Match-Take-All (EMTA) (Match Précoce, Tout Prendre).

Imaginez un professeur notant la liste de 5 devinettes d'un élève.

Ancienne méthode : Le professeur trouve la meilleure devinette, lui donne un A, et ignore les quatre autres. L'élève apprend à simplement répéter cet unique A encore et encore.
La méthode EMTA : Le professeur examine la liste de haut en bas. Dès qu'il trouve une devinette qui correspond au résultat réel, il donne un A à cette devinette spécifique. Il dit ensuite à l'élève : « Super ! Tu l'as trouvé tôt. Maintenant, pour le reste de ta liste, tu dois trouver des choses différentes qui auraient pu se produire. Ne répète pas celle que tu as déjà eu juste. »
Le Résultat : Le modèle apprend à placer la réponse la plus probable en haut (haute confiance) et à remplir le reste de la liste avec des possibilités alternatives uniques.

Pourquoi Cela Compte

Les auteurs ont testé cela sur des ensembles de données massifs de conduite réelle (Waymo et Argoverse).

Meilleur Classement : Le modèle est devenu beaucoup plus performant pour placer le futur le plus probable en haut de la liste, ce qui est crucial pour que les voitures autonomes prennent des décisions sûres.
Moins de Redondance : Les devinettes étaient beaucoup plus diversifiées ; la voiture ne prédisait pas simplement « tourner à gauche » cinq fois.
Succès Réel : Cette approche a été si efficace que l'équipe des auteurs a pris la 1re place dans le Défi de Prédiction de Mouvement Waymo 2024 (sans utiliser de capteurs LiDAR coûteux) et la 1re place dans le Défi de Prédiction d'Interaction 2025.

En bref, en changeant la façon dont l'ordinateur « pense » aux possibilités futures — transformant une liste chaotique en une histoire ordonnée — le papier a résolu un gros problème dans l'apprentissage de l'IA à comprendre le monde réel, désordonné et imprévisible.

Résumé Technique : Mode-as-Sequence

1. Énoncé du Problème

La prédiction de mouvement multimodale pour la conduite autonome fait face à un défi fondamental : la sous-surveillance inhérente. Dans les données d'entraînement du monde réel, chaque scène ne fournit qu'une seule trajectoire future réalisée, alors que plusieurs futurs plausibles (modes) existent (par exemple, un véhicule peut tourner à gauche, aller tout droit ou céder le passage). Cette rareté d'étiquettes de vérité terrain pour tous les modes valides conduit à deux problèmes principaux dans les paradigmes de décodage parallèle existants :

Effondrement des modes : Les modèles tendent à générer des hypothèses redondantes et quasi-identiques car ils manquent de mécanismes explicites pour différencier des futurs valides mais distincts.
Classement de confiance peu fiable : Sans supervision claire pour les modes non-gagnants, les scores de confiance deviennent ambigus, rendant difficile pour les planificateurs en aval la sélection de la trajectoire la plus probable.

Les solutions actuelles reposent souvent sur la génération d'un pool dense de candidats suivi d'un post-traitement heuristique (par exemple, la suppression non maximale) ou de stratégies d'entraînement de type « gagnant prend tout » (WTA), ce qui peut entraîner des distinctions de modes instables et une inférence inefficace.

2. Méthodologie

L'article propose Mode-as-Sequence, un cadre de décodage unifié qui reformule la prédiction multimodale, passant de la génération d'un ensemble non ordonné de modes à la génération d'une séquence ordonnée de modes. Cette approche modélise explicitement les dépendances entre les modes, où chaque mode subséquent est conditionné par les modes précédemment générés.

Composants Principaux

Modélisation Séquentielle des Modes (ModeSeq) :
- Mécanisme : Au lieu de prédire $K$ modes en parallèle, le décodeur les génère de manière autoregressive ( $k=1 \to K$ ). Le $k$ -ième mode est conditionné par l'embedding de la scène et les embeddings de tous les modes précédemment générés ( $m_1, \dots, m_{k-1}$ ).
- Avantage : Cela crée un biais inductif où les modes ultérieurs sont encouragés à explorer des comportements complémentaires plutôt que de dupliquer les précédents, améliorant naturellement la diversité et réduisant la redondance sans nécessiter de candidats denses.
- Architecture : Utilise une structure récurrente avec un « Transformer de Mémoire » (pour s'attarder sur les modes précédents) et un « Transformer de Contexte » (pour ancrer le mode dans la scène).
ModeSeq Parallèle :
- Motivation : Pour surmonter le goulot d'étranglement de latence de la génération autoregressive, en particulier pour un grand $K$ ou la prédiction conjointe multi-agents.
- Mécanisme : Préserve la dépendance causale de la modélisation séquentielle mais décode tous les $K$ modes en une seule passe avant. Ceci est réalisé via une auto-attention masquée mode-à-mode, où un masque triangulaire inférieur garantit que le mode $k$ ne peut s'attarder que sur les modes $j \leq k$ .
- Avantage : Permet une inférence efficace, compatible avec les GPU, tout en maintenant les avantages structurels de la dépendance séquentielle.
Entraînement « Prendre Tout au Premier Match » (EMTA) :
- Stratégie : Pour pallier la supervision sparse, l'EMTA identifie le premier mode de la séquence qui correspond à la vérité terrain (dans un seuil $\delta$ ). Ce mode est supervisé comme l'échantillon positif pour la régression et la confiance.
- Effet : Les modes restants sont implicitement poussés à couvrir des futurs alternatifs non correspondants. Cela encourage le modèle à apprendre un ensemble diversifié d'hypothèses où les premiers modes sont hautement représentatifs et confiants.
- Extension (MA-EMTA) : Pour la prédiction conjointe multi-agents, cela est étendu pour superviser le premier mode conjoint qui correspond au futur conjoint de vérité terrain, garantissant des déroulements cohérents avec les interactions.
Composants Auxiliaires :
- Réorganisation des Modes : Entre les couches de décodage, les modes sont réordonnés en fonction de leurs scores de confiance prédits. Cela aligne l'index de la séquence avec le classement, garantissant que les couches de raffinement subséquentes se concentrent d'abord sur les hypothèses les plus prometteuses.
- Régularisateur de Classement : Une perte basée sur la marge est ajoutée pour empêcher les inversions de confiance (où un mode non correspondant obtient un score plus élevé qu'un mode correspondant), ce qui est crucial pour des métriques comme le mAP.

3. Contributions Clés

Cadre Unifié : Introduction de Mode-as-Sequence, un paradigme qui traduit des ensembles de modes non ordonnés en séquences ordonnées pour modéliser explicitement les dépendances mode-à-mode, traitant la multimodalité sparse sans candidats denses.
Double Instantiation :
- ModeSeq : Un décodeur récurrent pour des hypothèses diversifiées et bien classées.
- ModeSeq Parallèle : Une réalisation parallélisée utilisant une attention causale, permettant une inférence efficace pour un grand $K$ et une prédiction de scène conjointe évolutive.
Stratégie d'Entraînement : Développement de EMTA et MA-EMTA, qui exploitent la structure séquentielle pour attribuer la supervision au premier mode correspondant, améliorant ainsi la couverture des modes et l'étalonnage de la confiance.
Performances de l'État de l'Art : Validation sur des benchmarks à grande échelle, obtenant les meilleurs classements dans les défis du Waymo Open Dataset.

4. Résultats Expérimentaux

Le cadre a été évalué sur le Waymo Open Motion Dataset (WOMD) et Argoverse 2.

Prédiction de Mouvement Waymo (Défi 2024) :
- ModeSeq a obtenu la 1ère place dans la piste de prédiction de mouvement sans LiDAR.
- Il a surpassé des bases solides (par exemple, MTR v3, QCNet) dans les métriques de classement (Soft mAP/mAP) et le taux d'échec (MR) sans utiliser de nuages de points LiDAR ni d'ensemble de modèles.
- Sur l'ensemble de validation, ModeSeq a amélioré le Soft mAP de 0,4508 (QCNet) à 0,4562.
Prédiction d'Interaction Waymo (Défi 2025) :
- ModeSeq Parallèle a obtenu la 1ère place dans le Défi de Prédiction d'Interaction.
- Il a démontré des performances supérieures tant en classement (mAP v2 : 0,2949) qu'en précision de trajectoire (Min FDE : 1,6897) par rapport à des bases récentes comme IMPACT et TrajFlow.
- La méthode a géré avec succès des futurs conjoints multi-agents avec une cohérence d'interaction.
Études d'Ablation :
- Séquentiel vs Parallèle : Les deux variantes ont surpassé les décodeurs parallèles standards (de type DETR) lors de l'utilisation du même encodeur.
- EMTA : Le remplacement de WTA par EMTA a considérablement amélioré le Soft mAP et le MR, confirmant l'avantage de la supervision par premier match.
- Extrapolation de Modes : Le modèle entraîné sur 6 modes a pu décoder avec succès jusqu'à 24 modes au moment de l'inférence, montrant des rendements décroissants mais une amélioration constante de la couverture, validant la capacité de modélisation séquentielle.
- Efficacité : Bien que le ModeSeq récurrent ait une latence plus élevée, le ModeSeq Parallèle atteint ~48 ms par scène, le rendant adapté au déploiement en temps réel.

5. Importance et Revendications

L'article revendique que Mode-as-Sequence fournit une solution de principe au problème de « supervision sparse » dans la prédiction multimodale. En passant d'une génération parallèle indépendante à une modélisation séquentielle causale, le cadre :

Élimine le besoin de pools de candidats denses et de post-traitement heuristique (comme la NMS).
Induit naturellement un classement de confiance, car l'ordre de la séquence corrèle avec la vraisemblance, simplifiant l'apprentissage de scores étalonnés.
Équilibre précision et diversité plus efficacement que les méthodes précédentes, comme en témoignent les améliorations simultanées des métriques de classement (mAP) et des erreurs de trajectoire (Min FDE).
S'adapte efficacement grâce à la variante ModeSeq Parallèle, permettant un déploiement pratique dans les systèmes de conduite autonome où sont requis à la fois des hypothèses de haute qualité et une faible latence.

Les auteurs soulignent que leur approche ne dépend pas d'architectures d'encodeur spécifiques (utilisant QCNet pour les résultats mais notant la compatibilité avec d'autres) et offre un cadre généralisable pour la prédiction à la fois d'agents uniques et d'agents multiples conjoints complexes.