PPT: Pretraining with Pseudo-Labeled Trajectories for Motion Forecasting

Ce papier présente PPT, un cadre de pré-entraînement simple et évolutif qui utilise des trajectoires pseudo-étiquetées générées automatiquement à partir de détecteurs 3D existants pour améliorer la généralisation et les performances des modèles de prévision de mouvement, en particulier dans des régimes à faible quantité de données étiquetées.

L'essentiel

🚗 Le Problème : Apprendre à conduire avec un manuel trop cher

Imaginez que vous voulez apprendre à un robot à conduire une voiture autonome. Pour cela, il doit pouvoir prédire ce que vont faire les autres voitures, piétons ou cyclistes dans les 5 ou 10 prochaines secondes.

Pour apprendre, on a traditionnellement utilisé des "manuels d'apprentissage" (des jeux de données) créés par des humains. Ces humains regardent des heures de vidéos de routes et dessinent manuellement la trajectoire exacte de chaque voiture.

• Le souci : C'est extrêmement cher, lent, et fastidieux. C'est comme si un professeur devait corriger chaque exercice d'un élève à la main. De plus, si le robot apprend sur les routes de Paris, il peut être perdu sur les routes de Tokyo, car les "manuels" sont trop spécifiques.

💡 La Solution : PPT (L'entraînement par "brouillon" intelligent)

Les auteurs de ce papier, chez Valeo, ont une idée géniale : pourquoi ne pas utiliser les "brouillons" des robots eux-mêmes pour les entraîner ?

Ils proposent une méthode appelée PPT (Pré-entraînement avec des trajectoires pseudo-étiquetées). Voici comment ça marche, avec une analogie simple :

1. L'Analogie du "Carnet de notes imparfait"

Imaginez que vous avez un élève (le modèle d'IA) qui doit apprendre à prédire le trafic.

• La méthode classique : Vous lui donnez un livre de corrigés parfait, écrit par un professeur humain. Mais ce livre est rare et coûteux.
• La méthode PPT : Vous laissez l'élève regarder des millions de vidéos de la route. À chaque fois, un autre robot (un détecteur) essaie de deviner où sont les voitures, et un troisième robot (un suiveur) essaie de les relier dans le temps.
  • Ces robots ne sont pas parfaits. Parfois, ils se trompent de 50 cm, parfois ils confondent deux voitures. Ce sont des "brouillons" (des trajectoires pseudo-étiquetées).
  • Au lieu de jeter ces brouillons parce qu'ils sont imparfaits, PPT dit : "Utilisons-les tous !".

2. Pourquoi les "brouillons" sont en fait super utiles ?

C'est le cœur de la découverte : L'imperfection est une force.

• La diversité : Un seul robot peut voir une voiture d'une certaine façon. Un autre robot (avec une caméra différente) peut la voir légèrement différemment. En mélangeant tous ces "brouillons", on donne à l'élève une vision très riche et variée de la réalité. C'est comme si l'élève lisait 100 versions différentes d'un même roman : il comprend mieux l'histoire que s'il n'en lisait qu'une seule version parfaite.
• La robustesse : En apprenant sur des données "bruyantes" (imparfaites), le robot apprend à ne pas paniquer quand il voit quelque chose de flou dans la vraie vie. Il devient plus résilient.

3. Le processus en deux étapes (Le "Bootcamp" puis le "Stage")

1. Le Pré-entraînement (Le Bootcamp gratuit) :
   Le robot s'entraîne massivement sur ces millions de "brouillons" générés automatiquement. Il apprend les bases de la circulation, comment les voitures tournent, s'arrêtent ou accélèrent. Il le fait sans aucun humain, à très grande échelle et pour presque rien.
2. Le Finetuning (Le Stage court) :
   Ensuite, on prend ce robot déjà bien formé et on lui donne un tout petit peu de "corrigés parfaits" (par exemple, seulement 1% ou 10% des données habituelles). Comme il a déjà appris les bases lors du bootcamp, il n'a besoin que d'un petit ajustement pour devenir un expert.

🌟 Les Résultats Magiques

Grâce à cette méthode, les auteurs montrent que :

• Moins de travail humain : On peut se passer de 90% des annotations manuelles coûteuses et obtenir de meilleurs résultats.
• Meilleure généralisation : Un robot entraîné avec PPT sur les données de Paris fonctionne beaucoup mieux sur les routes de Tokyo ou de San Francisco qu'un robot entraîné uniquement sur des données parfaites de Paris. C'est comme un conducteur qui a appris à conduire sur toutes sortes de routes (pluie, neige, brouillard, routes sinueuses) grâce à ses "brouillons", et qui est donc prêt pour n'importe quelle situation.
• Pas besoin de cartes parfaites : Même sans avoir des cartes HD ultra-précises (les plans détaillés de la ville), le robot apprend très bien juste en regardant les voitures bouger.

🏁 En résumé

Ce papier dit essentiellement : "Arrêtez de chercher la perfection absolue pour entraîner vos robots. Utilisez la masse, la diversité et même les erreurs des autres robots pour créer un entraînement massif et gratuit. C'est en acceptant le 'bruit' et l'imperfection que l'on obtient les robots les plus intelligents et les plus sûrs."

C'est une révolution pour rendre les voitures autonomes plus accessibles, car cela réduit drastiquement le coût et le temps nécessaires pour les rendre intelligentes.

Résumé technique

Titre : Préentraînement avec des Trajectoires Pseudo-Étiquetées pour la Prévision de Mouvement

1. Problématique

La prévision de mouvement (Motion Forecasting) est cruciale pour la conduite autonome afin d'anticiper les trajectoires des agents (véhicules, piétons) et d'éviter les collisions. Cependant, l'état de l'art actuel repose sur des modèles entraînés sur des jeux de données massifs (nuScenes, Waymo, Argoverse) qui nécessitent :

• Une annotation manuelle coûteuse et laborieuse : Les trajectoires sont souvent annotées à la main ou via des pipelines de post-traitement complexes.
• Un manque d'évolutivité et de reproductibilité : Les pipelines de post-traitement sont souvent opaques, spécifiques à un jeu de données et difficiles à répliquer.
• Des écarts de domaine (Domain Gaps) : Les modèles entraînés sur un jeu de données spécifique performant mal sur d'autres environnements.
• Perte de diversité : Les pipelines actuels tendent à sélectionner une seule trajectoire "parfaite" par agent, éliminant la variabilité naturelle des mouvements.

2. Méthodologie : Le Framework PPT

Les auteurs proposent PPT (Pretraining with Pseudo-labeled Trajectories), un cadre de préentraînement simple et évolutif qui utilise des données non étiquetées brutes.

• Génération de pseudo-étiquettes :
  • Au lieu d'utiliser des annotations humaines, PPT génère automatiquement des trajectoires à partir de données de perception brutes (capteurs LiDAR/Caméra).
  • Le pipeline utilise des détecteurs 3D hors de la boîte (off-the-shelf) (ex: CenterPoint, VoxelNeXt, BEVFusion) pour estimer la position des agents dans chaque image.
  • Un tracker léger et non apprenant (basé sur des heuristiques géométriques, ex: AB3DMOT) associe ces détections dans le temps pour former des trajectoires.
• Philosophie "Bruit et Diversité" :
  • Contrairement aux pipelines traditionnels qui lissent les données pour obtenir une trajectoire unique et "propre", PPT embrasse le bruit et la diversité.
  • Il agrège plusieurs trajectoires pseudo-étiquetées provenant de différents détecteurs et trackers pour chaque agent, créant ainsi un ensemble d'apprentissage varié et réaliste.
• Stratégie d'entraînement :
  1. Préentraînement : Le modèle de prévision est préentraîné sur l'ensemble massif de ces trajectoires pseudo-étiquetées (8,6 millions de trajectoires dans l'expérience) en minimisant la même fonction de perte que pour la tâche finale (ex: ADE/FDE).
  2. Fine-tuning (Optionnel) : Le modèle préentraîné est ensuite affiné (fine-tuned) sur une petite quantité de données étiquetées manuellement (1% à 10% des données habituelles) pour s'adapter à la spécificité du domaine cible.

3. Contributions Clés

• Première stratégie de préentraînement spécifique à la tâche : PPT est la première méthode à utiliser des trajectoires pseudo-étiquetées diversifiées issues de multiples trackers pour la prévision de mouvement, sans dépendre d'annotations humaines pour la phase de préentraînement.
• Élimination du post-traitement : L'article démontre que le lissage des trajectoires (post-processing) n'est pas nécessaire pour le préentraînement et que le bruit inhérent aux trackers automatiques est bénéfique pour la robustesse.
• Indépendance vis-à-vis des HD Maps : Le préentraînement peut se faire sans cartes HD, prouvant que la dynamique des agents et leurs interactions sont les facteurs prédominants.
• Efficacité des données : Réduction drastique du besoin en annotations manuelles tout en maintenant, voire en améliorant, les performances.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données nuScenes, Waymo Open Dataset (WOD) et Argoverse 2 (AV2), utilisant des modèles comme MTR, Wayformer et Autobot.

• Efficacité en régime de faible données (Low-data regime) :
  • Avec seulement 1% à 10% de données étiquetées pour le fine-tuning, les modèles préentraînés avec PPT surpassent largement les modèles entraînés de zéro sur 100% des données étiquetées.
  • Exemple : Sur WOD, avec 1% de données, PPT réduit l'erreur de distance finale (minFDE) de 92% par rapport à l'absence de préentraînement.
• Généralisation inter-domaines (Cross-domain) :
  • Le préentraînement sur des données pseudo-étiquetées d'une source (ex: nuScenes) améliore significativement les performances sur un domaine cible différent (ex: Waymo), surpassant les modèles entraînés uniquement sur des données étiquetées de la source.
• Prévision en boucle fermée (End-to-End) :
  • Dans les scénarios où l'entrée provient directement d'un module de perception imparfait (sans vérité terrain), PPT améliore la robustesse du modèle de prévision, réduisant l'erreur de plus de 70% par rapport à l'approche sans préentraînement.
• Prévision multi-classes :
  • PPT améliore les performances sur le benchmark multi-classes d'Argoverse 2 (10 classes d'agents), démontrant sa capacité à généraliser à différents types d'objets.
• Analyse de l'échelle et de la diversité :
  • L'ajout de données provenant de multiples détecteurs (diversité) améliore les performances.
  • L'ajout de post-traitement (lissage) sur les pseudo-étiquettes n'apporte aucun gain, confirmant que la variabilité brute est un régularisateur efficace.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la recherche sur la prévision de mouvement :

1. Passage de la "propreté" à la "diversité" : Il démontre que pour le préentraînement, la diversité des trajectoires (même bruitées) est plus précieuse que la précision d'une seule trajectoire étiquetée.
2. Réduction des coûts : PPT rend la création de modèles de prévision de haute qualité accessible sans l'investissement massif en annotation manuelle, rendant la technologie plus scalable.
3. Robustesse opérationnelle : En apprenant sur des données reflétant les imperfections réelles des systèmes de perception (bruit, incertitude), les modèles deviennent plus robustes lors du déploiement réel, notamment dans les approches end-to-end.

En résumé, PPT offre une solution simple mais puissante pour surmonter le goulot d'étranglement de l'annotation de données, permettant d'entraîner des modèles de prévision de mouvement plus généralisables, robustes et efficaces, même avec très peu de données étiquetées.