Context-free Self-Conditioned GAN for Trajectory Forecasting

Cet article présente une approche non supervisée et sans contexte basée sur un GAN auto-conditionné qui apprend différents modes de mouvement à partir de trajectoires 2D, surpassant les méthodes existantes dans la prédiction de trajectoires pour les mouvements humains et les agents routiers.

L'essentiel

🚀 Le Problème : Prédire l'avenir d'un mouvement

Imaginez que vous êtes un agent de sécurité ou un robot qui doit deviner où va aller une personne ou une voiture dans les 3 prochaines secondes. Vous voyez seulement les premiers pas (le passé) et vous devez deviner la suite (le futur).

C'est un peu comme essayer de deviner la fin d'une histoire en ne lisant que le premier paragraphe. Le problème, c'est que les gens et les voitures ne sont pas des robots prévisibles. Une même personne peut :

1. Continuer tout droit.
2. Tourner à gauche.
3. S'arrêter brusquement.
4. Faire demi-tour.

Les méthodes classiques (les "vieux" algorithmes) ont tendance à dire : "La plupart des gens vont tout droit, donc je vais prédire qu'il va tout droit." C'est sûr, mais si la personne décide de tourner, le robot se trompe. C'est ce qu'on appelle un biais : on ne prédit que le comportement le plus courant, et on ignore les comportements rares ou complexes.

💡 L'Idée Géniale : Le "Detective" et ses "Modes"

Les auteurs de ce papier (Tiago, Eduardo et Oscar) ont eu une idée brillante. Au lieu de juste prédire une seule trajectoire, ils veulent que leur intelligence artificielle comprenne qu'il existe différents "modes" de comportement.

Pour faire simple, imaginez que votre cerveau a plusieurs "personnalités" ou "modes" :

• Mode "Marcheur lent" : On va doucement, on regarde les vitrines.
• Mode "Coureur" : On a un rendez-vous, on file !
• Mode "Distrait" : On regarde son téléphone et on zigzague.

Le but de leur méthode est d'apprendre à l'IA à reconnaître ces différents modes, même si elle n'a pas d'étiquettes écrites dessus (c'est ce qu'on appelle une approche non supervisée ou "sans contexte").

🎭 La Méthode : Le Jeu du "Contrefaçon" (GAN)

Pour y arriver, ils utilisent une technique appelée GAN (Réseau Antagoniste Génératif). C'est un peu comme un jeu de dupes entre deux élèves :

1. Le Contrefacteur (Générateur) : Il essaie de dessiner des trajectoires futures qui ressemblent à la réalité.
2. Le Détective (Discriminateur) : Il regarde les dessins et dit : "C'est vrai ou c'est faux ?"

Le petit plus de cette recherche :
Habituellement, le Contrefacteur a du mal à dessiner les choses rares (par exemple, un piéton qui court très vite), car le Détective voit surtout des gens qui marchent lentement. Le Contrefacteur finit par ne dessiner que des gens qui marchent lentement. C'est le problème de l'effondrement des modes.

Ils ont ajouté une astuce : Le "Self-Conditioned".
Le Détective ne se contente pas de dire "Vrai/Faux". Il dit aussi : "Tiens, cette trajectoire ressemble à un 'Marcheur lent', et celle-ci ressemble à un 'Coureur'". Il regroupe automatiquement les trajectoires en clusters (des groupes) selon leur comportement.

Ensuite, ils utilisent cette information pour dire au Contrefacteur : "Attention, tu dessines trop de 'Marcheurs lents' et pas assez de 'Coureurs'. Concentre-toi un peu plus sur les 'Coureurs' pour t'améliorer."

🏋️‍♂️ Les Trois Entraînements (Les Régimes)

Pour forcer l'IA à mieux prédire les cas difficiles, ils ont testé trois façons d'entraîner le système :

1. Le régime "Punition ciblée" : Si l'IA se trompe sur un cas difficile (un petit groupe rare), on lui met une "grosse punition" (une perte pondérée) pour qu'elle apprenne vite.
2. Le régime "Échantillonnage intelligent" : On donne à l'IA plus d'exemples de cas difficiles pendant l'entraînement, comme si on lui faisait faire des exercices de musculation supplémentaires sur les points faibles.
3. Le régime "Combo" : On combine les deux.

🌍 Les Résultats : Ça marche !

Ils ont testé ça sur deux terrains de jeu :

1. THÖR : Des humains dans un entrepôt (des visiteurs, des ouvriers, un inspecteur).
2. Argoverse : Des voitures et des piétons sur la route.

Ce qu'ils ont découvert :

• Pour les cas rares : Là où les anciennes méthodes échouaient (par exemple, prédire la trajectoire d'un inspecteur qui fait des mouvements bizarres ou d'une voiture qui tourne brusquement), leur nouvelle méthode a fait beaucoup mieux. Elle a appris à ne pas ignorer les comportements "étranges".
• Pour les cas courants : Elle reste aussi bonne que les anciennes méthodes pour les comportements normaux.
• L'analyse des groupes : En regardant les "clusters" (les groupes) créés par l'IA, ils ont vu que ça avait du sens ! Par exemple, un groupe contenait uniquement des gens qui allaient de gauche à droite, un autre ceux qui allaient de droite à gauche. L'IA avait appris à trier les comportements toute seule, sans qu'on lui ait dit quoi faire.

🏁 En Résumé

Imaginez que vous apprenez à un enfant à conduire.

• L'ancienne méthode lui dit : "La plupart des gens roulent à 50 km/h, donc roule à 50 km/h." Si quelqu'un freine brusquement, l'enfant ne sait pas réagir.
• La méthode de ce papier dit : "Regarde, il y a des gens qui roulent vite, d'autres qui tournent, d'autres qui s'arrêtent. Je vais te montrer des exemples de chacun, même les rares, pour que tu saches réagir à tout."

Grâce à cette approche "sans contexte" (qui ne regarde que le mouvement lui-même, sans se fier à des indices extérieurs comme la météo ou la carte), ils ont créé un prédicteur plus intelligent, plus équilibré et capable de gérer la surprise. C'est une étape de plus vers des robots et des voitures autonomes plus sûrs !

Résumé technique

1. Problématique

La prédiction de trajectoires en 2D est un défi majeur pour des applications telles que les systèmes de surveillance, la conduite autonome et la robotique de service. La plupart des approches actuelles sont contextuelles, c'est-à-dire qu'elles utilisent des informations externes (interactions sociales, contexte visuel de la scène) pour prédire le mouvement futur.

Cependant, les auteurs se concentrent sur une approche sans contexte (context-free), ne s'appuyant que sur les étapes initiales observées de la trajectoire. Le défi principal réside dans la multimodalité du comportement humain et des agents : une même trajectoire observée peut mener à plusieurs futurs possibles (modes différents). Les méthodes génératives actuelles, comme les GAN (Generative Adversarial Networks), souffrent souvent du problème de collapse de mode (mode collapse), où le générateur se concentre uniquement sur les comportements dominants de la distribution de données, négligeant les modes moins représentatifs mais importants.

2. Méthodologie

L'article propose un cadre d'apprentissage non supervisé basé sur un GAN auto-conditionné (Self-Conditioned GAN) pour apprendre et exploiter les différents modes de mouvement. La méthode se déroule en deux étapes principales :

A. Apprentissage des Modes via GAN Auto-Conditionné

Le système utilise un GAN standard composé d'un générateur ($G$) et d'un discriminateur ($D$).

• Le Discriminateur : Il reçoit des trajectoires réelles et générées. Son rôle est non seulement de distinguer le réel du faux, mais aussi d'extraire des caractéristiques (features) dans son espace latent.
• Clustering : Les auteurs postulent que les caractéristiques apprises par le discriminateur regroupent naturellement les trajectoires selon leurs comportements. Ils appliquent un algorithme de clustering (k-Means) sur ces caractéristiques pour identifier des modes (clusters) distincts.
• Auto-conditionnement : Ces clusters (étiquettes non supervisées) sont ensuite utilisés comme conditions pour le générateur. Cela permet au générateur d'apprendre à produire des trajectoires spécifiques à chaque mode identifié, sans avoir besoin d'étiquettes supervisées externes (comme le type d'agent).

B. Trois Configurations d'Entraînement pour le GAN "Vanilla"

Une fois les modes identifiés, les auteurs proposent trois stratégies d'entraînement pour améliorer un GAN prédictif standard (Vanilla GAN) afin de mieux capturer la diversité des trajectoires, en particulier les modes difficiles :

1. Perte pondérée (wL2) : Une fonction de perte modifiée qui pénalise davantage les erreurs sur les trajectoires appartenant aux clusters difficiles (ceux avec les erreurs de prédiction les plus élevées lors de l'étape de reconnaissance des modes) et les clusters sous-représentés.
2. Échantillonnage de lots pondéré (wB) : Un échantillonneur de lots (batch sampler) basé sur une distribution multinomiale qui sur-échantillonne les clusters difficiles ou rares lors de l'entraînement.
3. Combinaison (wL2 + wB) : L'utilisation conjointe de la perte pondérée et de l'échantillonnage pondéré.

3. Contributions Clés

• Approche sans contexte : Développement d'une méthode purement basée sur la trajectoire observée, sans dépendre de données contextuelles externes, augmentant ainsi la flexibilité d'application.
• Premier cadre de clustering pour GAN de mouvement : Adaptation du concept de GAN auto-conditionné (initialement utilisé pour l'image) à la prédiction de trajectoires 2D pour capturer des modes comportementaux non supervisés.
• Atténuation du collapse de mode : Proposition de mécanismes d'entraînement (poids de perte et échantillonnage) spécifiquement conçus pour forcer le modèle à apprendre les modes les moins dominants et les plus complexes.
• Outils de prétraitement : Mise à disposition d'un outil (pythor-tools) pour le prétraitement du jeu de données THÖR.

4. Résultats Expérimentaux

Les méthodes ont été évaluées sur deux jeux de données :

• THÖR : Mouvements humains dans un environnement industriel (visiteurs, travailleurs, inspecteurs).
• Argoverse : Trajectoires d'agents routiers (véhicules autonomes, véhicules réguliers, autres).

Résultats Quantitatifs :

• Sur les classes sous-représentées : La méthode proposée (notamment les variantes wB et wL2+wB) surpasse nettement les méthodes de référence (LSTM, GAN Vanilla) sur les classes les moins représentées dans les données d'entraînement (ex: "inspecteurs" dans THÖR, "autres agents" dans Argoverse).
• Performance globale :
  • Sur THÖR (mouvement humain), la méthode surpasse globalement les approches context-free existantes.
  • Sur Argoverse, elle performe très bien, en particulier sur les profils de mouvement les plus difficiles, bien que la performance moyenne globale soit parfois limitée par la forte dominance des classes majoritaires dans le jeu de données.
• Analyse des clusters : L'analyse qualitative montre que les clusters identifiés correspondent à des comportements sémantiques cohérents (ex: direction de déplacement, longueur de trajectoire). L'utilisation de ces étiquettes non supervisées comme condition améliore la précision de la prédiction par rapport à un GAN non conditionné.

5. Signification et Conclusion

Ce travail démontre qu'il est possible d'extraire des signaux significatifs sur la diversité des comportements de mouvement à partir de données non étiquetées via un GAN auto-conditionné. En exploitant ces modes découverts automatiquement pour rééquilibrer l'entraînement, les auteurs parviennent à créer des prédicteurs de trajectoire plus robustes et moins biaisés vers les comportements majoritaires.

Cela ouvre la voie à des systèmes de prédiction plus sûrs et plus fiables, capables de gérer des situations rares ou complexes (comme des comportements imprévisibles de piétons ou d'agents routiers) sans nécessiter de données contextuelles coûteuses ou difficiles à obtenir. La capacité à modéliser la distribution complète des données, y compris les modes minoritaires, est un pas important vers une intelligence artificielle plus sûre pour la robotique et les véhicules autonomes.