Résumé Technique : DecompGAIL

Énoncé du Problème

La simulation de trafic réaliste est essentielle au développement de la conduite autonome, pourtant les approches actuelles d'apprentissage par imitation (IL) peinent à modéliser les comportements humains complexes. Le clonage de comportement (Behavior Cloning - BC) souffre du décalage de covariable (covariate shift), où les erreurs s'accumulent à mesure que la politique apprise dévie de la distribution des états de l'expert. L'apprentissage par imitation génératif antagoniste (Generative Adversarial Imitation Learning - GAIL) offre une solution théorique en alignant les distributions de trajectoires, mais fait face à une grave instabilité d'entraînement dans les environnements multi-agents.

Les auteurs identent une cause racine spécifique de cette instabilité, nommée mauvaise orientation par interaction non pertinente (irrelevant interaction misguidance). Dans un GAIL décentralisé standard, un discriminateur évalue les observations locales d'un véhicule ego. Cependant, si les agents voisins se comportent de manière irréaliste (par exemple, en entrant en collision les uns avec les autres), le discriminateur pénalise le comportement réaliste du véhicule ego car l'état combiné (ego + voisins irréalistes) dévie des données de l'expert. Le discriminateur surpondère les interactions voisin–voisin et voisin–carte faiblement pertinentes, qui ne sont pas liées causalement aux actions de l'ego mais qui sont influencées par la politique apprise. À mesure que le nombre de voisins augmente, ce bruit croît de manière quadratique, entraînant des signaux de récompense instables et trompeurs.

Méthodologie : DecompGAIL

Pour remédier à cela, les auteurs proposent DecompGAIL (Decomposed Multi-agent Generative Adversarial Imitation Learning), intégré dans un squelette Transformer léger basé sur SMART. Le cadre se compose de trois composants principaux :

1. Discriminateur Décomposé

Au lieu d'un discriminateur monolithique qui fusionne tous les jetons (tokens) d'agents et de cartes en une seule caractéristique, DecompGAIL sépare explicitement le réalisme en deux composantes indépendantes :

• Réalisme Ego–Carte (Scène) ($S_t^i$) : Évalue l'alignement de la trajectoire du véhicule ego avec le contexte statique de la carte, en ignorant les interactions avec les voisins.
• Réalisme Ego–Voisin (Interaction) ($I_{t}^{ij}$) : Évalue la plausibilité des interactions par paires entre l'ego et chaque voisin spécifique.

Par conception, cette architecture supprime les interactions voisin–voisin et voisin–carte (les termes $\phi_3$ et $\phi_4$ de la décomposition des auteurs), empêchant le discriminateur de pénaliser l'ego pour les échecs des autres. Le discriminateur est entraîné avec une perte de l'entropie croisée binaire (BCE) sur les échantillons de l'expert et de la politique.

2. Objectif Social PPO

Pour optimiser la politique, les auteurs introduisent un objectif de Social PPO. La récompense pour un agent $i$ est une somme pondérée de son score de scène et de ses scores d'interaction par paire. Crucialement, cette récompense de l'ego est augmentée par des récompenses de voisinage pondérées par la distance :
$$r_t^{S_i} = r_t^i + \sum_{j \in N_i} \lambda_{ij} r_t^j$$
où $\lambda_{ij}$ est un poids décroissant avec la distance. Cela encourage les agents à améliorer leur propre réalisme sans dégrader le réalisme des agents proches, favorisant ainsi une stabilité coopérative.

3. Pipeline d'Entraînement

Le cadre suit un processus en deux étapes :

1. Pré-entraînement par BC : La politique est initialisée par clonage de comportement sur les données de l'expert pour fournir un point de départ solide et réduire le coût computationnel.
2. Affinage par DecompGAIL : La politique est affinée en utilisant l'optimisation de politique proximale (PPO) avec le discriminateur décomposé fournissant la récompense de substitution.

Contributions Clés

L'article présente trois contributions principales :

1. Identification de la mauvaise orientation par interaction non pertinente : Les auteurs démontrent que les discriminateurs GAIL décentralisés standards induisent de l'instabilité en suraccentuant les interactions d'ordre supérieur faiblement pertinentes (voisin–voisin) qui ne sont pas liées causalement aux actions de l'ego.
2. Architecture DecompGAIL : Ils proposent un discriminateur décomposé qui modélise séparément le réalisme ego–scène et ego–voisin tout en supprimant les signaux non pertinents, produisant des récompenses plus stables et informatives.
3. Performance de l'état de l'art : La méthode atteint un réalisme de pointe sur le benchmark WOMD Sim Agents 2025, surpassant les bases existantes de BC, d'augmentation de données et de RL.

Résultats Expérimentaux

Évalué sur le Waymo Open Motion Dataset (WOMD) en utilisant les métriques du classement WOSAC 2025 :

• Stabilité : DecompGAIL maintient une faible variance dans les scores du discriminateur et le réalisme de la simulation tout au long de l'entraînement, tandis que le GAIL à partage de paramètres (PS-GAIL) présente une variance croissante et une dégradation des performances à mesure que le nombre de voisins augmente.
• Performance : DecompGAIL atteint le Méta-Score de Réalisme (0.7864) le plus élevé parmi tous les modèles testés, y compris les modèles tokenisés (SMART-R1, TrajTok) et les modèles continus (UniMM).
• Détail des métriques : La méthode surpasse systématiquement les bases dans les métriques Interactives (0.8152) et Basées sur la Carte (0.9176), indiquant une meilleure évitement de collision et une meilleure adhérence à la route.
• Études d'ablation : Supprimer la décomposition (en utilisant un discriminateur monolithique) ou le mécanisme de récompense sociale entraîne des chutes significatives de réalisme et de probabilité de collision, confirmant la nécessité des deux composants.

Signification

L'article affirme que DecompGAIL résout une instabilité fondamentale de l'apprentissage par imitation multi-agent en corrigeant la sensibilité du signal de récompense au bruit environnemental non pertinent. En découplant le comportement de l'ego des échecs des voisins, la méthode permet un entraînement stable dans des scénarios de trafic complexes et à haute densité. Les auteurs positionnent ce travail comme une étape critique vers des simulateurs de trafic haute fidélité capables de tester de manière fiable les politiques de conduite autonome sans les artefacts d'instabilité d'entraînement ou de décalage de covariable.