Résumé technique : Conduire à contresens : Exploiter l'interprétabilité dans les modèles de conduite autonome de bout en bout (End2End)

Problématique

L'adoption croissante de l'apprentissage de bout en bout (E2E) pour la conduite autonome a conduit à des performances de pointe sur des benchmarks comme NAVSIM. Cependant, cette unification architecturale de la perception, de la prédiction et de la planification au sein de modèles unifiés basés sur les transformers entraîne une complexité et une opacité accrues. Contrairement aux pipelines modulaires, les modèles E2E manquent d'interfaces claires pour le test au niveau des modules, ce qui rend difficile l'analyse de leurs processus de décision internes. Cette opacité complique l'identification des modes de défaillance, menant à des cycles de débogage coûteux basés sur des « suppositions éclairées » plutôt que sur une analyse systématique. Plus précisément, le domaine manque de solutions généralisables pour décrire de manière holistique le comportement des modèles, découvrir les apprentissages erronés (tels que les corrélations spécieuses) et offrir des perspectives complètes sur les modes de défaillance sans compromettre la capacité de représentation du modèle.

Méthodologie

Les auteurs proposent un cadre structuré et multi-étapes qui intègre l'apprentissage de dictionnaires non supervisé via des Autoencodeurs Creux (SAE - Sparse Autoencoders) en tant que module d'interprétabilité post-hoc dans des modèles de conduite E2E de pointe (spécifiquement GTRS et iPAD). Le cadre opère à travers les étapes suivantes :

1. Sélection de l'espace latent : Le SAE est injecté dans la représentation de l'espace latent immédiatement précédant le module de scoring. Cet emplacement est choisi car il contient un résumé dense de la compréhension de la scène et informe directement le scoring de la trajectoire, permettant ainsi un lien entre les caractéristiques extraites et les sorties du modèle.
2. Décomposition des directions de caractéristiques : Un SAE est entraîné sur les représentations latentes du modèle gelé pour décomposer les activations entrelacées en caractéristiques creuses et monosémantiques (concepts). L'entraînement minimise la perte de reconstruction tout en imposant la parcimonie via des fonctions d'activation top-$k$. Pour éviter les « neurones morts », un terme de réanimation est ajouté à la fonction de perte. Les auteurs évaluent diverses architectures de SAE (TopK, Matryoshka, Archetypal) et constatent que les variantes TopK avec des tailles de latence modérées (par exemple, 256 neurones) offrent le meilleur équilibre entre fidélité de reconstruction, désenchevêtrement des caractéristiques et évitement de la mémorisation de scénarios.
3. Assignation sémantique : Les auteurs assignent une signification compréhensible par l'humain aux neurones du SAE en utilisant trois stratégies :
   • Maximisation de l'activation/attribution : Identification des échantillons de l'ensemble de données de référence qui activent au maximum un neurone spécifique ou un score d'attribution.
   • Clustering de neurones : Groupement de neurones ayant des comportements d'activation similaires pour identifier des concepts sémantiques partagés (ex: « voiture devant », « intersection »).
   • Propagation de la pertinence des concepts (CRP) : Utilisation de méthodes basées sur LRP pour tracer la pertinence du score de trajectoire vers l'arrière à travers le SAE jusqu'à l'espace d'entrée (images de la caméra et état de l'ego), générant des cartes d'attribution qui visualisent quelles caractéristiques d'entrée pilotent les activations de neurones spécifiques.
4. Découverte de circuits : Le cadre emploie l'analyse de circuits pour cartographier les relations causales entre les neurones du SAE et les sorties spécifiques du modèle (sous-scores PDM). Cela implique un pipeline en quatre étapes :
   • Patching d'attribution : Estimation de l'influence causale via des différences d'activation pondérées par le gradient.
   • Patching d'activation : Réalisation d'interventions causales exactes en patchant les neurones vers la moyenne de l'ensemble de données.
   • Élagage ACDC : Sparsification de la matrice d'influence pour ne conserver que les liens significatifs.
   • Spécificité du neurone : Quantification de la spécificité d'un neurone vis-à-vis d'une tête de prédiction particulière en utilisant le coefficient de Gini.
5. Intervention ciblée : Sur la base des circuits causaux identifiés, les auteurs effectuent des interventions ciblées en mettant à zéro (ablant) les activations de certains neurones du SAE associés à un comportement erroné. Cela permet de manipuler les décisions de conduite au moment de l'inférence sans réentraîner le modèle.

Contributions clés

Le papier présente quatre contributions principales :

1. Cadre d'interprétabilité structuré : Il présente la première approche structurée pour interpréter les décisions de conduite E2E, fournissant des explications au niveau des concepts pour le scoring de trajectoires candidates individuelles.
2. Décomposition basée sur les concepts : Il introduit une décomposition des représentations latentes qui identifie les facteurs les plus influents dans les scénarios de conduite, permettant une attribution fine des décisions du modèle.
3. Correspondance directe : Il établit un lien direct entre les concepts appris et les scores de qualité prédits (sous-scores PDM), révélant quels concepts influencent des comportements spécifiques comme l'évitement de collision, le respect des feux de signalisation et la progression.
4. Adaptation ciblée : Il démontre que les concepts identifiés peuvent être exploités pour manipuler l'inférence du modèle au moment du test, permettant d'améliorer les performances en aval sans nécessiter de réentraînement ou de curation de données coûteuse.

Résultats

Les auteurs ont évalué leur approche sur les modèles GTRS et iPAD en utilisant le jeu de données NAVSIM :

• Performance du SAE : Les SAE TopK avec 256 neurones ont atteint une haute fidélité de reconstruction (Similarité Cosinus : 0,9975, Variance Expliquée : 0,9951) et un fort alignement avec les caractéristiques de l'état de l'ego (Corrélation Ego : 0,8454), surpassant les SAE Archetypal qui avaient tendance à faire du surapprentissage sur des corrélations spécifiques aux scénarios.
• Découverte de concepts : Le cadre a réussi à identifier des clusters sémantiquement significatifs, tels que des neurones correspondant aux « voitures devant », aux « marquages au sol » et aux « intersections ». L'analyse de circuit a révélé que si les neurones « voiture devant » influencent toutes les têtes de scoring, leur influence spécifique varie ; par exemple, ils sont corrélés au respect des feux de signalisation en raison de la cooccurrence de données (les voitures s'arrêtent aux feux) plutôt que par un raisonnement causal.
• Impact de l'intervention : En ablant trois neurones spécifiques (177, 59, 71) identifiés comme ayant des influences négatives ou spécieuses, les auteurs ont obtenu une amélioration mesurable de l'Extended Predictive Driver Model Score (EPDMS).
  • Le modèle manipulé a amélioré l'EPDMS de 0,4963 (avec le SAE non modifié) à 0,5926.
  • Ce score a dépassé le modèle de base original sans le SAE (0,524).
  • Des améliorations significatives ont été observées pour la conformité à la zone de circulation (+0,1298) et la conformité de la direction de conduite (+0,0702).
  • L'intervention a entraîné un comportement de conduite plus conservateur, échangeant la progression rapide contre une sécurité accrue, comme en témoigne une diminution du score de progression de l'ego (-0,1000).

Signification et affirmations

Le papier affirme que l'interprétabilité n'est pas seulement un outil analytique, mais un mécanisme de mitigation ciblée et d'amélioration des performances. En décomposant l'espace latent opaque en concepts sémantiquement significatifs, les auteurs démontrent que :

• Réduction de l'opacité : L'interprétabilité peut efficacement révéler les comportements erronés et les corrélations spécieuses (par exemple, associer une voiture devant à la conformité des feux de signalisation) que les modèles E2E standards apprennent.
• Compréhension causale : Le cadre distingue les artefacts de corrélation des composants fonctionnellement pertinents, permettant d'isoler une logique de décision spécifique.
• Gain de performance : Les interventions ciblées au niveau des concepts peuvent corriger le comportement du modèle et améliorer les métriques de conduite globales sans réentraînement. Les auteurs soutiennent que cette approche offre une voie vers des systèmes de conduite autonome plus transparents, dignes de confiance et contrôlables, répondant au défi critique de la validation des modèles et de l'analyse d'erreurs dans le domaine.

Les auteurs restent modestes quant à la portée de leurs travaux, reconnaissant que bien que le cadre fournisse une base pour l'analyse basée sur les concepts, la compréhension totale des concepts sémantiques et de leurs interactions complexes dans le processus de décision demeure un problème de recherche ouvert.