Deconfounded Lifelong Learning for Autonomous Driving via Dynamic Knowledge Spaces

Ce papier propose DeLL, un cadre d'apprentissage continu déconfondu pour la conduite autonome de bout en bout, qui combine un modèle de mélange de processus de Dirichlet et l'ajustement de la porte avant pour éliminer les corrélations fallacieuses, éviter l'oubli catastrophique et adapter dynamiquement les connaissances à de nouveaux scénarios de conduite.

L'essentiel

Imaginez que vous apprenez à conduire une voiture autonome. Le problème, c'est que la plupart des voitures intelligentes actuelles ont une mémoire très fragile : dès qu'elles apprennent une nouvelle compétence (comme dépasser sur une route de campagne), elles oublient immédiatement comment elles conduisaient sur les autoroutes ou comment elles s'arrêtaient aux feux rouges. C'est ce qu'on appelle en informatique "l'oubli catastrophique".

De plus, ces voitures apprennent souvent par de mauvaises associations. Par exemple, si elles voient souvent un chien traverser la route quand il pleut, elles pourraient penser que "la pluie" est la cause du chien, et non pas le fait qu'il y a des chiens dans le quartier. Elles confondent la cause et l'effet à cause du bruit ou de l'environnement.

Les chercheurs de l'Université Tongji en Chine ont créé une solution géniale appelée DeLL (Deconfounded Lifelong Learning). Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le Grand Livre de Recettes Dynamique (Les Espaces de Connaissance)

Imaginez qu'une voiture classique a un carnet de recettes fixe. Si elle veut apprendre une nouvelle recette, elle doit effacer une vieille page, sinon le carnet est trop gros.

DeLL, lui, utilise un carnet magique infini basé sur un modèle mathématique spécial (le DPMM).

• Deux types de connaissances :
  • Le "Savoir-Être" (Espace de trajectoires) : C'est une bibliothèque de mouvements physiques. Si la voiture a déjà appris à faire un demi-tour serré ou à changer de voie, elle range cette "recette" dans une case spécifique. Si elle rencontre une nouvelle situation, elle crée une nouvelle case au lieu d'écraser l'ancienne.
  • Le "Savoir-Faire" (Espace de caractéristiques) : C'est une bibliothèque de situations abstraites. Elle regroupe les environnements similaires (ex: "ville pluvieuse", "autoroute ensoleillée") pour comprendre les règles cachées derrière le chaos.

Grâce à ce système, la voiture n'a plus besoin de choisir quoi oublier. Elle grandit simplement, comme un arbre qui ajoute de nouvelles branches sans casser les anciennes.

2. Le Détective de Vérité (L'ajustement "Front-Door")

Souvent, une voiture autonome se trompe en croyant que deux choses sont liées alors qu'elles ne le sont pas. Par exemple : "Quand le capteur fait du bruit, je dois tourner à gauche". C'est une fausse connexion.

Pour régler ça, DeLL utilise un détective appelé l'ajustement "Front-Door" (réglage par la porte avant).

• L'analogie : Imaginez que vous voulez savoir si un médicament guérit une maladie, mais il y a un facteur caché (comme le fait que les gens malades mangent plus de bonbons). Au lieu de regarder directement le lien "Médicament -> Guérison" (qui est faussé par les bonbons), le détective regarde un intermédiaire fiable : "Médicament -> Mécanisme biologique -> Guérison".
• Dans la voiture : Le système utilise les "recettes" qu'il a déjà apprises (les connaissances du carnet magique) comme intermédiaires fiables. Il dit : "Attends, ce mouvement de direction n'est pas dû au bruit du capteur, c'est dû à la règle de conduite que j'ai apprise hier". Cela nettoie les mauvaises associations et rend la voiture plus sûre.

3. Le Chef de Cuisine qui Cuisine en Parallèle (Le Décodeur Évolutif)

Habituellement, les voitures planifient leur route pas à pas, comme si elles écrivaient une phrase mot par mot. C'est lent et rigide.

Le Décodeur Évolutif de DeLL fonctionne comme un chef de cuisine qui prépare plusieurs plats en même temps.

• Au lieu de calculer une trajectoire après l'autre, il regarde toutes les "recettes" de son carnet magique, en sélectionne plusieurs candidates en parallèle, et choisit la meilleure immédiatement. C'est plus rapide, plus fluide et permet de réagir instantanément aux imprévus.

Le Résultat : Une Voiture qui Vieillit avec Sagesse

Grâce à DeLL, la voiture autonome devient comme un conducteur humain expérimenté :

1. Elle n'oublie pas : Elle garde toutes ses compétences passées (freinage d'urgence, stationnement, etc.) même après avoir appris de nouvelles choses.
2. Elle comprend vraiment : Elle ne se fie pas aux coïncidences (comme le bruit du vent) mais comprend les vraies causes des dangers.
3. Elle s'adapte : Elle peut apprendre de nouvelles situations en continu, sans avoir besoin de tout réapprendre depuis zéro.

En résumé, DeLL est une méthode qui donne à la voiture une mémoire infinie et un cerveau capable de distinguer la vérité du bruit, lui permettant de conduire en toute sécurité, jour après jour, année après année, sans jamais perdre ses compétences.

Résumé technique

1. Problématique

Les systèmes de conduite autonome de bout en bout (E2E-AD) actuels, bien que performants dans des simulateurs fermés comme CARLA, rencontrent des obstacles majeurs lors de leur déploiement dans des environnements ouverts et non stationnaires :

• Oubli catastrophique : Les architectures d'apprentissage par imitation ont tendance à écraser les paramètres historiques lors de l'apprentissage de nouvelles tâches, entraînant une dégradation des performances sur les scénarios précédemment maîtrisés.
• Confusion causale et corrélations spuriaires : Les modèles capturent souvent des corrélations accidentelles induites par des facteurs de confusion non observables (bruit des capteurs, changements environnementaux) plutôt que d'apprendre les véritables intentions de conduite. Cela conduit à des échecs de prise de décision lors de changements de covariables.
• Rigidité des réseaux : Les réseaux à capacité fixe ne peuvent pas s'adapter dynamiquement à un flux continu de nouvelles données sans redéfinir manuellement la structure du modèle ou utiliser des mémoires de replay coûteuses en calcul.
• Absence de benchmarks : Il existe un manque de protocoles d'évaluation standardisés pour l'apprentissage à vie dans le domaine de la conduite autonome en boucle fermée.

2. Méthodologie : Le cadre DeLL

Les auteurs proposent DeLL (Deconfounded Lifelong Learning), un cadre novateur qui intègre un modèle de mélange de processus de Dirichlet (DPMM) avec un mécanisme d'ajustement « front-door » (porte avant) issu de l'inférence causale.

A. Espaces de Connaissances Dynamiques Doubles (DPMM)

Pour surmonter la rigidité des réseaux fixes, le modèle utilise un DPMM (un modèle bayésien non paramétrique) pour construire deux espaces de connaissances qui s'étendent dynamiquement sans préfixer le nombre de clusters :

1. Espace de Connaissances des Trajectoires (TKS) : Un espace explicite qui regroupe les trajectoires expertes historiques. Il sert de bibliothèque d'actions physiques (changement de voie, virages serrés, etc.).
2. Espace de Connaissances des Features (FKS) : Un espace implicite qui regroupe les caractéristiques fusionnées du réseau de perception. Il vise à extraire des structures causales topologiques latentes de l'environnement.

• Avantage : Le DPMM permet l'ajout automatique de nouveaux « ancres de connaissances » (centres de clusters) au fur et à mesure que de nouveaux scénarios sont rencontrés, préservant ainsi les connaissances historiques dans des distributions spécialisées isolées.

B. Module d'Amélioration des Features Causales (Front-Door Adjustment)

Pour éliminer les corrélations spuriaires, le cadre utilise les ancres de connaissances générées par le DPMM comme variables médiatrices ($M$) dans un mécanisme d'ajustement front-door ($X \to M \to Y$).

• Fusion de Features (FFEM) : Traite les features de perception brutes. Il utilise une attention croisée pour rechercher les modèles causaux historiques les plus pertinents, filtrant ainsi le bruit et les facteurs de confusion.
• Amélioration des Features de Trajectoire (TFEM) : Applique le même mécanisme aux features de trajectoire, imposant des contraintes cinématiques causales cohérentes.
• Résultat : Cela permet d'identifier de manière non biaisée la distribution intervenue $P(Y|do(X))$, améliorant la robustesse face aux changements environnementaux.

C. Décodeur de Trajectoire Évolutionnaire

Pour remplacer les décodeurs rigides et autorégressifs :

• Le modèle utilise un décodeur de trajectoire évolutionnaire qui mappe les ancres de trajectoire dynamiques vers des tokens de planification.
• Il génère des trajectoires en parallèle (non autorégressif) via une tête de prédiction à double branche : une branche grossière pour la sélection des ancres et une branche fine pour les offsets géométriques.
• Cela permet une acquisition de connaissances illimitée et une adaptation fluide à la complexité croissante des tâches.

3. Contributions Clés

1. Cadre DeLL : Une nouvelle architecture d'apprentissage à vie déconfondu spécifiquement conçue pour la conduite autonome E2E.
2. Espaces de connaissances DPMM : Utilisation de processus de Dirichlet pour maintenir et mettre à jour dynamiquement les connaissances latentes et explicites sans oubli catastrophique.
3. Module d'inférence causale : Intégration de l'ajustement front-door via des ancres de connaissances pour éliminer les corrélations spuriaires et améliorer l'expressivité causale.
4. Décodeur Évolutionnaire : Support natif de la génération de trajectoires parallèles et non autorégressives.
5. Nouveau Benchmark et Métriques : Établissement d'un protocole d'évaluation basé sur Bench2Drive, incluant des métriques verticales (stabilité temporelle, oubli) et horizontales (transfert de connaissances).

4. Résultats Expérimentaux

Les évaluations ont été menées dans le simulateur CARLA en boucle fermée, en utilisant une séquence de tâches décroissantes en volume de données (Freinage d'urgence, Reconnaissance de panneaux, Fusion, Dépassement, Céder le passage).

• Performance en Apprentissage à Vie :

  • DeLL surpasse significativement l'état de l'art (TF++ et autres modèles E2E).
  • Score de conduite moyen : 74,69 % (contre 70,55 % pour la base).
  • Taux de réussite moyen : 50,73 % (contre 44,54 %).
  • Réduction de l'oubli : Le ratio d'oubli progressif (PFR) est réduit de 40,25 % à 29,8 %.
  • Transfert de connaissances : Le transfert arrière (Backward Transfer) augmente de 52,83 % à 79,63 %, indiquant une excellente rétention des anciennes compétences.

• Performance en Apprentissage sur Données Complètes :

  • DeLL atteint un score de conduite de 86,86 %, surpassant tous les modèles comparés (y compris SimLingo et HiP-AD), démontrant que les innovations architecturales bénéficient aussi à l'apprentissage statique.

• Analyse Visuelle :

  • Les visualisations montrent que DeLL conserve des stratégies de vitesse correctes (ex: ralentir devant un vélo) même après avoir appris de nouvelles tâches, là où les modèles de base oublient ces comportements.
  • Les clusters DPMM montrent une séparation claire des capacités de conduite, avec une capacité à gérer des chevauchements complexes.

5. Signification et Limites

Signification :
Ce travail marque une avancée majeure en combinant l'apprentissage à vie et l'inférence causale pour la conduite autonome. Il démontre qu'il est possible de construire des agents autonomes qui apprennent continuellement sans oublier, tout en apprenant la cause réelle des actions plutôt que des corrélations superficielles. L'approche offre une solution robuste aux problèmes de non-stationnarité des environnements réels.

Limites :

• Coût computationnel : L'optimisation alternée entre la mise à jour du DPMM et l'entraînement du réseau neuronal introduit une surcharge computationnelle.
• Écart de domaine : Les résultats sont obtenus dans un simulateur (CARLA). Le passage au monde réel (domain gap) reste un défi ouvert.

En conclusion, DeLL propose une architecture fondamentale pour rendre les systèmes de conduite autonome plus adaptatifs, sûrs et capables d'évoluer comme un conducteur humain expérimenté.