An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving

Résumé Technique : Un cadre de DRL explicable par LLM pour la conduite autonome dirigée par le passager

Énoncé du problème
Malgré les progrès de la perception et du contrôle des véhicules autonomes (VA), la confiance du public reste limitée en raison de la nature de « boîte noire » des systèmes de prise de décision. Les passagers manquent souvent de transparence concernant les raisons pour lesquelles un VA effectue des actions spécifiques, particulièrement dans des situations critiques. Les approches actuelles d'IA explicable (XAI) sont principalement orientées vers les développeurs, s'appuyant sur des représentations visuelles ou des traces techniques de règles qui ne sont pas accessibles aux utilisateurs non experts. De plus, les cadres actuels intègrent rarement les commandes vocales des passagers en temps réel directement dans la boucle de contrôle tout en fournissant simultanément des justifications en langage naturel lorsque les contraintes de sécurité nécessitent d'outrepasser ces commandes.

Méthodologie
Les auteurs proposent un cadre hybride opérant au sein d'un simulateur de trafic microscopique SUMO, qui intègre l'apprentissage par renforcement profond (DRL) pour un contrôle adaptatif avec des modèles de langage de grande taille (LLM) pour l'interaction avec le passager et l'explicabilité. L'architecture du système comprend quatre sous-systèmes principaux :

1. Environnement de simulation : Un scénario routier urbain bidirectionnel comprenant des intersections signalisées, des passages piétons non signalisés et des flux de trafic variables. L'intention du passager est abstraite en trois commandes discrètes : rapide (fast), confort (comfort) et arrêt (stop).
2. Interprétation des commandes (LLM-1) : Utilisant GPT-4.1-mini, ce module transcrit les requêtes vocales des passagers (directes ou indirectes) et les reformule en une instruction de conduite confirmée et non ambiguë (conduire plus vite, conduire plus prudemment ou s'arrêter). Il produit une classe numérique (0, 1 ou 2) pour l'agent de contrôle.
3. Noyau de conduite autonome (DRL) : La politique de contrôle est modélisée comme un processus de décision de Markov (MDP) utilisant un Dueling Double Deep Q-Network (D3DN).
   • Espace d'états : Un vecteur à 8 dimensions incluant la commande du passager, la vitesse de l'ego, la limite de vitesse, la distance de suivi, la vitesse relative, la distance/l'état du feu de signalisation et la distance du passage piéton.
   • Espace d'actions : Ajustements de vitesse longitudinale discrets allant de -3 à +3 m/s.
   • Fonctions de récompense : Trois structures de récompense distinctes sont définies pour les modes de conduite :
     • Rapide : Priorise l'efficacité et le respect de la limite de vitesse tout en maintenant la sécurité (Temps avant collision > 2s).
     • Confort : Priorise la fluidité en pénalisant le jerk élevé et en favorisant des distances de suivi conservatrices.
     • Arrêt : Impose un freinage immédiat avec des pénalités élevées pour le maintien de la vitesse.
   • Mécanisme de sécurité : Une approche de leader virtuel est utilisée pour imposer l'arrêt aux feux rouges et aux passages piétons, remplaçant les seuils de distance rigides par une logique de suivi de véhicule qui garantit la conformité aux règles.
4. Pipeline d'explicabilité (LLM-2 & LLM-3) :
   • Module de décision (LLM-2) : Évalue l'action actuelle du véhicule par rapport à la requête du passager et à l'état de l'environnement. Il déclenche une explication uniquement si un conflit existe (par exemple, décélérer malgré une requête « rapide » en raison d'un feu rouge).
   • Générateur d'explications (LLM-3) : Génère des justifications concises et rassurantes, en une ou deux phrases, en langage naturel lorsqu'un conflit est détecté, en se concentrant sur le facteur le plus pertinent pour la sécurité (par exemple, « approche d'un feu de signalisation »).

Principales contributions

1. Pipeline XAI orienté passager : Une intégration novatrice de LLM avec le DRL qui traduit les requêtes de passagers en langage naturel en politiques de contrôle et génère des explications contextuelles pour les utilisateurs non experts.
2. Agent D3QN multi-mode : Un agent entraîné capable de basculer de manière transparente entre les modes rapide, confort et arrêt au cours d'un seul trajet, tout en respectant les règles de circulation et les contraintes de sécurité.
3. Mécanisme de détection de conflit : Un module basé sur un LLM qui détermine dynamiquement quand une explication est nécessaire, déclenchant spécifiquement l'explication lorsque les contraintes de sécurité outrepassent l'intention du passager, équilibrant ainsi adaptabilité et transparence.

Résultats
Le cadre a été évalué sur 11 000 épisodes d'entraînement et 25 épisodes de test à travers différentes densités de trafic (de 0,5x à 1,5x le flux de base).

• Performance du DRL : Les agents rapide et confort ont démontré un apprentissage stable et un fonctionnement sans collision.
  • L'agent rapide a atteint une vitesse moyenne de 4,508 m/s avec un intervalle de temps (TH) moyen de 2,998s et un temps avant collision (TTC) de 5,603s.
  • L'agent confort a atteint une vitesse moyenne légèrement inférieure (4,396 m/s) mais a maintenu un TH significativement plus grand (6,373s) et un jerk plus faible (0,205 m/s³), confirmant un comportement de conduite plus fluide.
  • Les deux agents ont exécuté avec succès les commandes d'arrêt d'urgence, outrepassant leurs modes de conduite respectifs sans instabilité.
• Performance du LLM :
  • Interprétation des commandes (LLM-1) : A atteint une précision de 96,9 % sur un ensemble de données de 33 requêtes, avec une précision parfaite pour la classe rapide. Une erreur impliquait la classification erronée d'une requête arrêt comme étant confort.
  • Décision et explication (LLM-2/3) : L'évaluation qualitative a montré que le système a correctement déclenché des explications pour les écarts dictés par la sécurité (par exemple, ralentir pour un feu rouge) et a généré des justifications appropriées et rassurantes. Le système a efficacement évité les explications redondantes pour des ajustements mineurs et attendus.

Signification et affirmations
L'article présente ce travail comme une preuve de concept démontrant la faisabilité de l'intégration du contrôle de conduite basé sur le DRL avec l'interaction passager pilotée par LLM. Les auteurs affirment que ce cadre parvient à combler le fossé entre la performance des VA et la confiance du public en fournissant un système qui est sûr, adaptable aux préférences de l'utilisateur et explicable.

L'étude souligne que le cadre est plus efficace lorsqu'il doit expliquer pourquoi une requête du passager (par exemple, « conduire plus vite ») est retardée ou outrepassée en raison de contraintes de sécurité. Les auteurs notent explicitement des limites, notamment la dépendance à la simulation (SUMO), l'absence de métriques standardisées pour l'évaluation des explications en temps réel, et le potentiel d'hallucinations des LLM. Par conséquent, ils présentent ce travail comme une étape fondamentale vers de futures extensions impliquant le contrôle latéral (changement de voie) et le déploiement dans le monde réel, plutôt que comme une solution pleinement mature prête pour une utilisation commerciale immédiate.