Neuro-Cognitive Reward Modeling for Human-Centered Autonomous Vehicle Control

1. Problématique

Bien que les véhicules autonomes intelligents (AIV) aient bénéficié des avancées récentes en apprentissage profond (Deep Learning), l'alignement de leurs décisions avec les attentes et la cognition humaines reste un défi majeur.

• Limites de l'Apprentissage par Imitation (IL) : Les modèles actuels tendent à copier des trajectoires d'experts sans véritable capacité de raisonnement, échouant souvent dans des scénarios hors distribution (out-of-distribution) ou des situations imprévues.
• Limites de l'Apprentissage par Renforcement (RL) classique : Le RL nécessite des fonctions de récompense soigneusement conçues qui peuvent ne pas capturer la complexité des valeurs humaines.
• Limites du RLHF (Reinforcement Learning with Human Feedback) traditionnel : Les méthodes actuelles reposent sur le classement manuel de sorties générées par l'IA par des annotateurs humains. Ce processus est chronophage, indirect et ne capture pas les réponses cognitives immédiates et involontaires des utilisateurs.

L'objectif de cette étude est de combler ce fossé en intégrant des signaux neuro-cognitifs (EEG) directement dans le processus d'apprentissage par renforcement, sans interrompre le comportement humain ni nécessiter de collecte de données en temps réel lors de l'inférence.

2. Méthodologie

L'approche proposée repose sur un cadre innovant qui prédit les réponses cérébrales à partir de l'environnement visuel pour guider l'agent RL.

A. Collecte de Données et Scénarios

• Participants : 20 participants (sur 32 recrutés) ayant conduit dans un simulateur de conduite réaliste (CARLA) équipé d'un casque VR HTC Vive Pro Eye et d'un volant Logitech G923.
• Capteurs : Enregistrement simultané de données de conduite active, de suivi oculaire (eye-tracking) et de signaux EEG (64 canaux, 1000 Hz).
• Scénarios :
  1. Freinage d'urgence : Le véhicule de tête freine de manière inattendue, testant la réactivité et la robustesse.
  2. Virage à gauche : Conduite dans un carrefour avec des véhicules venant en sens inverse, testant la généralisation et la prise de décision interactive.
• Analyse des ERPs : Les chercheurs ont analysé les Potentiels Liés aux Événements (ERP), en particulier le composant P3 (pic positif 300-500 ms après le stimulus), qui est un biomarqueur de la charge cognitive et de la détection d'événements inattendus. Une corrélation significative a été trouvée entre l'amplitude du P3 et le temps de réaction des conducteurs.

B. Modèle de Prédiction des Caractéristiques EEG (Cognitive Reward Model)

Pour éviter la nécessité de collecter des données EEG pendant l'inférence (ce qui rendrait le système non évolutif), les auteurs ont développé un modèle de prédiction :

• Objectif : Prédire la probabilité d'apparition d'un ERP (fort ou faible) à partir uniquement des images de la scène visuelle.
• Architecture : Un réseau de neurones convolutifs (CNN) léger à trois couches, optimisé pour la vitesse (204 images/seconde).
• Entraînement : Le modèle est entraîné avec une perte d'entropie croisée binaire (BCE) pour classer les essais comme "inducteurs d'ERP" ou non, en utilisant les données EEG réelles collectées lors de la phase d'entraînement.

C. Formulation du Problème RL et Fonction de Récompense

Le problème est formulé comme un Processus de Décision Markovien (MDP) où l'agent apprend une politique optimale.

• État : Séquences d'images de segmentation sémantique (vue du véhicule).
• Action : Contrôle continu de l'accélération et du freinage.
• Fonction de Récompense ($R_t$) : Elle combine une récompense environnementale (évitement de collision, distance de suivi) et une récompense cognitive :
  $$R_t = \beta \cdot r_{cog}(s_t) + \dots$$
  Où $r_{cog}$ est la prédiction du modèle EEG. Un poids négatif ($\beta = -1$) est appliqué : si le modèle prédit un fort ERP (indiquant une situation dangereuse ou une charge cognitive élevée perçue par l'humain), la récompense est pénalisée, incitant l'agent à éviter ces états.

D. Réseau de Politique

L'agent utilise un réseau de politique intégrant un mécanisme d'auto-attention (Self-Attention) pour traiter les séquences d'images, permettant de mieux capturer les dépendances temporelles et spatiales critiques pour la conduite.

3. Contributions Clés

1. Nouveau Dataset Multimodal : Création du premier jeu de données combinant EEG, suivi oculaire, données de contrôle actif et images de scène dans un simulateur VR réaliste pour la conduite.
2. Modèle de Récompense Cognitive : Développement d'un modèle capable de prédire les réponses EEG (ERPs) à partir d'images visuelles, servant de signal de récompense implicite.
3. Cadre RLHF Évolvable : Proposition d'une méthode RLHF qui n'exige pas de données EEG en temps réel lors de l'inférence, rendant le déploiement pratique et scalable.
4. Validation Empirique : Démonstration que l'intégration de ces signaux cognitifs améliore significativement les performances de sécurité par rapport aux méthodes RL classiques et aux autres approches de RLHF.

4. Résultats Expérimentaux

Les expériences ont été menées dans le simulateur CARLA sur deux scénarios complexes (Freinage d'urgence et Virage à gauche).

• Performance du Modèle de Prédiction EEG : Le modèle proposé atteint une précision moyenne de 82 % (supérieure aux baselines comme ResNet-18, Swin-ViT) avec une vitesse de traitement de 204 FPS, permettant une intégration efficace dans la boucle d'entraînement RL.
• Performance de Conduite : La méthode proposée ("Ours") surpasse toutes les autres approches (RL standard, Imitation Learning, RLHF manuel, TD3-lag) :
  • Score de complétion de route : 85 % (Freinage d'urgence) et 67 % (Virage à gauche).
  • Score de conduite global : 79 et 57 respectivement.
  • Réduction des infractions : Meilleure gestion des pénalités de collision.
• Analyse de l'Attention : La visualisation de l'attention de la machine montre que le modèle entraîné avec la récompense cognitive se concentre de manière cohérente sur le véhicule de tête, contrairement aux modèles de base dont l'attention est plus dispersée. Cela indique une meilleure compréhension des risques critiques.

5. Signification et Conclusion

Cette étude marque une avancée significative dans le domaine de la conduite autonome en introduisant pour la première fois une modélisation de récompense basée sur l'EEG spécifiquement pour les véhicules autonomes.

• Alignement Humain-Machine : En utilisant les réponses neuro-cognitives naturelles (P3) comme signal de récompense, le système apprend à éviter les situations que les humains perçoivent comme dangereuses ou stressantes, même si ces situations ne sont pas explicitement définies dans les règles de sécurité.
• Efficacité et Scalabilité : La capacité à prédire les signaux cérébraux à partir d'images élimine le besoin de capteurs EEG coûteux et encombrants lors du déploiement réel, rendant l'approche viable pour des systèmes autonomes grand public.
• Sécurité : Les résultats démontrent que l'intégration de ces signaux cognitifs conduit à des agents plus sûrs, capables de mieux gérer les scénarios imprévus et d'imiter le raisonnement humain face au danger.

En résumé, ce travail prouve que les signaux cognitifs humains, même inférés indirectement, constituent une source de feedback précieuse pour entraîner des systèmes autonomes plus sûrs et mieux alignés avec les attentes humaines.