Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

Résumé Technique : Apprentissage par Renforcement Hors Ligne utilisant un Étiquetage de Récompense Aligné sur l'Humain pour le Freinage d'Urgence Automatique lors du Passage de Piétons Obstrué

Formulation du Problème

L'article traite d'un goulot d'étranglement critique dans le déploiement des systèmes de Conduite Autonome (AD) : la rareté des étiquettes de récompense significatives dans les jeux de données du monde réel nécessaires à l'Apprentissage par Renforcement Hors Ligne (Offline RL). Bien que les jeux de données réels (ex. Waymo, nuScenes, A2D2) offrent des données riches et de haute fidélité, ils manquent généralement des signaux de récompense nécessaires pour entraîner des agents à distinguer les comportements désirables des comportements indésirables. Les solutions existantes reposent souvent sur la simulation, qui souffre du fossé « sim-to-real » (simulation vers le réel), ou utilisent des représentations d'états de faible dimension qui ignorent la richesse perceptuelle des observations basées sur l'image.

La tâche spécifique étudiée est le contrôle longitudinal du véhicule dans un scénario de passage de piétons obstrué. Dans cet environnement à haut risque, un véhicule autonome (VA) doit naviguer sur un passage pour piétons où des piétons peuvent être cachés par d'autres véhicules (occlusion) et apparaître soudainement. Le défi consiste à générer des étiquettes de récompense qui s'alignent sur les valeurs de sécurité humaines (priorisant la sécurité sur l'efficacité dans les scénarios de collision potentielle) sans l'annotation humaine directe de chaque image, permettant ainsi l'entraînement d'agents de Offline RL basés sur la perception directement à partir de jeux de données statiques.

Méthodologie

La solution proposée introduit un nouveau pipeline d'étiquetage de récompense qui transforme les jeux de données AD non étiquetés en données prêtes pour l'entraînement au Offline RL. La méthodologie se compose de trois étapes principales :

1. Segmentation Sémantique et Évaluation du Risque :

   • Cartographie Sémantique : Les images brutes de la caméra sont traitées via un modèle ResNet18 UNet pour générer des cartes de segmentation sémantique au niveau du pixel. Ces cartes identifient 28 classes, incluant les piétons, les véhicules, les passages pour piétons et les marquages au sol.
   • Composante de Sécurité Adaptative ($c_t$) : Le système analyse des couches spécifiques de la carte sémantique pour calculer un indicateur de sécurité adaptatif ($c_t$). Cet indicateur est déterminé par trois facteurs de risque :
     • Présence de Piétons ($F_p$) : Détecte si un piéton est sur la route ou sur le trottoir.
     • Occlusion du Passage pour Piétons ($F_c$) : Évalue si un passage pour piétons est partiellement obstrué par le trafic, créant une incertitude.
     • Historique des Piétons ($F_h$) : Utilise une banque de mémoire pour suivre les piétons qui apparaissent puis disparaissent (indiquant une occlusion), les signalant comme risque moyen.
   • Logique de Décision : Ces facteurs sont additionnés et passés à travers une fonction sigmoïde mise à l'échelle. Si la probabilité résultante dépasse un seuil ($\psi = 0,75$), $c_t$ est fixé à 1, activant la composante de récompense de sécurité et désactivant la composante d'efficacité.

2. Construction de la Fonction de Récompense :
   Le signal de récompense final ($R_{final}$) est une somme pondérée de trois composantes, commutées dynamiquement selon $c_t$ :

   • Sécurité ($g_{safe}$) : Pénalise les vitesses élevées à proximité des piétons et les collisions. Activée lorsque $c_t=1$.
   • Efficacité ($g_{efficient}$) : Encourage des vitesses plus élevées lorsqu'aucune collision n'est imminente. Activée lorsque $c_t=0$.
   • Fluidité ($g_{smooth}$) : Pénalise les accélérations saccadées, toujours active.
   • Intégration des Capteurs : Pour les données réelles, la distance aux piétons est déduite à l'aide du modèle de caméra sténopé combiné à la segmentation sémantique, tandis que la vitesse et l'accélération sont dérivées du bus CAN du véhicule et du capteur IMU.

3. Entraînement Offline RL avec Attention Spatiale :
   Pour entraîner l'agent, l'article propose un pipeline basé sur la perception qui exploite les cartes sémantiques pour guider l'extraction de caractéristiques :

   • Extraction de Caractéristiques : Les images de la caméra passent à travers un auto-encodeur ResNet18 pour produire des plongements (embeddings) de caractéristiques latentes.
   • Attention Spatiale : Les couches sémantiques pertinentes pour la tâche (piéton, passage pour piétons, véhicule) sont isolées et utilisées pour appliquer une attention spatiale aux caractéristiques latentes. Cela est réalisé via une multiplication croisée pondérée, où les caractéristiques des piétons reçoivent le poids le plus élevé ($\omega_{ped}=1,0$), suivies des passages pour piétons ($\omega_{cross}=0,75$) et des véhicules ($\omega_{veh}=0,50$). Ce mécanisme force l'agent à se concentrer sur les objets saillants pertinents pour l'évitement de collision.

Principales Contributions

L'article expose trois contributions majeures :

1. Étiquetage de Récompense Aligné sur l'Humain : Une nouvelle approche pour générer des ét labels de récompense pour les jeux de données AD existants, permettant leur utilisation pour le Offline RL de bout en bout sans nécessiter de nouvelles collectes de données.
2. Mécanisme de Sécurité Adaptatif : Une fonction de récompense intégrant une composante de sécurité adaptative dérivée des cartes de segmentation sémantique. Cela permet à l'agent de prioriser dynamiquement la sécurité sur l'efficacité en fonction des facteurs de risque en temps réel, tels que l'emplacement des piétons et l'occlusion.
3. Attention Spatiale via les Cartes Sémantiques : Une méthode pour utiliser les couches de segmentation sémantique afin de fournir des niveaux variables d'attention spatiale aux différentes classes d'objets au sein de l'observation d'image, améliorant la prise de décision de l'agent en se concentrant sur les éléments saillants de la scène.

Résultats Expérimentaux

La méthode a été évaluée dans deux contextes : une simulation CARLA et un sous-ensemble du jeu de données réel Audi Autonomous Driving Dataset (A2D2).

• Simulation (CARLA) :

  • Algorithmes Testés : Les données étiquetées ont été utilisées pour entraîner CQL, IQL et BPPO.
  • Baselines : La méthode proposée (« Gen ») a été comparée au Partage de Données Non Étiquetées (UDS) (attribuant des récompenses nulles) et à une approche par Modèle de Langage Visuel (VLM).
  • Performance : La configuration IQL (Gen) a obtenu la meilleure performance, avec des taux de réussite de 98-100 % dans les scénarios d'occlusion partielle. La méthode proposée a généralement produit des comportements plus stables et fiables que les baselines UDS ou VLM.
  • Limitations : La performance a diminué dans les scénarios très encombrés et totalement obstrués, particulièrement pour CQL et BPPO, suggérant que la vue de la caméra frontale présente des limites dans un trafic dense.

• Monde Réel (A2D2) :

  • Comparaison : Les étiquettes de récompense générées ont été comparées à celles annotées manuellement par un humain.
  • Constats : Bien que la distribution globale des récompenses soit similaire, il existe une disparité modérée dans certaines classifications de sécurité spécifiques. Notamment, la méthode a signalé certains états dangereux (ex. piétons fortement obstrués) que l'annotateur humain avait manqués. Inversement, la méthode a parfois échoué à identifier des piétons clairement visibles en raison des limitations des facteurs de risque utilisés (ex. confusion entre les marquages au sol et la surface de la route).

Signification et Revendications

L'article affirme que sa principale importance réside dans le pont jeté entre les vastes jeux de données AD non étiquetés du monde réel et les exigences du Offline RL. En automatisant la génération d'étiquettes de récompense alignées sur l'humain, la méthode permet l'entraînement d'agents basés sur la perception sans le coût prohibitif de l'annotation manuelle ou les problèmes de fidélité de la simulation.

Les auteurs soulignent que, bien que la méthode génère avec succès des signaux de récompense significatifs et améliore la performance de la politique en simulation, elle ne constitue pas un remplacement parfait du jugement humain. Les résultats d'A2D2 soulignent que la méthode peut détecter des dangers que les humains manquent (grâce à l'analyse systématique des cartes sémantiques) mais qu'elle manque également du raisonnement contextuel nuancé des conducteurs humains. L'article conclut que cette approche constitue un point de départ viable pour le Offline RL dans des scénarios complexes, bien que les travaux futurs doivent traiter le raisonnement temporel et l'intégration multi-vues pour gérer plus robustement les environnements de trafic dense.