🤖 machine learning

Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking

Cet article propose un cadre d'apprentissage par renforcement neuro-symbolique pour le freinage d'urgence autonome qui intègre des représentations sémantiques vectorielles du contexte de la scène avec une fonction de récompense de logique du premier ordre douce afin d'améliorer la robustesse de la politique et d'aligner la prise de décision avec les valeurs de sécurité humaines.

Auteurs originaux : Vinal Asodia, Iman Sharifi, Saber Fallah

Publié 2026-02-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vinal Asodia, Iman Sharifi, Saber Fallah

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à une voiture autonome à freiner pour les piétons. L'ancienne méthode consistait à enseigner la conduite à un enfant en lui montrant un million de photos brutes et en lui disant : « Si tu vois du rouge, arrête-toi ; si tu vois du bleu, avance. » Le problème est que la voiture voit des millions de pixels, et non des « piétons » ou des « passages piétons ». Elle a du mal à comprendre l'histoire de la scène et repose sur un carnet de règles rigide (une fonction de récompense) qui ne sait pas comment équilibrer la sécurité avec l'arrivée à destination.

Ce document propose une nouvelle façon d'enseigner à la voiture, en utilisant un mélange de mémoire super-organisée et de logique de bon sens. Voici comment cela fonctionne, décomposé en parties simples :

1. La « Mémoire Super-Organisée » (Représentation Sémantique Vectorielle)

Au lieu de simplement regarder une photo floue, le cerveau de la voiture crée un « instantané mental » spécial de la scène.

L'ancienne méthode : Elle regarde les pixels.
La nouvelle méthode : Elle décompose la scène en une liste de personnages et de leurs relations, comme le script d'une pièce de théâtre. Elle identifie : « Il y a un piéton (Personnage A) debout sur un passage piéton (Lieu B). »
La magie : Elle utilise une technique appelée Calcul Hyperdimensionnel. Voyez cela comme un immense classeur où chaque objet (piéton, camion, route) possède sa propre carte d'identité technologique unique. La voiture ne stocke pas seulement l'identifiant ; elle stocke aussi où se trouve l'objet et à quoi il ressemble, le tout regroupé dans un seul « vecteur de mémoire » ultra-efficace.
Le filtre de sécurité : Le système est assez intelligent pour savoir qu'un piéton est plus fragile qu'un camion. Ainsi, il donne à la carte d'identité du piéton un réglage de « sonorité » (un poids) bien plus élevé que celui du camion, garantissant que la voiture prête une attention accrue aux personnes vulnérables.

2. Le « Juge de Bon Sens » (Récompense de Logique du Premier Ordre Souple)

Dans l'apprentissage par renforcement, la voiture apprend en receant des points (récompenses) pour les bons comportements et en perdant des points pour les mauvais.

L'ancienne méthode : Le carnet de règles était rigide. « Si tu frappes un piéton, -1000 points. Si tu conduis vite, +10 points. » C'est trop simple. Et si vous conduisez vite mais qu'un piéton est caché derrière une voiture garée ? Les anciennes règles pourraient ne pas le détecter.
La nouvelle méthode : Le document introduit un juge de Logique du Premier Ordre Souple (SFOL). Au lieu d'un carnet de règles rigide, c'est comme un juge sage qui observe le contexte.
- Le juge pose des questions basées sur l'« instantané mental » : « Y a-t-il un passage piéton ? Est-il dégagé ? Une voiture bloque-t-elle la vue du passage piéton ? »
- En fonction des réponses, le juge décide à quel point la voiture doit se soucier de la Sécurité par rapport à l'Efficacité.
- Si le juge voit un piéton sur un passage piéton, il dit : « La sécurité est importante à 100 % en ce moment ; l'efficacité n'importe pas. »
- Si la route est vide, il dit : « La sécurité est toujours importante, mais essayons aussi d'arriver rapidement à destination. »
- La partie « Souple » signifie que le juge n'est pas binaire (oui/non) ; il comprend l'incertitude. Si la vue est obstruée, le juge dit : « Je ne suis pas sûr à 100 %, mais je suis sûr à 80 % qu'il pourrait y avoir un piéton, alors soyons prudents. »

3. Le Terrain d'Entraînement (L'Expérience)

Les chercheurs ont testé cela dans une ville virtuelle (simulateur CARLA) avec un scénario spécifique et délicat : Le Piéton Caché.

La configuration : Une voiture descend une route. Un grand van est garé, cachant un passage piéton. Un piéton surgit de derrière le van.
Le test : Ils ont testé la voiture dans un trafic léger, moyen et dense, le piéton étant parfois totalement caché et parfois partiellement visible.

4. Les Résultats : Qu'est-ce qui a le mieux fonctionné ?

Le document a révélé que la « Mémoire Super-Organisée » et le « Juge de Bon Sens » fonctionnent le mieux lorsqu'ils sont utilisés ensemble, mais seulement s'ils sont combinés d'une manière spécifique :

Juste la Mémoire (Sans Logique) : La voiture était trop agressive et entrait souvent en collision. Elle savait ce qui était là, mais ne savait pas comment réagir.
Juste la Logique (Sans Mémoire) : La voiture se comportait bien dans un trafic léger, mais devenait confuse et entrait en collision dans un trafic dense car elle ne parvenait pas assez bien à « voir » les détails.
Le Gagnant (Mémoire + Logique + Addition) : Lorsqu'ils ont combiné la mémoire de la scène avec le raisonnement logique en utilisant une simple méthode d'« addition », la voiture est devenue la plus robuste. Elle a réussi à s'arrêter pour les piétons cachés, a évité les collisions dans le trafic dense, et n'a pas conduit de manière trop conservatrice (en bloquant la circulation).

L'Essentiel

Ce document démontre que pour rendre les voitures autonomes plus sûres, nous ne devons pas seulement leur fournir plus de photos. Nous devons leur donner un moyen de comprendre la scène (qui est où) et un cerveau flexible pour décider quand être prudent et quand être efficace. En combinant une mémoire structurée de la route avec un juge basé sur la logique, la voiture apprend à prendre des décisions plus sûres et plus alignées sur les valeurs humaines, même lorsque la vue est obstruée.

Résumé Technique : Amélioration de l'Apprentissage par Renforcement via la Représentation Sémantique Vectorielle et le Raisonnement Symbolique pour un Freinage d'Urgence Autonome Centré sur l'Humain

Énoncé du Problème

Les approches actuelles de l'apprentissage par renforcement profond (DRL) basées sur des caméras pour la conduite autonome (AD) font face à deux limitations principales :

Représentation des Caractéristiques : Elles intègrent rarement le contexte de scène de haut niveau dans les représentations de caractéristiques, s'appuyant plutôt sur des images brutes ou des mécanismes d'attention qui mettent en évidence des régions sans compréhension sémantique explicite des relations entre les objets (par exemple, la proximité d'un piéton par rapport à un passage piéton).
Conception de la Fonction de Récompense : Elles reposent généralement sur des fonctions de récompense rigides et fixes (sommes pondérées de pénalités et d'incitations). Celles-ci ne parviennent pas à capturer les compromis nuancés entre des valeurs humaines concurrentes (sécurité, efficacité, confort) dans des scénarios complexes et dynamiques. Les fonctions de récompense adaptatives existent, mais utilisent souvent un « basculement brutal » (hard switching) entre les objectifs, ce qui entraîne un comportement fragile.

Méthodologie

Le document propose un pipeline neuro-symbolique combinant une Représentation Sémantique Vectorielle (VSR) pour l'encodage de l'état et une Logique du Premier Ordre Douce (SFOL) pour le façonnage de la récompense.

1. Représentation Sémantique Vectorielle (VSR)

Les auteurs étendent le cadre VSR pour encoder des entités statiques et dynamiques en utilisant l'informatique hyperdimensionnelle (HDC), spécifiquement les représentations réduites holographiques (HRR).

Traitement des Entrées : Les images de la caméra sont traitées via un UNet basé sur ResNet18 pour générer des cartes de segmentation sémantique et un auto-encodeur ResNet18 pour produire des plongements de caractéristiques latentes.
Encodage des Entités : Chaque entité dynamique ( $E_i$ $E_{i}$ ) est représentée par un hypervecteur combinant :
- Information Sémantique Spatiale (SSI) : Encode la classe sémantique (ex. : piéton, véhicule), les relations spatiales avec les voisins (ex. : « piéton sous le passage piéton »), et la forme/localisation dans une grille. Elle est construite en liant des hypervecteurs de classe sémantique, directionnels et de forme.
- Caractéristiques Spatiales (SF) : Plongements de caractéristiques spatialement attentifs dérivés des caractéristiques latentes, pondérés par la carte sémantique.
Fusion : Le vecteur VSR final est une somme pondérée de tous les hypervecteurs d'entités. Crucialement, les schémas de pondération donnent la priorité aux usagers de la route vulnérables (ex. : les piétons sur la route ou le passage piéton sont pondérés plus fortement que ceux sur les trottoirs ou les véhicules).
Intégration : L'hypervecteur SSI et les plongements SF sont fusionnés via l'addition élément par élément ( $\oplus$ ) ou la multiplication ( $\otimes$ ) pour créer un descripteur compact et riche en contexte injecté dans un agent d'optimisation de politique proximale (PPO).

2. Fonction de Récompense par Logique du Premier Ordre Douce (SFOL)

Pour remédier à la rigidité des récompenses fixes, les auteurs intègrent un module de raisonnement symbolique utilisant PyReason.

Extraction de Prédicats : Des prédicats sémantiques et spatiaux (ex. : Piéton(X), SurPassagePiéton(X), Occulte(X,Y)) sont extraits des cartes de segmentation et de l'analyse spatiale. L'incertitude est gérée en assignant des valeurs de vérité douces dans $[0, 1]$ .
Base de Règles : Un ensemble de clauses de Horn définit des règles pour la Sécurité (ex. : prioriser la sécurité si un piéton est sur la route ou si un passage piéton est occulté) et l'Efficacité (ex. : prioriser la vitesse si la voie est dégagée).
Pondération Dynamique : Le système infère les niveaux de confiance pour ces règles. Ces confiances sont utilisées pour calculer dynamiquement les poids ( $\bar{w}_{saf}$ , $\bar{w}_{eff}$ ) des composantes de base de la récompense (sécurité, efficacité et fluidité). Cela permet à la fonction de récompense d'équilibrer les valeurs humaines en fonction du contexte spécifique de la scène de conduite plutôt que d'utiliser des commutations brutales.

Contributions Clés

VSR Étendue : Adaptation de la VSR pour encoder des entités dynamiques avec des schémas de pondération qui accentuent les usagers de la route vulnérables, fusionnés avec des caractéristiques spatialement attentives.
Fusion Neuro-Symbolique : Création d'un descripteur de scène compact en fusionnant des hypervecteurs symboliques (SSI) avec des plongements de caractéristiques d'apprentissage profond (SF).
Fonction de Récompense SFOL : Proposition d'une fonction de récompense qui utilise le raisonnement symbolique pour équilibrer dynamiquement la sécurité, l'efficacité et le confort, allant au-delà des formulations de récompense fixes ou à commutation brutale.

Résultats Expérimentaux

Le pipeline a été évalué dans le simulateur CARLA lors d'un scénario de traversée de piéton occulté avec des densités de trafic variables (Faible, Moyenne, Haute) et des niveaux d'occlusion variés (Partielle, Totale).

Intégration VSR :
- SSI uniquement : A réalisé de mauvaises performances, indiquant que l'information symbolique seule est insuffisante pour l'apprentissage de la politique.
- SF uniquement : A convergé rapidement mais s'est dégradé significativement dans un trafic à haute densité, entraînant des taux de collision plus élevés.
- SSI $\oplus$ SF (Addition élément par élément) : A atteint la performance la plus robuste, équilibrant des taux de réussite élevés, de faibles taux de collision et des distances d'arrêt stables sur toutes les densités. Cela a surpassé la variante par multiplication ( $\otimes$ ) en termes de stabilité.
Ablation de la Récompense SFOL :
- Ensemble de Règles Complet (CE & CS) : A délivré la meilleure performance globale avec la plus faible dégradation dans les scénarios à haute densité.
- Ensembles de Règles Partiels : Le retrait de règles de sécurité subtiles (CE & PS) a conduit à une conduite agressive et des réactions tardives. Le retrait de règles d'efficacité subtiles (PE & CS) a entraîné un comportement excessivement conservateur et des taux d'expiration (timeout) élevés.
- Comparaison avec la Référence : L'approche SFOL proposée a surpassé une base adaptative standard basée sur les facteurs de risque, particulièrement dans les scénarios occultés à haute densité, où la base montrait une certaine fragilité.

Signification et Revendications

Le document affirme que l'intégration de représentations neuro-symboliques holistiques et d'un raisonnement doux dans l'apprentissage par renforcement permet une prise de décision plus consciente du contexte et alignée sur les valeurs pour la conduite autonome.

Robustesse : La combinaison du contexte symbolique (VSR) et des caractéristiques spatiales permet à l'agent de mieux gérer les scénarios complexes et occultés que les méthodes reposant uniquement sur des caractéristiques visuelles ou des données symboliques.
Alignement Humain : La fonction de récompense SFOL parvient à équilibrer dynamiquement les valeurs humaines concurrentes (sécurité vs efficacité), évitant la fragilité de la logique à commutation brutale.
Limitations : Les auteurs notent modestement qu'aucune configuration n'a atteint un taux de réussite de 100 %. Ils identifient une instabilité potentielle dans le processus de raisonnement (fluctuations des poids de récompense) lors d'une congestion intense comme un domaine de raffinement futur, suggérant la nécessité d'informations symboliques temporelles ou d'un raisonnement abductif pour gérer les dangers cachés.