🤖 machine learning

SHAP-Guided Kernel Actor-Critic for Explainable Reinforcement Learning

Cet article propose RSA2C, un algorithme d'apprentissage par renforcement explicable qui intègre des attributions d'état RKHS-SHAP dans un cadre acteur-critique noyau pour moduler dynamiquement l'apprentissage en fonction de l'importance des caractéristiques, atteignant ainsi une efficacité, une stabilité et une interprétabilité améliorées dans les tâches de contrôle continu.

Auteurs originaux : Na Li, Hangguan Shan, Wei Ni, Wenjie Zhang, Xinyu Li

Publié 2026-06-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Na Li, Hangguan Shan, Wei Ni, Wenjie Zhang, Xinyu Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Enseigner à un robot à conduire (et pourquoi il le fait)

Imaginez que vous enseigniez à un robot à conduire une voiture.

L'objectif : Le robot doit apprendre à bien conduire (obtenir des scores élevés).
Le problème : Les méthodes d'IA standard sont comme une « boîte noire ». Le robot apprend à conduire, mais si vous lui demandez pourquoi il a tourné à gauche ou à droite, il ne peut pas vous répondre. Il « sent » juste que c'est le bon mouvement.
La nouvelle solution : Ce document présente RSA2C, une nouvelle façon d'entraîner le robot. Il n'apprend pas seulement comment conduire ; il apprend quelles parties de la route comptent le plus (comme le compteur de vitesse par rapport à la jauge de carburant) et utilise cette compréhension pour mieux conduire et expliquer ses choix.

Les trois personnages principaux

Le système RSA2C est construit comme une petite équipe avec trois rôles spécifiques :

Le Conducteur (l'Acteur) : C'est la partie qui prend réellement les décisions (direction, accélération).
L'Entraîneur (le Critique de la Valeur) : Cette personne observe le conducteur et dit : « Dans l'ensemble, tu fais du bon travail », ou « Tu fais du mauvais travail ». Elle donne un score général.
L'Analyste (le Critique de l'Avantage) : Cette personne est plus spécifique. Elle dit : « Tu as fait un excellent travail par rapport à ce que tu fais d'habitude dans cette situation ». Cela aide le conducteur à apprendre plus vite.

L'innovation : Dans les anciennes méthodes, l'Entraîneur et l'Analyste traitaient chaque information provenant des capteurs de la voiture (vitesse, angle, carburant, température) comme étant d'égale importance. Mais en réalité, certaines choses comptent beaucoup plus que d'autres. RSA2C change cela.

L'outil magique : La lentille « Sherlock Holmes » (SHAP)

Le document utilise un outil appelé SHAP (qui signifie SHapley Additive exPlanations). Considérez SHAP comme une lentille Sherlock Holmes.

Comment ça marche : Lorsque l'Entraîneur (Critique de la Valeur) donne un score, la lentille zoome et demande : « Quelle est la contribution de la vitesse à ce score ? Quelle est la contribution de l'angle ? Quelle est la contribution du carburant ? »
Le résultat : Elle attribue une « valeur d'indice » à chaque capteur. Si la vitesse est la raison principale pour laquelle la voiture se comporte bien, la lentille met en évidence le capteur de vitesse. Si la jauge de carburant n'est pas importante en ce moment, la lentille l'ignore.

Pourquoi est-ce spécial ? Habituellement, l'IA n'utilise ces « indices » qu' après la fin de l'entraînement pour expliquer ce qui s'est passé. RSA2C est unique car il utilise ces indices pendant que le robot apprend. Il dit au Conducteur : « Hé, concentre-toi sur le capteur de vitesse en ce moment ; ignore la jauge de carburant ! »

La « Carte Intelligente » (RKHS et Noyaux)

Pour gérer ces indices efficacement, le document utilise un concept mathématique appelé RKHS (Reproducing Kernel Hilbert Space). Appelons cela la « Carte Intelligente ».

L'ancienne méthode : Imaginez essayer de mémoriser chaque rue d'une ville. Si la ville s'agrandit, votre mémoire explose et vous devenez lent.
La méthode RSA2C : Au lieu de mémoriser chaque rue, la « Carte Intelligente » conserve un dictionnaire parcimonieux. Elle ne retient que les intersections les plus importantes (états clés) qu'elle a visitées.
Le bénéfice : Cela permet de garder le robot léger et rapide. Il ne se laisse pas submerger par trop de données. Il ne garde que les « indices » qui l'aident réellement à apprendre.

Le « Volant Pondéré » (Poids à porte par Mahalanobis)

Une fois que la lentille « Sherlock Holmes » (SHAP) a identifié quels capteurs sont importants, RSA2C ne se contente pas de les regarder ; il ajuste le volant en fonction d'eux.

L'analogie : Imaginez que le volant de votre voiture possède un poids spécial attaché à lui.
- Si le « Capteur de Vitesse » est l'indice le plus important, le volant devient plus lourd du côté de la vitesse, obligeant le conducteur à prêter une attention particulière aux changements de vitesse.
- Si le « Capteur de Carburant » est sans importance, le volant devient plus léger de ce côté, afin que le conducteur l'ignore.
Le résultat : Le robot apprend à conduire de manière plus fluide et stable car il n'est pas distrait par un bruit non pertinent.

Pourquoi cela importe (Les résultats)

Les auteurs ont testé cela sur trois simulations de « conduite » différentes :

Le Pendule Oscillant : Faire tenir debout un bâton.
Le Robot Marcheur : Faire marcher un robot bipède sans qu'il tombe.
La Conduite d'une Fourmi : Contrôler un robot complexe à 8 pattes.

Ce qu'ils ont trouvé :

Une meilleure conduite : Le robot a appris à obtenir des scores plus élevés plus rapidement que les méthodes standard.
Stabilité : Lorsque les capteurs étaient « bruyants » (comme par un jour de brouillard ou avec une caméra tremblante), RSA2C a continué à bien conduire. Les anciennes méthodes étaient confuses et s'écrasaient. C'est parce que RSA2C savait quels capteurs faire confiance et lesquels ignorer.
Transparence : Comme le système suit quels capteurs il privilégie, nous pouvons réellement voir pourquoi le robot a pris une décision. Ce n'est plus une boîte noire ; c'est une « boîte de verre ».

Résumé en une phrase

RSA2C est une façon plus intelligente d'entraîner l'IA qui utilise une lentille « Sherlock Holmes » pour déterminer quelles informations sont les plus importantes, ajuste la focalisation de l'apprentissage du robot en temps réel sur la base de ces indices, et maintient le système stable et explicable même lorsque les données sont désordonnées.

Résumé Technique : RSA2C (SHAP-Guided Kernel Actor-Critic) pour l'Apprentissage par Renforcement Explicable

1. Énoncé du Problème

Les méthodes Actor-Critic (AC) sont fondamentales pour l'apprentissage par renforcement (RL), mais elles souffrent d'une interprétabilité limitée. Les architectures AC standards traitent les caractéristiques d'état de manière égale, échouant à révéler les impacts hétérogènes des dimensions individuelles de l'état sur la récompense. Bien qu'il existe des méthodes d'apprentissage par renforcement explicable (XRL), elles sont principalement post-hoc (analysant une politique déjà entraînée sans modifier l'entraînement) ou intrinsèques mais à grain grossier (par exemple, des arbres de décision ou des politiques symboliques). De manière cruciale, peu de méthodes fournissent des attributions au niveau des dimensions qui puissent être intégrées directement dans la boucle d'apprentissage pour guider les mises à jour de la politique.

De plus, l'intégration de mécanismes d'attribution dans l'AC présente deux défis fondamentaux :

Fiabilité de l'attribution : Utiliser des attributions pour modifier la forme fonctionnelle du Critique peut violer l'approximation de fonctions compatibles et perturber les propriétés de contraction de l'opérateur de Bellman, surtout lorsque le dictionnaire de noyaux sous-jacent évolue.
Stabilité de l'optimisation : Les états de RL sont souvent perturbés par du bruit, une dynamique stochastique et des décalages de distribution. Les méthodes sensibles aux attributions sont vulnérables aux corrélations spécieuses à moins d'être soigneusement régularisées, car l'instabilité des valeurs d'attribution peut amplifier les erreurs d'approximation et conduire à des dynamiques d'apprentissage fragiles.

La question de recherche centrale est de savoir comment concevoir un algorithme AC efficace, prouvable et conscient des attributions, capable de calculer des attributions d'état en ligne tout en maintenant la stabilité face aux perturbations d'état.

2. Méthodologie : RSA2C

Les auteurs proposent le RSA2C (RKHS-SHAP-based Advanced Actor-Critic), un algorithme AC à deux échelles de temps, conscient des attributions. RSA2C intègre les attributions d'état directement dans le processus d'apprentissage via un noyau à valeurs d'opérateurs pondéré par une matrice de Mahalanobis.

2.1. Architecture

RSA2C se compose de trois composants instanciés dans des espaces de Hilbert à noyau reproductible (RKHS), contrôlés par des dictionnaires clairsemés maintenus via la méthode de dépendance linéaire approximative (ALD) :

Advanced Actor (Acteur Avancé) : Instancié dans un RKHS à valeurs vectorielles utilisant un noyau à valeurs d'opérateurs (OVK). Le noyau est un noyau gaussien pondéré par Mahalanobis, $K(s, s_j) = \kappa_\phi(s, s_j)\Sigma_K$ , où la matrice de poids $W = \text{diag}(\tilde{\phi})$ est ajustée dynamiquement en fonction des attributions de caractéristiques d'état ( $\phi_i$ ). Cela permet à la politique d'adapter le repondération des dimensions d'état en fonction de leur importance.
Value Critic (Critique de Valeur) : Réside dans un RKHS scalaire avec son propre dictionnaire. Il estime la fonction de valeur $V(s)$ via l'apprentissage par différence temporelle (TD). Crucialement, le Critique de Valeur n'est pas repondéré par les scores SHAP afin d'éviter les dépendances circulaires et d'assurer une base stable pour le calcul de l'attribution.
Advantage Critic (Critique d'Avantage) : Réside dans un RKHS scalaire partageant le dictionnaire de l'Acteur. Il utilise des "caractéristiques compatibles" (alignées avec $\nabla \log \pi$ ) pour estimer la fonction d'avantage $A(s, a)$ , assurant des gradients de politique à faible variance.

2.2. Intégration RKHS-SHAP

Au lieu d'utiliser l'échantillonnage de Monte Carlo (qui est coûteux en termes de calcul), RSA2C calcule les valeurs SHAP de manière analytique en utilisant des encodages de moyenne de noyau (KME) et des encodages de moyenne conditionnelle (CME) au sein du cadre RKHS :

Sur l'amont (Observationnel) : Utilise le KME pour moyenner sur la distribution empirique de l'état, garantissant que les attributions reflètent des configurations cohérentes avec l'environnement.
Hors amont (Interventionnel) : Utilise le CME pour conditionner sur des sous-ensembles de dimensions tout en respectant la géométrie des données, sondant les coalitions de caractéristiques sans générer d'états invalides.

Ces attributions SHAP calculées sont converties en poids de porte Mahalanobis. Ces poids modulent les mises à jour de gradient de l'Acteur et les cibles de l'Advantage Critic, injectant efficacement les signaux d'importance au niveau des dimensions directement dans la dynamique d'optimisation.

2.3. Mécanisme à deux échelles de temps

RSA2C opère sur deux échelles de temps :

Échelle de temps rapide : Le Critique de Valeur se met à jour rapidement pour fournir des estimations de valeur stables et des attributions SHAP.
Échelle de temps lente : L'Acteur et l'Advantage Critic se mettent à jour plus lentement, utilisant les attributions stables du Critique pour guider l'amélioration de la politique.

3. Contributions Clés

Actor-Critic à noyau à deux échelles de temps : L'introduction de RSA2C, qui implante un Acteur et deux Critiques dans un RKHS. Il injecte de manière unique une importance adaptative des caractéristiques d'état via RKHS-SHAP dans un OVK pondéré par Mahalanobis, modélisant des politiques à valeurs vectorielles tout en encodant les corrélations entre les dimensions d'état. L'utilisation de dictionnaires clairsemés assure une complexité de calcul linéaire par rapport à la taille du dictionnaire, ce la rend appropriée pour le RL en ligne.
De l'attribution d'état au signal d'apprentissage : La méthode calcule le SHAP à partir du Critique de Valeur via deux voies (KME pour l'attente sur l'amont et CME pour les attentes hors amont). Ces signaux sont filtrés et injectés dans l'Acteur et l'Advantage Critic, atteignant à la fois l'efficacité et l'interprétabilité intrinsèque sans reposer uniquement sur une explication post-hoc.
Convergence globale non asymptotique : Les auteurs dérivent une borne de convergence globale pour RSA2C sous perturbations d'état. L'écart d'apprentissage est décomposé en une erreur de perturbation (quantifiant la stabilité face au bruit) et une erreur de convergence (quantifiant l'efficacité). L'erreur de perturbation est elle-même divisée en termes d'attribution induite et d'apprentissage de politique, démontrant la robustesse de l'algorithme.
Validation empirique : Des simulations étendues sur trois environnements de contrôle continu (Pendulum-v1, BipedalWalker-v3, Ant-v5) démontrent que RSA2C atteint des rendements compétitifs avec un surcoût de calcul (FLOPs) nettement inférieur par rapport aux bases de référence de Deep RL (SAC, PPO), tout en maintenant une stabilité supérieure sous les perturbations d'état.

4. Résultats

Efficacité : Dans les tâches de contrôle continu, les variantes de RSA2C (KME et CME) convergent vers des rendements plus élevés que les ablations (Advanced AC sans SHAP, Uniform SHAP) et les méthodes RKHS-AC traditionnelles. Bien que les méthodes de Deep RL comme SAC puissent atteindre des rendements asymptotiques plus élevés dans des tâches à haute dimensionnalité (ex: Ant-v5), RSA2C atteint des performances comparables ou supérieures dans des tâches de plus faible dimension avec nettement moins de FLOPs et de temps d'exécution, particulièrement sur CPU.
Stabilité : Sous les perturbations d'état (bruit à moyenne nulle avec des variances variables), les variantes de RSA2C présentent les performances les plus stables parmi les méthodes basées sur RKHS. Leurs rendements moyens ne se dégradent que légèrement à mesure que le bruit augmente, tandis que les méthodes sans attributions apprises (Advanced AC, RKHS-AC) subissent des chutes de performance significatives. RSA2C surpasse également les bases de référence de Deep RL en termes de stabilité ; par exemple, la performance de PPO se dégrade sévèrement sous un bruit élevé, tandis que RSA2C reste robuste.
Interprétabilité : La visualisation via des diagrammes beeswarm et des cartes thermiques confirme que RSA2C capture des contributions de caractéristiques significatives alignées avec la dynamique physique (ex: distinguant l'angle, la vitesse angulaire et le couple dans la tâche Pendulum). RSA2C-CME, qui modélise les dépendances conditionnelles, produit des attributions plus équilibrées et temporellement adaptatives par rapport à RSA2C-KME.

5. Signification et Revendications

L'article affirme que RSA2C fournit un mécanisme principled pour transformer l'importance des caractéristiques d'état en une distance de Mahalanis sur un OVK basé sur un noyau, améliorant ainsi l'efficacité de l'apprentissage avec une interprétabilité intrinsèque.

Garantie Théorique : Ce travail établit une garantie de convergence globale et non asymptotique sous les perturbations d'état, une contribution significative car les garanties non asymptotiques pour les AC enrichis par RKHS à deux échelles de temps constituaient auparavant une lacune ouverte.
Robustesse : La méthode démontre que les attributions de caractéristiques apprises sont critiques pour stabiliser les mises à jour de réseau contre les perturbations stochastiques, surpassant les bases de référence à poids fixes ou sans attribution.
Limites : Les auteurs reconnaissent modestement que la scalabilité des représentations basées sur RKHS est limitée dans les tâches de contrôle continu à haute dimensionnalité (ex: Ant-v5 avec des états de 105D), où la capacité de représentation d'un RKHS linéaire avec des noyaux RBF peut devenir un goulot d'étranglement par rapport aux réseaux de neurones profonds. De plus, l'empreinte mémoire augmente avec la complexité de la tâche et les horizons d'entraînement.

En résumé, RSA2C comble le fossé entre la haute performance du RL et l'explicabilité en intégrant les attributions de caractéristiques d'état via SHAP directement dans la boucle d'apprentissage par noyau, offrant une approche stable, efficace et théoriquement fondée pour le contrôle continu.