Résumé Technique : BaTCAVe – Des explications dignes de confiance pour les comportements robotiques

Problématique

La robotique moderne repose de plus en plus sur les réseaux de neurones profonds (DNN), particulièrement pour la prise de décision et le contrôle de bout en bout. Cependant, la nature de « boîte noire » de ces modèles pose des défis importants pour leur déploiement dans des scénarios réels à enjeux élevés. Les parties prenantes, incluant les ingénieurs et les organismes législatifs, manquent de compréhension des processus de décision de ces systèmes, ce qui entrave le débogage, la certification et l'établissement de la confiance.

Bien que l'IA explicable (XAI) ait progressé dans le traitement du langage naturel et la vision par ordinateur, les techniques existantes sont insuffisantes pour la robotique pour deux raisons principales :

1. Manque d'ancrage : De nombreuses méthodes d'XAI (par exemple, l'attribution de caractéristiques via des gradients ou la mise en évidence de pixels) identifient où dans une entrée un réseau se concentre, mais ne parviennent pas à expliquer quels attributs sémantiques de haut niveau (concepts) pilotent des actions spécifiques du robot. Mettre en évidence une voiture dans une image ne clarifie pas si le modèle a réagi à sa couleur, sa forme ou son mouvement.
2. Absence d'évaluation de la fiabilité : Les méthodes d'XAI actuelles fournissent généralement une explication unique sans quantifier l'incertitude ou la fiabilité de cette explication. Dans la robotique critique pour la sécurité, une explication potentiellement erronée ou ambiguë est aussi dangereuse qu'une absence d'explication.

Méthodologie : BaTCAVe

Les auteurs proposent BaTCAVe (Bayesian Testing with Concept Activation Vectors), une technique d'explicabilité post-hoc conçue pour attribuer les décisions des robots à des concepts de haut niveau interprétables par l'humain, tout en fournissant des scores d'incertitude associés.

Composants fondamentaux

1. Concepts d'action ($C_A$) : Contrairement aux tâches de classification statiques, la prise de décision robotique implique des séquences d'actions. La méthode définit un « concept d'action » comme un comportement cible spécifique (par exemple, « saisir un cube » ou « tourner à droite ») extrait de la trajectoire du robot à l'aide de règles logiques appliquées aux vecteurs d'action au fil du temps.
2. Concepts d'entrée ($C_I$) : Il s'agit d'attributs de haut niveau, interprétables par l'humain, des entrées du robot (données visuelles, linguistiques ou proprioceptives), tels que la « rougeur », l'« obscurité », la « distance » ou des verbes spécifiques dans une commande. Ils sont représentés par des collections d'entrées représentatives (par exemple, un ensemble d'images montrant des objets sombres).
3. Tests bayésiens avec CAVs :
   • La méthode décompose le réseau de neurones à une couche $l$ spécifique en un encodeur $f_{-l}(\cdot)$ et un décodeur $f_{+l}(\cdot)$.
   • Elle opère dans l'espace d'activation de $f_{-l}(\cdot)$.
   • Au lieu de trouver un unique hyperplan linéaire entre les échantillons d'activation positifs (concept présent) et négatifs (concept absent), BaTCAVe utilise l'inférence variationnelle pour apprendre une distribution probabiliste sur les hyperplans de séparation (Vecteurs d'Activation de Concept ou CAV).
   • Cette approche traite le vecteur de direction $v$ comme une variable aléatoire, permettant au système d'échantillonner plusieurs frontières de séparation valides.

Score et incertitude

La méthode calcule un score $s$ représentant la sensibilité de la décision du robot à un concept d'entrée spécifique.

• Score moyen ($\bar{s}$) : La moyenne empirique des scores indique la force de l'explication. Un score moyen élevé suggère que le concept est un moteur significatif du comportement.
• Incertitude (Écart type) : L'écart type empirique des scores reflète l'incertitude épistémique.
  • Faible incertitude + Haute précision : L'explication est précise et fiable (Cas 3).
  • Haute incertitude + Haute précision : Plusieurs explications valides existent, ou les données de test manquent de diversité (Cas 2).
  • Faible précision : Le concept ne parvient pas à délimiter le comportement, rendant l'explication non fiable (Cas 1).

Principales contributions

1. Prise de décision explicable post-hoc : Une technique spécifiquement adaptée aux robots équipés de DNN qui explique pourquoi des actions spécifiques ont été prises sur la base de concepts de haut niveau plutôt que de pixels bruts.
2. Cadre de fiabilité : Un cadre novateur utilisant l'inférence variationnelle pour évaluer la fiabilité des explications, fournissant des intervalles d'incertitude qui aident les parties prenantes à distinguer les informations robustes des informations ambiguës.
3. Découverte de concepts à travers les modalités : La capacité de découvrir et de tester des concepts explicables à travers diverses tâches robotiques (manipulation, navigation, conduite) et diverses modalités d'entrée (images, proprioception, langage).

Résultats expérimentaux

Les auteurs ont validé BaTCAVe à travers quatre configurations expérimentales distinctes :

1. Navigation de robot mobile basée sur la vision (JetBot) :

   • Constat : Les ingénieurs avaient initialement supposé que le robot avait appris à éviter les obstacles « orange ». BaTCAVe a révélé que le modèle dépendait en réalité de l'« obscurité » (luminosité dans l'échelle HSV), car la boîte orange n'était qu'une nuance de sombre.
   • Utilité : La méthode a réussi à identifier que l'ajustement (fine-tuning) du réseau complet versus la dernière couche changeait la dépendance envers l'« orange » versus l'« obscurité », démontrant son utilité pour le débogage de l'augmentation de données et des stratégies d'entraînement.

2. Manipulation proprioceptive (Bras Panda) :

   • Tâches : Soulever un cube, Prendre et Placer, Assemblage d'un écrou.
   • Constat : Les scores BaTCAVe avec une faible incertitude ont confirmé que les informations précises sur l'objet provenant des capteurs proprioceptifs étaient critiques pour le succès de la tâche. Par exemple, dans la tâche « Soulever », la position verticale de l'effecteur terminal ($\Delta Z$) et l'état de la pince étaient les concepts dominants.

3. Manipulation Vision-Langage :

   • Configuration : Un modèle traitant des images RGB et des instructions linguistiques (ex: « Ramasse le cube »).
   • Constat : La méthode a isolé que des verbes spécifiques dans la commande linguistique étaient les principaux moteurs des actions de levage, tandis que les concepts d'image présentaient une incertitude plus élevée, soulignant la dépendance du modèle aux indices linguistiques pour des phases spécifiques de la tâche.

4. Conduite autonome (Simulateur Donkey) :

   • Constat : L'agent s'appuyait fortement sur les « nuances noires » (représentant la route) pour les décisions de direction.
   • Utilité de diagnostic : En appliant BaTCAVe à différentes couches, les auteurs ont déterminé que les erreurs de récupération de direction provenaient de la tête de politique (MLP), et non de l'encodeur d'image (CNN), guidant ainsi des efforts de réentraînement ciblés.

Signification et affirmations

L'article positionne BaTCAVe non pas comme un remplacement des modèles intrinsèquement interprétables, mais comme un outil de diagnostic nécessaire pour les DNN « boîtes noires » qui dominent actuellement la robotique.

• Confiance et Sécurité : En quantifiant l'incertitude, BaTCAVe comble la lacune critique de l'XAI actuelle où les explications sont présentées comme des faits absolus. Cela permet aux ingénieurs et aux régulateurs d'évaluer si une explication est assez fiable pour des décisions à enjeux élevés (ex: certifier un véhicule autonome).
• Amélioration itérative : Les auteurs affirment que l'outil aide les roboticiens à améliorer de manière itérative la robustesse des modèles en identifiant les vulnérabilités dans l'augmentation des données, l'ajustement fin et les changements de domaine.
• Débogage centré sur l'humain : Contrairement aux cartes de saillance au niveau du pixel, BaTCAVe fournit des explications sémantiques (ex: « importance du verbe » ou « obscurité ») qui s'alignent sur l'intuition humaine, rendant le processus de débogage plus actionnable pour les ingénieurs.

Le travail conclut que bien que les défaillances des modèles robustes soient inévitables, des outils comme BaTCAVe sont essentiels pour comprendre le « pourquoi » derrière les comportements des robots, facilitant ainsi un déploiement plus sûr et plus digne de confiance.