An Abstract Architecture for Explainable Autonomy in Hazardous Environments

Résumé Technique : Une Architecture Abstraite pour l'Autonomie Explicable dans les Environnements Dangereux

Énoncé du Problème
Les systèmes robotiques autonomes sont de plus en plus proposés pour les environnements dangereux (par exemple, les installations nucléaires, les conditions météorologiques extrêmes) afin d'atténuer les risques pour les travailleurs humains. Cependant, l'intégration de l'autonomie dans des secteurs critiques pour la sécurité comme l'industrie nucléaire exige que ces systèmes soient « démontrablement dignes de confiance » tant pour les opérateurs que pour les régulateurs. La littérature récente indique que l'explicabilité est étroitement liée à la transparence et à la fiabilité. Un fossé critique existe dans les pratiques d'ingénierie actuelles : l'explicabilité est souvent traitée comme une fonctionnalité ajoutée plutôt que comme un principe de conception fondamental. De plus, il manque des modèles architecturaux standardisés permettant aux systèmes autonomes de justifier leurs décisions auprès des humains, particulièrement concernant les actions passées et les inactions futures (c'est-à-dire pourquoi un système ne peut pas exécuter une tâche demandée).

Méthodologie
Les auteurs proposent une architecture abstraite conçue pour intégrer l'explicabilité directement dans la boucle de décision des systèmes autonomes. La méthodologie repose sur les composants et choix de conception suivants :

• Exécutif Central : L'architecture fait transiter toutes les informations du système par un « Exécutif Central ». Ce composant agit comme un concentrateur, garantissant que les données nécessaires à l'explication sont toujours disponibles en cas de besoin. Cela empêche les silos d'informations où la prise de décision se déroulerait séparément des composants responsables de la génération d'explications.
• Approche IA Hybride : L'Exécutif Central utilise un agent BDI (Belief-Desire-Intention / Croyance-Désir-Intention) pour la prise de décision exécutive de haut niveau. Il s'agit d'une approche d'IA symbolique où l'agent interprète les données environnementales en énoncés logiques (croyances), les aligne avec des objectifs à long terme (désirs) et sélectionne des plans (intentions) de manière rationnelle.
  • Restriction de l'IA Sub-symbolique : L'apprentissage automatique ou les réseaux de neurones sont restreints aux fonctions granulaires de bas niveau (par exemple, la classification par vision) plutôt qu'aux décisions exécutives de haut niveau. Cette séparation garantit que la logique de décision centrale reste inspectable et vérifiable.
• Explication à Double Mode : L'architecture prend en charge deux modes distincts d'explication :
  1. Action Passée : Justifier des décisions déjà prises (ex : « Pourquoi avez-vous pris la route A ? »). Le composant « Explainer » accède à la trace des événements, des croyances et des sélections de plans de l'agent BDI pour construire un récit causal.
  2. Inaction Future : Expliquer pourquoi un système ne peut pas ou ne veut pas effectuer une action demandée (ex : « Pourquoi ne pouvez-vous pas aller là ? »). Cela implique une capacité de « simulation » (dry-run) où l'Explainer déclenche le cycle de raisonnement de l'agent pour évaluer la faisabilité d'une instruction spécifique par rapport aux règles de sécurité et aux croyances actuelles, fournissant ainsi une justification préventive.
• Intégration de la Vérification : En utilisant un agent BDI, le système tire parti des Méthodes Formelles (MF). Plus précisément, l'architecture est compatible avec des outils tels que l'Agent Java PathFinder (AJPF) et le langage Gwendolen, permettant la vérification exhaustive des décisions exécutives par rapport à des propriétés de logique temporelle avant le déploiement.

Principales Contributions

1. Architecture Abstraite : Le document présente un modèle de conception agnostique vis-à-vis du framework (compatible avec les frameworks basés sur des nœuds comme ROS) qui sépare le raisonnement symbolique de haut niveau de la perception/action de bas niveau, en acheminant toutes les données via un Exécutif Central.
2. Définition de l'Autonomie Explicable : Les auteurs définissent l'« autonomie explicable » comme un système capable de justifier ses décisions aux humains en utilisant des techniques tant symboliques que sub-symboliques, en se concentrant spécifiquement sur les requêtes de type « Pourquoi » et « Pourquoi pas ».
3. Exemple Concret : Un scénario détaillé est fourni impliquant un rover à roues dans un entrepôt de déchets nucléaires. L'exemple démontre comment l'architecture gère une action passée (un changement d'itinéraire dû à un obstacle) et une inaction future (le refus d'une commande d'approcher une source de radiation de trop près) en exploitant l'état logique de l'agent BDI.
4. Conception Centrée sur les Parties Prenantes : Le document souligne que les exigences d'explicabilité doivent être recueillies auprès de toutes les parties prenantes (opérateurs, régulateurs) et adaptées au contexte (ex : opérations d'urgence vs opérations nominales), plutôt que de supposer un format d'explication universel.

Résultats et Revendications
Le document ne présente pas de résultats expérimentaux empiriques ou de système entièrement implémenté avec des études utilisateur. À la place, les « résultats » sont théoriques et architecturaux :

• L'architecture proposée démontre avec succès comment un agent BDI peut justifier logiquement tant les plans exécutés que les plans rejetés.
• L'intégration de l'Expliquer avec l'Agent BDI permet de générer des explications basées sur l'état logique interne de l'agent (croyances et intentions), plutôt que sur une analyse post-hoc de sorties de type « boîte noire ».
• La capacité de « simulation » (dry-run) pour l'inaction future est identifiée comme un mécanisme pour vérifier le respect des règles de sécurité avant l'exécution, offrant une méthode pour renforcer la confiance dans les propriétés de sécurité du système.

Signification
Ce document se positionne comme un « papier de vision » fournissant un modèle de conception pour la communauté de l'ingénierie. Sa signification réside dans :

• Changement de Paradigme : Soutenir que l'explicabilité doit être « conçue dans » le système dès le départ, au même titre que les propriétés de sécurité et de sûreté, plutôt que d'être ajoutée ultérieurement.
• Lien entre Confiance et Vérification : Relier le concept d'explicabilité à la vérification formelle. En utilisant des agents BDI symboliques, les décisions du système peuvent être mathématiquement vérifiées, et ces propriétés vérifiées peuvent être traduites en langage naturel pour les parties prenantes.
• Pertinence Réglementaire : Répondre aux besoins spécifiques des industries prudentes et critiques pour la sécurité (comme le secteur nucléaire) où les régulateurs et les travailleurs exigent des processus de prise de décision transparents et justifiables pour faire confiance aux systèmes autonomes.

Les auteurs concluent que les travaux futurs impliquent l'implémentation de cette architecture en utilisant le langage AADL (Architecture Analysis and Design Language) et le développement de méthodes pour recueillir les exigences d'explicabilité spécifiques auprès de diverses parties prenantes.