Explainability Framework for Policy-Aware Autonomous Agents

Imaginez un monde où votre grille-pain, votre voiture et le système de planification de votre hôpital sont tous pilotés par de minuscules cerveaux invisibles appelés « agents autonomes ». Il ne s'agit pas de simples robots suivant une commande unique, mais de systèmes intelligents qui analysent un tas de données désordonnées et décident de la marche à suivre pour atteindre un objectif. Mais voici le hic : parfois, ces cerveaux intelligents font des choix qui nous semblent bizarres, injustes ou tout simplement déroutants. Si une voiture autonome dévie brusquement ou si un planificateur hospitalier affecte une infirmière au service de nuit alors qu'elle avait demandé le jour, nous voulons savoir pourquoi. Nous ne voulons pas seulement une liste de code ; nous voulons une histoire. C'est le cœur de l'« IA explicable » — un domaine qui tente d'apprendre aux machines à nous répondre en français courant, en expliquant leur logique afin que nous puissions leur faire confiance.

Le document que vous allez explorer se penche sur un type spécifique d'agent intelligent : un agent qui joue selon un livre de règles strict. Imaginez ces agents comme des étudiants qui doivent résoudre un problème de mathématiques tout en respectant une liste de règles scolaires, comme « ne pas courir dans les couloirs » ou « toujours lever la main ». Si l'étudiant enfreint une règle, il reçoit une « pénalité » (comme une retenue). Les chercheurs derrière cette étude, Heather Merhout et Daniela Inclezan, voulaient comprendre comment expliquer à un humain pourquoi l'étudiant a fait un choix spécifique. Ils ne voulaient pas seulement dire : « Parce que les règles l'exigeaient ». Ils voulaient utiliser une astuce ingénieuse issue des sciences sociales : demander : « Qu'aurait-il passé si vous aviez fait le contraire ? » En imaginant un monde de « et si » où l'agent enfreindrait la règle, ils pouvaient nous montrer le désastre qui aurait eu lieu, prouvant ainsi que le choix initial était en fait le meilleur.

La magie des machines du « Et si »

Alors, comment cela fonctionne-t-il réellement ? Les chercheurs ont construit un terrain de jeu numérique appelé « système de planification hospitalière ». Dans ce monde, un agent d'IA agit comme un infirmier chef très occupé. Sa tâche est d'assigner des quarts de travail à une équipe d'infirmiers, en veillant à ce que chaque quart soit couvert tout en essayant de respecter les souhaits personnels des infirmiers, comme vouloir ses week-ends de libre ou préférer les services de jour.

Pour rendre l'agent intelligent, les chercheurs lui ont donné un livre de règles utilisant un langage spécial appelé AOPL (Authorization and Obligation Policy Language). Il ne s'agit pas seulement d'une liste de « choses à faire » et de « choses à ne pas faire » ; c'est un système où chaque règle possède un prix. Si l'agent enfreint une règle, il reçoit un score de pénalité.

• Les règles majeures : Certaines règles sont extrêmement strictes. Par exemple, « Vous ne pouvez pas laisser un service sous-effectif ». Si l'agent tente de faire cela, il reçoit une lourde pénalité (5 points plus des points supplémentaires pour chaque infirmier manquant).
• Les préférences : D'autres règles sont plus souples, comme « L'infirmière Zelda préfère avoir ses samedis de libres ». Si l'agent les ignore, il reçoit une pénalité plus faible (3 points).

Le but de l'agent est de créer un planning avec le score de pénalité total le plus bas. C'est comme jouer à un jeu où l'on veut éviter de se faire frapper par le plus grand nombre de ballons d'eau possible.

Le travail de détective : Les explications contrastives

C'est ici que la magie opère. Les chercheurs ont réalisé que montrer simplement le planning final ne suffit pas. Les humains sont curieux. Nous voulons savoir : « Pourquoi avez-vous choisi ce quart pour Zelda et pas celui-là ? »

Pour répondre à cela, l'équipe a construit un programme qui agit comme un détective voyageant dans le temps. Lorsqu'un humain demande : « Pourquoi Zelda était-elle en congé le 3 février ? », le programme ne se contente pas de regarder la réponse. Il crée un monde contrefactuel — un univers parallèle où la réponse est différente.

Imaginez que le programme dise : « D'accord, supposons que Zelda n'était pas en congé le 3 février. Forçons-la à travailler ce jour-là. »
Le programme lance alors à nouveau le jeu de planification dans ce nouveau monde fictif. Soudain, l'IA se heurte à un mur. Parce que Zelda travaille ce jour-là, le planning est bouleversé. Peut-être que l'infirmière Yanni doit maintenant travailler un quart qu'elle déteste, ou qu'un service se retrouve sans personne du tout. Le programme voit que dans ce monde fictif, le score de pénalité grimpe en flèche.

Le programme traduit ensuite ce désastre en une phrase compréhensible pour l'humain :
« Nous avons donné le congé à Zelda le 3 février parce que si nous ne l'avions pas fait, nous aurions été contraints de briser une règle concernant le quart préféré de Yanni, ce qui nous aurait coûté 3 points de pénalité. »

C'est ce qu'on appelle une explication contrastive. Au lieu de lister toutes les raisons pour lesquelles l'agent existe, elle se concentre sur la différence entre ce qui s'est passé et ce qui aurait pu se passer si l'agent avait fait un autre choix. C'est comme un parent expliquant : « Tu ne peux pas manger de glace pour le dîner parce que si tu le fais, tu ne mangeras pas tes légumes, et tu auras faim plus tard. » L'explication fonctionne en mettant en évidence la conséquence négative de l'alternative.

Le test humain : Est-ce que cela fait sens ?

Les chercheurs n'ont pas seulement construit cela en espérant que cela fonctionne ; ils l'ont testé avec de vraies personnes. Ils ont présenté deux scénarios différents à 12 volontaires : l'un concernant une infirmière nommée Zelda qui a obtenu ses jours de repos préférés, et un autre concernant un infirmier nommé Howard qui n'a pas obtenu son quart préféré.

Les résultats ont été plutôt encourageants.

• Compréhension : Lorsqu'on leur a demandé : « Est-ce que cette explication fait sens ? », 75 % des gens ont répondu « Oui » immédiatement pour les deux histoires. Un autre 16,7 % à 25 % ont dit « Oui, mais j'ai dû la relire ». Une infime fraction (8,3 % ou 0 %) a déclaré que cela n'avait aucun sens.
• Profondeur : Lorsqu'on leur a demandé d'évaluer leur compréhension sur une échelle de 1 à 5, la plupart des gens ont donné un 4 ou un 5. Cela suggère que les histoires du « et si » étaient claires et utiles.
• Trop d'informations ? Les chercheurs craignaient de donner trop d'informations (en violant une règle de conversation appelée « Quantité »). Cependant, la plupart des gens ont estimé que la quantité d'informations était juste. Le seul accroc est survenu dans la deuxième histoire, où certains utilisateurs ont souhaité encore plus de détails sur les raisons pour lesquelles d'autres options n'avaient pas été choisies. Le programme avait ajouté une petite note disant : « Il peut y avoir d'autres plannings qui enfreignent également des règles », mais certains utilisateurs ont trouvé cette note déroutante plutôt que clarificatrice.

L'essentiel à retenir

Ce document ne prétend pas avoir résolu le mystère de l'IA pour toujours. Au lieu de cela, il propose un cadre de travail solide et opérationnel pour un type spécifique de problème : expliquer pourquoi une IA respectant des règles a fait un choix. En utilisant le système de « pénalité » intégré dans le cerveau de l'IA, les chercheurs peuvent générer automatiquement des récits qui disent : « J'ai fait X parce que faire Y aurait causé un problème plus grave. »

L'étude suggère que cette méthode de raisonnement contrastif — expliquer les choix en montrant les ennuis qu'ils ont évités — fonctionne bien pour les humains. Elle transforme une logique froide et rigide en un récit qui ressemble à une conversation. Bien que la version actuelle soit un peu rigide (elle répond à une seule question à la fois et se retrouve parfois bloquée dans des calculs complexes), elle prouve que nous pouvons construire des agents qui ne se contentent pas de faire le travail, mais qui peuvent aussi nous dire pourquoi ils l'ont fait, d'une manière qui nous permet de leur faire un peu plus confiance.