Interpretable reinforcement learning with decision-tree pruning

La boîte noire et le plan de construction

Imaginez que vous enseigniez à un robot à marcher, à jouer aux échecs ou à équilibrer un poteau sur un chariot. Vous n'écrivez pas le code pour chaque mouvement individuel ; au lieu de cela, vous laissez le robot apprendre par essais et erreurs, en le récompensant lorsqu'il réussit et en le punissant lorsqu'il échoue. C'est l'apprentissage par renforcement (Reinforcement Learning), une branche de l'intelligence artificielle où des agents logiciels apprennt à prendre des décisions en interagissant avec un environnement. Le résultat est souvent une « politique » — un ensemble d'instructions que le robot suit. Cependant, les politiques les plus puissantes sont généralement cachées à l'intérieur de réseaux de neurones massifs et complexes. Considérez ces réseaux comme une énorme pelote de laine emmêlée ou une « boîte noire ». Vous voyez le robot agir, mais si vous lui demandez pourquoi il a fait un mouvement spécifique, la réponse est enfouie dans des millions de connexions invisibles. C'est un problème car, dans le monde réel, nous avons besoin de faire confiance à ces robots. Si une voiture autonome ou une IA médicale commet une erreur, nous devons être capables de regarder à l'intérieur de la boîte noire, d'en comprendre la logique et de la corriger.

Pour résoudre cela, des scientifiques ont développé des moyens de traduire ces réseaux de neurones emmêlés en arbres de décision. Si un réseau de neurones est une pelote de laine désordonnée, un arbre de décision est un organigramme clair ou un livre dont vous êtes le héros. Il pose des questions simples comme « Le poteau penche-t-il vers la gauche ? » et suit un chemin vers une réponse telle que « Pousser à droite ». Ces arbres sont beaucoup plus faciles à lire pour les humains. Mais voici le piège : lorsque vous traduisez un cerveau complexe en un arbre, l'arbre devient souvent trop grand pour être lu. Il peut comporter des milliers de branches, ce qui le rend aussi déroutant que la boîte noire d'origine. La grande question devient : pouvons-nous élaguer ce géant arbre pour en faire quelque chose de petit et de simple sans briser la capacité du robot à accomplir sa tâche ?

Tailler la haie : Une nouvelle façon de simplifier l'IA

Dans cet article, Mark Ringer et Michel Tokic proposent une méthode ingénieuse pour répondre à cette question. Ils traitent la simplification de ces arbres de décision d'IA non pas comme un tour de magie ponctuel, mais comme un processus d'édition méticuleux et étape par étape. Imaginez que vous avez une immense haie envahissante qui bloque un passage. Vous voulez la tailler pour que les gens puissent circuler, mais vous ne voulez pas couper tellement que la haie tombe ou cesse de remplir sa fonction de soin du jardin.

Les auteurs partent d'un arbre de décision qui a déjà été traduit à partir d'un réseau de neurones. Cet arbre est leur « enseignant » dans le sens où il sait comment résoudre la tâche, mais il est trop complexe pour qu'un humain puisse le comprendre. Leur objectif est de l'élaguer — de couper les branches inutiles — tout en maintenant une performance élevée du robot. Ils ne se contentent pas de deviner quelles branches couper ; ils utilisent un processus strict et auditable. Ils proposent trois principales façons de tailler l'arbre :

1. La « Limite de hauteur » (Max-Depth Pruning) : C'est comme dire : « Aucune branche ne peut dépasser 1,50 mètre ». Toute partie de l'arbre qui tente de croître plus profondément est coupée et remplacée par une feuille simple. Cela force l'arbre à rester court et simple.
2. Le « Test d'homogénéité » (Max-Impurity Pruning) : Cette méthode examine les branches et demande : « Cette partie de l'arbre est-elle déjà si claire qu'elle n'a plus besoin de se diviser ? » Si une branche prend déjà la même décision pour presque tout ce qu'elle voit, elle est considérée comme « pure ». L'algorithme coupe les divisions supplémentaires et transforme toute cette section en une seule feuille.
3. Le « Compteur de visiteurs intelligent » (Decision-tree Adaptive Constrained Pruning ou DACP) : C'est la méthode la plus sophistiquée, et c'est la star du spectacle. C'est comme un guide de visite comptant combien de personnes visitent chaque salle d'un musée. Si une salle (ou un nœud de décision) est rarement visitée, le guide peut décider de la fermer. Cependant, le guide est intelligent : avant de fermer une salle, il vérifie s'il ne s'agit pas d'une entrée VIP secrète qui, si elle était fermée, ruinerait la visite. Ils utilisent un filet de sécurité pour s'assurer que si une coupe provoque une chute trop rapide du score du robot, ils s'arrêtent et reviennent en arrière.

Le processus fonctionne comme un jeu de « Chaud et Froid ». L'algorithme tente de couper un lot de branches. Ensuite, il fait passer le robot à travers la tâche pour voir comment il s'en sort. Si le robot performe toujours bien (restant au-dessus d'un seuil de sécurité spécifique), la coupe est conservée et l'arbre devient plus petit. Si la performance du robot chute trop, la coupe est rejetée et l'algorithme tente une coupe différente, plus petite. Chaque changement est enregistré, créant une « trace » qui montre exactement comment l'arbre a été simplifié et comment cela a affecté le comportement du robot.

Ce qu'ils ont trouvé : Des arbres plus petits, et parfois de meilleurs robots

Les auteurs ont testé cette méthode sur une variété de défis classiques de la robotique, allant de l'équilibre d'un poteau (CartPole) à la marche humaine (Walker2D). Ils ont découvert que leur processus d'élagage a réussi à transformer de vastes arbres illisibles en versions compactes et conviviales pour l'humain.

L'une des découvertes les plus intéressantes est que la simplification ne signifie pas toujours une perte de performance. Dans certains cas, comme pour la tâche du Lunar Lander, le réseau de neurones « enseignant » original faisait en réalité du surapprentissage (overfitting) — il avait mémorisé les données d'entraînement trop parfaitement et effectuait des mouvements bizarres et inutiles. Lorsque les auteurs ont élagué l'arbre de décision, ils ont accidentellement coupé ces branches de surapprentissage. Le résultat ? L'arbre simplifié était en fait meilleur que l'original complexe, atteignant des scores plus élevés avec moins de règles.

Cependant, il existe une limite. L'article montre un compromis clair : à mesure que vous coupez l'arbre de plus en plus petit, le robot finit par échouer. Il existe un « point de bascule » où l'arbre devient trop simple pour gérer la complexité de la tâche. Les auteurs ont constaté que leur méthode de « Compteur de visiteurs intelligent » (DACP) était généralement la meilleure pour trouver ce point d'équilibre, gardant l'arbre assez petit pour être lisible tout en maintenant une performance élevée.

Ils ont également noté que, bien que le nombre de feuilles (les points finaux de l'arbre) soit un bon moyen de mesurer la complexité, cela ne raconte peut-être pas toute l'histoire de la facilité de compréhension pour un humain. Un arbre avec moins de feuilles peut rester déroutant si les questions à l'intérieur sont trop difficiles à saisir.

L'essentiel

Cet article ne prétend pas avoir résolu définitivement le mystère de la confiance envers l'IA, mais il offre un nouvel outil puissant. Il suggère que nous n'avons pas à choisir entre un robot intelligent et un robot transparent. En utilisant un processus d'élagage méticuleux, étape par étape, qui vérifie constamment la performance du robot, nous pouvons transformer un arbre de décision géant et confus en un petit ensemble de règles claires. Cela rend les décisions de l'IA auditables — ce qui signifie que nous pouvons tracer exactement pourquoi elle a agi ainsi — et peut même améliorer ses performances en éliminant le « bruit » du surapprentissage. Bien que les auteurs admettent que leur mesure de la « compréhensibilité » est basée sur la taille de l'arbre et non encore sur des tests humains réels, leur méthode offre une voie claire et transparente de l'écriture de code complexe vers une logique simple et digne de confiance.