🤖 machine learning

Causal Explanations from the Geometric Properties of ReLU Neural Networks

Cet article propose une méthode pour générer des explications causales précises pour les réseaux de neurones ReLU en extrayant directement des règles de décision de leur structure géométrique sous forme de fonctions linéaires par morceaux définies par des polytopes convexes, évitant ainsi les problèmes de dégradation des performances et de fidélité associés à la distillation de modèles pour l'interprétabilité.

Auteurs originaux : Hector Woods, Philippa Ryan, Rob Alexander

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Hector Woods, Philippa Ryan, Rob Alexander

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un conducteur robot très intelligent. Ce conducteur est si habile pour naviguer qu'il ne fait jamais d'accident, mais c'est une « boîte noire ». Vous ne pouvez pas lui demander pourquoi il a tourné à gauche plutôt qu'à droite ; il le fait simplement. Cela rend les gens nerveux. Si quelque chose tourne mal, nous ne savons pas si le robot est cassé ou s'il fait simplement un choix étrange.

Ce papier propose un moyen d'ouvrir cette boîte noire, spécifiquement pour un type d'IA appelé Réseau de Neurones ReLU. Voici comment les auteurs l'expliquent, en utilisant des idées et des métaphores simples.

L'idée centrale : La carte « papier plié »

Les auteurs soutiennent que ces réseaux d'IA spécifiques ne sont pas réellement des boules mystérieuses de mathématiques. Au contraire, ils agissent comme un morceau de papier plié ou une carte froissée.

Le pli : L'IA prend un monde immense et complexe d'entrées (comme la vitesse, la distance, la météo) et le plie en de nombreuses petites formes géométriques plates appelées polytopes. Imaginez-les comme de minuscules pièces plates.
La règle : À l'intérieur de chacune de ces minuscules pièces, l'IA est en fait très simple. Elle fait simplement des mathématiques de base (une ligne droite). Elle ne « réfléchit » pas profondément ; elle suit simplement une règle simple pour cette pièce spécifique.
Le problème : Comme le papier est plié si souvent, il y a des millions de ces pièces. Pour comprendre l'IA, nous essayons généralement de regarder toute la boule froissée, ce qui est impossible.

La solution : Marcher dans le quartier

Au lieu d'essayer de cartographier toute la boule froissée (ce qui prendrait une éternité), les auteurs suggèrent une méthode plus intelligente : la marche des polytopes.

Imaginez que vous êtes debout dans l'une de ces minuscules pièces (la pièce où se trouve actuellement l'IA). Vous voulez savoir :

« Pourquoi avez-vous tourné à gauche ? » (Pourquoi a-t-elle choisi cette action ?)
« Pourquoi n'avez-vous pas tourné à droite ? » (Pourquoi n'a-t-elle pas choisi l'autre action ?)

1. L'explication « Pourquoi » (La pièce actuelle)

Pour répondre à « Pourquoi avez-vous tourné à gauche ? », l'algorithme examine la pièce spécifique où vous vous trouvez.

Il vérifie les murs de cette pièce.
Il retire tous les murs qui ne comptent pas vraiment (contraintes redondantes).
Le résultat : Il vous donne une courte liste de règles, comme « Si la vitesse est inférieure à 30 et la distance supérieure à 10, tournez à gauche ». C'est une explication minimalement complète. C'est la liste la plus courte et la plus précise des raisons pour lesquelles l'IA a fait ce choix spécifique.

2. L'explication « Pourquoi pas » (Les pièces voisines)

Pour répondre à « Pourquoi n'avez-vous pas tourné à droite ? », l'algorithme joue à un jeu de « saut de quartier ».

Il commence dans votre pièce actuelle.
Il vérifie les pièces juste à côté de vous (en inversant un « interrupteur » ou un bit dans les mathématiques).
Il demande : « Y a-t-il une pièce voisine où tourner à droite serait le meilleur choix ? »
Si oui : Il vous dit exactement quel mur vous devriez traverser pour atteindre cette pièce. « Vous n'avez pas tourné à droite parce que vous êtes du côté « lent » du mur de vitesse. Si vous étiez plus rapide, vous tourneriez à droite. »
Si non : Il continue de sauter vers les pièces les plus proches jusqu'à ce qu'il en trouve une où tourner à droite a du sens, ou il prouve que tourner à droite est impossible, peu importe ce qui se passe.

Pourquoi c'est mieux que les autres méthodes

Habituellement, pour expliquer une IA, les scientifiques essaient de construire une copie simplifiée (un modèle « distillé ») de l'IA originale.

L'analogie : Imaginez essayer d'expliquer une peinture complexe en faisant un croquis de bonhomme allumette. Le croquis est facile à comprendre, mais ce n'est pas la vraie peinture. Il pourrait manquer des détails importants, et vous ne pouvez pas garantir que le croquis se comporte exactement comme la peinture.
L'approche de ce papier : Au lieu de faire un croquis, ils regardent directement la géométrie de la vraie peinture. Ils ne simplifient pas l'IA ; ils trouvent simplement la « pièce » spécifique où se trouve l'IA et expliquent les règles de cette pièce. Cela signifie que l'explication est 100 % précise par rapport au comportement réel de l'IA.

Le hic (Limites)

Les auteurs admettent qu'il y a deux principaux obstacles :

Trop de dimensions : Si l'IA regarde un jeu simple avec 3 nombres, l'explication est facile. Mais si l'IA regarde une photo avec des milliers de pixels (dimensions), la liste de règles devient énorme et difficile à lire pour les humains.
La recherche « Pourquoi pas » : Trouver la réponse « Pourquoi pas » est facile si la réponse est juste à côté. Mais si l'IA devrait faire un changement énorme pour faire autre chose, l'ordinateur doit parcourir des millions de pièces, ce qui prend beaucoup de temps.

Résumé

Le papier montre que nous pouvons expliquer les décisions de l'IA en traitant le cerveau de l'IA comme une carte de pièces géométriques. En marchant à travers ces pièces et en vérifiant les murs, nous pouvons donner des réponses exactes et véridiques aux questions « Pourquoi ? » et « Pourquoi pas ? » sans avoir besoin de construire une copie simplifiée, potentiellement inexacte, de l'IA. L'objectif est de rendre les systèmes autonomes (comme les voitures ou les navires autonomes) dignes de confiance en nous permettant de comprendre leur logique.

Résumé Technique : Explications Causales à partir des Propriétés Géométriques des Réseaux de Neurones ReLU

Énoncé du Problème

Les réseaux de neurones, en particulier ceux utilisés pour l'apprentissage de politiques de contrôle dans les systèmes autonomes via l'Apprentissage par Renforcement (RL), fonctionnent comme des « boîtes noires ». Ce manque d'interprétabilité entrave la garantie de sécurité et la confiance des utilisateurs. Bien que des domaines tels que l'Intelligence Artificielle Explicable (XAI) et l'Apprentissage par Renforcement Explicable (XRL) visent à fournir des explications de type « pourquoi » et « pourquoi pas », les méthodes actuelles de l'état de l'art reposent souvent sur des modèles distillés (surrogates simplifiés). Bien que ces politiques distillées soient interprétables, elles souffrent d'une dégradation significative des performances par rapport au modèle original et ne garantissent pas une réflexion exacte des processus de prise de décision du modèle original. Par conséquent, elles ne peuvent pas être utilisées pour garantir formellement la sécurité du système original. Il existe un besoin de méthodes générant des explications causales exactes directement à partir du réseau de neurones original, sans approximation ni perte de performance.

Méthodologie

Les auteurs proposent une méthode pour générer des Explications Minimales Complètes (MCE) pour les réseaux de neurones composés de couches linéaires et de fonctions d'activation Unité Linéaire Rectifiée (ReLU). L'approche exploite la propriété géométrique selon laquelle un réseau ReLU correspond à une fonction linéaire par morceaux divisée en régions définies par des polytopes convexes de dimension $n$ .

La méthodologie centrale implique deux algorithmes principaux :

Représentation Géométrique :
- Le réseau est considéré comme divisant l'espace d'entrée en régions distinctes (polytopes). Au sein de chaque polytope, le comportement du réseau pour chaque neurone de sortie est une transformation linéaire unique.
- L'activation de chaque neurone (zéro ou non nul) est représentée par un vecteur de bits. Une combinaison spécifique d'activations définit un polytope unique $P$ dans l'espace d'entrée, décrit par un système d'inégalités linéaires (Représentation H).
Explications « Pourquoi » (Factuelles) :
- Entrée : Une entrée $x$ et le réseau $N$ .
- Processus : L'algorithme effectue une propagation avant pour collecter la signature d'activation (vecteur de bits) pour $x$ . Il construit le polytope $P$ correspondant à cette signature.
- Raffinement : Il définit un sous-polytope $P_{Output} \subset P$ où la classe de sortie réelle $c$ est maximale. Pour atteindre la minimalité, l'algorithme résout une série de programmes linéaires afin d'identifier et de supprimer les contraintes redondantes du système d'inégalités définissant $P_{Output}$ .
- Sortie : Un ensemble simplifié d'inégalités linéaires ( $H'$ ) qui définissent exactement la région où le réseau produit la décision observée.
Explications « Pourquoi Pas » (Contrefactuelles) :
- Entrée : Une entrée $x$ , la sortie réelle $c$ , et une sortie contrefactuelle $c'$ .
- Processus : L'algorithme vérifie d'abord si la classe contrefactuelle $c'$ est réalisable au sein du polytope courant $P$ . Si elle est réalisable, l'explication est l'inégalité linéaire distinguant les classes au sein de $P$ .
- Recherche : Si $c'$ n'est pas réalisable dans $P$ , l'algorithme emploie la Marche de Polytopes Adjacents. Il inverse itérativement des bits dans la signature d'activation (augmentant la distance de Hamming) pour explorer les polytopes adjacents jusqu'à ce qu'il trouve une région $P'$ où $c'$ est réalisable.
- Sortie : L'explication consiste en les contraintes spécifiques (les bits/inégalités différents) qui distinguent le polytope factuel $P$ du polytope contrefactuel $P'$ .
Représentations :
- Représentation H : Un système d'inégalités linéaires. Elle est exacte et s'échelonne linéairement avec le nombre de neurones, mais peut être complexe pour des entrées de haute dimension.
- Représentation V : Un ensemble de points extrêmes (sommets) définissant les bornes du polytope. Cela offre une plus grande brièveté (taille constante par rapport à la profondeur du réseau) mais introduit une complexité exponentielle par rapport à la dimensionnalité de l'entrée.

Contributions Clés

Exactitude : La méthode génère des explications qui sont des reflets 100 % exacts du comportement du réseau ReLU original, évitant les erreurs d'approximation inhérentes à la distillation de modèles.
Extraction Directe : Les règles sont extraites directement des propriétés géométriques (décomposition polytopale) du réseau de neurones plutôt que d'un modèle de substitution.
Cadre Algorithmique : L'article introduit des algorithmes spécifiques pour générer à la fois des explications « Pourquoi » (factuelles) et « Pourquoi Pas » (contrefactuelles) en utilisant la marche de polytopes et la réduction de contraintes.
Représentation Duale : Le travail démontre comment fournir des explications à la fois en Représentation H (contraintes) et en Représentation V (bornes), en discutant des compromis entre interprétabilité et complexité computationnelle pour chacune.

Résultats et Analyse de Complexité

Complexité Computationnelle :
- Explications « Pourquoi » : La complexité temporelle est $O(n)$ , où $n$ est le nombre de neurones, car elle implique la résolution d'un nombre linéaire de programmes linéaires pour supprimer les contraintes redondantes.
- Explications « Pourquoi Pas » : Dans le meilleur des cas, la complexité est $O(n)$ . Dans le pire des cas, elle est $O(2^n)$ , équivalente à l'énumération de tous les polytopes possibles. Cependant, les auteurs notent que dans la pratique, l'algorithme s'arrête probablement rapidement car un seul polytope réalisable pour le contrefactuel suffit à arrêter la recherche.
Complexité Spatiale : Les deux algorithmes maintiennent une complexité spatiale constante, ne stockant que le polytope courant et les vecteurs de bits.
Évolutivité : Les auteurs reconnaissent que si la méthode est théoriquement solide, la Représentation H s'échelonne linéairement avec la taille du modèle (nombre de contraintes), et la Représentation V s'échelonne exponentiellement avec la dimensionnalité de l'entrée. Les entrées de haute dimension entraînent des contraintes impliquant toutes les variables d'entrée, ce qui peut réduire l'interprétabilité.

Importance et Revendications

L'article revendique que son importance principale réside dans le comblement du fossé entre la garantie de sécurité et l'interprétabilité. En fournissant des explications géométriques exactes, la méthode permet aux utilisateurs de vérifier qu'un système n'entrera pas dans un état dangereux et de comprendre les frontières de décision spécifiques ayant conduit à une action particulière.

Les auteurs présentent modestement leur travail comme une démonstration de faisabilité plutôt que comme une solution complète à tous les défis d'interprétabilité. Ils déclarent explicitement :

Les explications sont « minimales et complètes » concernant la géométrie du réseau, mais peuvent ne pas être « satisfaisantes » (agréables) pour les utilisateurs finaux en raison de la complexité et du nombre de contraintes, en particulier dans les espaces de haute dimension.
La méthode est actuellement limitée aux réseaux comportant des couches linéaires et des activations ReLU.
Des travaux futurs sont nécessaires pour valider le caractère « agréable » de ces explications auprès de vrais utilisateurs et de régulateurs (par exemple, dans le domaine maritime) et pour étendre l'approche à d'autres architectures (comme les CNN) et fonctions d'activation (comme Leaky ReLU).

Le travail se positionne comme une étape fondamentale vers une interprétabilité mécaniste qui ne compromet ni les performances ni les garanties de sécurité du système autonome original.