🤖 AI

Guaranteed Optimal Compositional Explanations for Neurons

Cet article présente le premier cadre théorique et algorithme permettant de calculer des explications compositionnelles optimales garanties pour les neurones sur l'ensemble de l'espace d'états, révélant que 10 à 40 % des résultats antérieurs de recherche par faisceau sont sous-optimaux tout en offrant une alternative plus flexible et efficace.

Auteurs originaux : Biagio La Rosa, Leilani H. Gilpin

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Biagio La Rosa, Leilani H. Gilpin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre ce qu'une ampoule spécifique à l'intérieur d'une machine géante et complexe (un réseau de neurones) « voit » réellement. Cherche-t-elle un chat ? Une voiture ? Ou peut-être un chat blanc assis à côté d'une voiture ?

Pendant longtemps, les chercheurs ont tenté de répondre à cette question en examinant le « champ récepteur » interne de la machine (là où l'ampoule brille) et en le comparant à une carte de concepts (comme « chat », « blanc », « voiture ») dessinée sur la même image. L'objectif est de trouver la phrase logique parfaite qui décrit cette correspondance, comme « Blanc ET Chat » ou « Voiture OU Chien ».

Le problème est que le nombre de phrases possibles est astronomiquement énorme. C'est comme essayer de trouver la seule et unique meilleure combinaison d'ingrédients pour une recette en goûtant chaque mélange possible dans l'univers. Cela prend trop de temps. Ainsi, les méthodes précédentes utilisaient une astuce appelée Recherche par faisceau (Beam Search).

L'Ancienne Méthode : L'astuce de la « Recherche par faisceau »

Imaginez la Recherche par faisceau comme un randonneur essayant de trouver le sommet le plus élevé d'une immense chaîne de montagnes. Au lieu de vérifier chaque sentier, le randonneur ne regarde que les 5 sentiers les plus prometteurs à tout moment donné. Si un sentier semble mauvais, il le coupe immédiatement.

Le Problème : C'est rapide, mais c'est risqué. Le randonneur pourrait manquer un sentier caché menant à un sommet beaucoup plus haut parce qu'il semblait légèrement moins prometteur au départ. Dans les termes de l'article, l'« explication » trouvée peut être bonne, mais elle n'est pas garantie d'être la meilleure explication possible. L'article a révélé que dans 10 % à 40 % des cas, cette astuce manquait le véritable « sommet le plus élevé ».

La Nouvelle Méthode : La carte « Optimum Garanti »

Cet article introduit un nouveau cadre qui garantit la découverte de la meilleure explication absolue sans tomber dans le piège du « trop lent ». Ils y sont parvenus en inventant une nouvelle façon de mesurer l'« adéquation » entre le neurone et les concepts, qu'ils appellent dIoU.

Voici comment ils ont rendu l'impossible possible, en utilisant des analogies simples :

1. Décomposer le Puzzle (Décomposition)

Au lieu d'essayer de calculer l'adéquation d'une phrase complexe d'un seul coup, les auteurs ont décomposé les mathématiques en morceaux plus petits et gérables.

L'Analogie : Imaginez que vous essayez de mesurer à quel point deux feuilles transparentes qui se chevauchent s'adaptent l'une à l'autre. Au lieu de mesurer tout le désordre, ils ont séparé les feuilles en :
- Parties Uniques : Zones où une seule feuille a de l'encre (facile à mesurer).
- Parties Communes : Zones où les deux feuilles ont de l'encre (plus difficile à mesurer).
- Extras : Zones où l'encre existe mais ne correspond pas à l'autre feuille.
  En suivant ces « taches d'encre » spécifiques séparément, ils ont pu prédire le résultat final avec beaucoup plus de précision.

2. La Boule de Cristal (L'Heuristique)

Pour éviter de vérifier chaque sentier, ils ont construit une « boule de cristal » (une heuristique).

L'Analogie : Avant que le randonneur ne s'engage dans un sentier long et difficile, la boule de cristal lui dit : « Même si vous prenez l'itinéraire absolument le meilleur possible à partir d'ici, vous n'atteindrez jamais un sommet plus haut que X. »
Si le meilleur sommet actuel qu'ils ont trouvé est déjà plus haut que X, ils savent qu'ils peuvent ignorer ce sentier en toute sécurité pour toujours. Cela leur permet de sauter des millions de sentiers sans issue sans avoir à les parcourir réellement.

3. La Recherche Intelligente (L'Algorithme)

Ils ont combiné ces outils dans un nouvel algorithme de recherche.

L'Analogie : C'est comme un détective qui ne suit pas seulement les indices les plus évidents (comme l'ancienne Recherche par faisceau). Au lieu de cela, le détective utilise les mathématiques des « taches d'encre » et la « boule de cristal » pour écarter instantanément des quartiers entiers de suspects. Ils n'enquêtent que sur les quelques sentiers qui pourraient éventuellement battre leur meilleure hypothèse actuelle.
Le Résultat : Ils ont trouvé le véritable « sommet le plus élevé » (l'explication optimale) en un temps raisonnable, quelque chose que les chercheurs précédents pensaient impossible.

Qu'ont-ils Découvert ?

Lorsqu'ils ont comparé leur méthode « Optimum Garanti » à l'ancienne astuce de la « Recherche par faisceau », ils ont découvert des choses surprenantes :

L'Astuce a Manqué la Cible : Dans de nombreux cas (10-40 %), l'ancienne méthode donnait une réponse « assez bonne », mais pas la meilleure réponse.
Le Piège de l'« Non Vérifié » : Parfois, l'ancienne méthode créait une explication confuse comme « Pits à balles OU Fleurs, mais PAS dans une salle à manger ». La nouvelle méthode a réalisé que les « Pits à balles » et les « Salles à manger » n'apparaissent jamais ensemble dans les données, rendant cette partie de la phrase inutile. La nouvelle méthode a corrigé cela pour obtenir une description plus claire et plus précise.
Vitesse contre Précision : Bien que leur nouvelle méthode « Optimale » soit plus lente que l'astuce, elle est encore assez rapide pour être pratique. Ils ont également montré que leurs mathématiques de « boule de cristal » pouvaient être utilisées pour améliorer l'ancienne astuce, la rendant plus rapide et plus flexible qu'auparavant.

La Conclusion

Cet article n'a pas seulement construit une voiture plus rapide ; ils ont construit un meilleur GPS. Ils ont prouvé que nous pouvons trouver l'explication parfaite de ce qu'un neurone voit sans avoir à vérifier chaque possibilité unique dans l'univers. Ils ont montré que les raccourcis que nous utilisons depuis des années nous laissent souvent avec une image floue, et ils ont fourni les outils pour obtenir l'image la plus claire et la plus vraie possible.

Résumé Technique : Explications Compositionnelles Optimales Garantis pour les Neurones

Énoncé du Problème

Les explications compositionnelles visent à décrire l'alignement spatial entre les activations du champ récepteur d'un neurone et des concepts spécifiques (par exemple, des objets, des textures) en utilisant des règles logiques. L'objectif central est de trouver une formule logique $L$ composée de concepts issus d'un ensemble $L_1$ qui maximise l'Intersection sur Union (IoU) entre la carte d'activation du neurone et les annotations de concepts.

Cependant, l'espace de recherche pour toutes les combinaisons de concepts possibles est combinatorialement explosif. La littérature antérieure (par exemple, Mu et Andreas, 2020) a abordé ce problème en restreignant l'espace de recherche grâce à des hypothèses structurelles et en employant une recherche par faisceau (beam search). Bien que la recherche par faisceau soit efficace sur le plan computationnel, elle n'offre aucune garantie théorique d'optimalité. Par conséquent, il reste incertain de savoir si les explications générées sont véritablement les meilleurs alignements possibles ou simplement des optima locaux, et dans quelle mesure elles s'écartent de la vérité terrain. Cette incertitude limite la fiabilité des méthodes d'interprétabilité actuelles et entrave le développement d'algorithmes capables de réduire les erreurs d'approximation.

Méthodologie

Les auteurs proposent un cadre pour calculer des explications compositionnelles optimalement garanties sur l'ensemble de l'espace d'états défini par des hypothèses standard, sans sacrifier la faisabilité computationnelle. La méthodologie se compose de trois composants principaux :

1. Décomposition de la métrique IoU (dIoU)

L'article introduit une décomposition du score IoU en quantités fondamentales qui gouvernent la qualité de l'alignement. Cela repose sur trois hypothèses :

Hypothèse 1 : Les concepts dans une explication sont distincts.
Hypothèse 2 : Les concepts sont combinés de manière incrémentale.
Hypothèse 3 : Les opérateurs logiques sont préservateurs de 00 (c'est-à-dire qu'ils ne peuvent pas produire un 1 à partir de deux 0). Cela couvre les opérateurs binaires standards : OU ( $\lor$ ), ET ( $\land$ ), et ET NON ( $\land \neg$ ).

L'IoU est reformulé en utilisant quatre ensembles clés dérivés de la matrice d'activation du neurone $N$ et des matrices de concepts $M$ :

Uniques/Intersection ( $I_U, I_C$ ) : Emplacements où le neurone s'active sur des annotations de concepts uniques ou communs.
Uniques/Extras ( $E_U, E_C$ ) : Emplacements où le concept est annoté mais où le neurone ne s'active pas.

Cette décomposition ($dIoU$) permet une analyse fine de la manière dont les opérateurs logiques impactent le numérateur (intersection) et le dénominateur (union) du score IoU.

2. Estimation Heuristique

Pour guider la recherche, les auteurs conçoivent une heuristique qui estime l'IoU maximal et minimal possible pour n'importe quelle étiquette partielle $L$ et n'importe quel chemin potentiel prolongeant $L$ jusqu'à la longueur maximale $n$ .

Quantités d'Étiquette : L'heuristique estime l'impact de l'ajout d'un concept $k$ à une étiquette $L$ en utilisant une Matrice Disjointe pour vérifier les chevauchements. Elle dérive des bornes pour l'intersection et les extras en fonction de savoir si les opérandes sont disjoints ou se chevauchent.
Quantités de Chemin : Pour estimer le potentiel d'une extension ultérieure d'une étiquette, la méthode utilise des vecteurs Top et Bott. Ces vecteurs stockent les sommes cumulées des $t$ valeurs les plus élevées et les plus faibles pour chaque quantité à travers l'ensemble de données, permettant à l'algorithme d'estimer les améliorations dans les meilleurs et les pires cas réalisables en ajoutant les concepts restants.
Calcul Agrégé vs Échantillonné : Pour équilibrer précision et efficacité, l'heuristique utilise des calculs agrégés (somme sur l'ensemble de données) pour l'élagage initial et la gestion de la frontière, tout en réservant les calculs basés sur des échantillons (par image) pour affiner les estimations des nœuds prometteurs.

3. Algorithme de Recherche Optimal

Les auteurs proposent un algorithme de recherche en premier meilleur (Algorithme 1) qui garantit l'optimalité :

Initialisation : Calcul des quantités exactes pour tous les concepts atomiques et estimation des chemins à l'aide de l'heuristique.
Gestion de la Frontière : Maintien d'une file de priorité de nœuds triés par leur IoU maximal estimé ( $dIoU_{max}$ ).
Élagage : Élagage dynamique de la frontière en supprimant les nœuds dont le $dIoU_{max}$ tombe en dessous du maximum global des estimations minimales ($MinIoU$) trouvées jusqu'à présent.
Expansion et Affinement :
- Dépiler le nœud ayant l'estimation la plus élevée.
- Si l'estimation est agrégée, l'affiner en une estimation basée sur des échantillons.
- Appliquer des règles d'équivalence logique pour réduire la redondance.
- Si le nœud est une étiquette finale, calculer son IoU exact. S'il est le meilleur nouveau, mettre à jour le meilleur global et rétropropager les quantités exactes pour mettre à jour les estimations des autres nœuds partageant des sous-étiquettes.
- Si le nœud n'est pas final, l'étendre en concaténant tous les concepts et opérateurs possibles, réestimer les bornes, et les insérer dans la frontière.

L'algorithme est prouvé être admissible (il ne sous-estime jamais l'IoU maximal possible) et complet, garantissant qu'il trouve la solution optimale globale.

Contributions Clés

Garanties Formelles : Il s'agit du premier cadre fournissant des garanties théoriques d'optimalité pour les explications compositionnelles sur l'ensemble de l'espace d'états balayé par les hypothèses standard.
Décomposition (dIoU) : Une décomposition novatrice de la métrique IoU qui identifie les quantités fondamentales gouvernant l'alignement, permettant une caractérisation précise des impacts des opérateurs logiques.
Algorithme Optimal : Un algorithme de recherche qui calcule des explications optimales dans un temps comparable à une recherche par faisceau exhaustive, rendant l'exploration de l'ensemble de l'espace d'états faisable.
Recherche par Faisceau Guidée par Heuristique : Une variante de la recherche par faisceau guidée par la décomposition et l'heuristique proposées, qui égale ou améliore les performances de temps d'exécution antérieures tout en offrant une plus grande flexibilité dans les hyperparamètres.

Résultats

Les auteurs ont évalué leur méthode sur les modèles ResNet18, AlexNet et DenseNet161 entraînés sur Places365, en utilisant trois ensembles de données de complexité variable (Cityscapes, Ade20K, Broden).

Faisabilité : L'algorithme optimal trouve avec succès la solution optimale dans des temps d'exécution faisables à tous les niveaux de complexité. Bien qu'il explore un espace d'états plus large que la recherche par faisceau, son temps d'exécution reste comparable à celui de la recherche par faisceau standard (par exemple, ~5768 secondes/unité pour une complexité élevée contre ~5929 pour la recherche par faisceau standard), alors qu'une recherche en largeur naïve nécessiterait des centaines de millions d'heures.
Sous-optimalité de la Recherche par Faisceau : L'analyse révèle que 10 à 40 % des explications obtenues précédemment par recherche par faisceau sont sous-optimales lorsque des concepts se chevauchent sont impliqués.
- Catégorie 1 (La plus courante) : Les explications diffèrent à la fois par les concepts et par l'IoU. La recherche par faisceau échoue souvent à trouver des explications impliquant des combinaisons complexes ET/ET NON décrivant des unités spécialisées.
- Catégorie 2 : Les explications partagent des concepts mais diffèrent par la structure logique, conduisant à des scores IoU différents (par exemple, ((A OU B) ET C) vs ((A ET C) OU B)).
- Catégorie 3 : Les explications partagent le même IoU mais diffèrent par la structure. La recherche par faisceau peut produire des explications « non vérifiées » reposant sur des concepts disjoints qui ne co-occurrent jamais, tandis que l'algorithme optimal identifie le bon alignement.
Performance de l'Heuristique : La variante de recherche par faisceau guidée par l'heuristique proposée surpasse les bases (MMESH, Faisceau Standard) en termes d'états visités et s'adapte plus efficacement à la longueur de l'explication et à la taille du faisceau, tout en nécessitant moins de mémoire car elle n'a pas besoin de stocker des tenseurs spatiaux pour le calcul heuristique.

Importance et Revendications

L'article revendique que l'identification de la solution optimale de vérité terrain est cruciale pour :

Fiabilité : Prévenir des vues trompeuses du comportement des neurones causées par des approximations sous-optimales.
Caractérisation des Ensembles de Données : Révéler des propriétés non étudiées des ensembles de données si la recherche par faisceau converge vers l'optimum.
Développement d'Algorithmes : Fournir une référence pour guider le développement de nouveaux algorithmes réduisant les erreurs d'approximation.

Les auteurs soulignent que leur méthode ne repose pas sur des informations spatiales (contrairement à MMESH), rendant l'heuristique potentiellement applicable à des domaines au-delà de la vision par ordinateur. Ils positionnent ce travail comme un fondement théorique qui comble le fossé entre la Dissection de Réseau (qui trouve des concepts uniques optimaux) et les Explications Compositionnelles (qui sacrifiaient auparavant l'optimalité pour la complexité). L'article conclut en notant que, bien que l'algorithme optimal soit une étape significative, des travaux futurs sont nécessaires pour étendre ces garanties aux opérateurs non préservateurs de 00 et à d'autres architectures comme les Transformers.