🤖 AI

H-Sets: Hessian-Guided Discovery of Set-Level Feature Interactions in Image Classifiers

Ce papier présente **H-Sets**, un nouveau cadre en deux étapes qui utilise les Hessiennes pour détecter des interactions de caractéristiques et les regroupe en ensembles sémantiques afin de produire des cartes de saillance plus précises et fidèles pour l'explicabilité des classificateurs d'images.

Auteurs originaux : Ayushi Mehrotra, Dipkamal Bhusal, Michael Clifford, Nidhi Rastogi

Publié 2026-04-27

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ayushi Mehrotra, Dipkamal Bhusal, Michael Clifford, Nidhi Rastogi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'effet "Puzzle" de l'Intelligence Artificielle

Imaginez que vous regardiez une photo d'un chat. Pour un humain, ce qui fait que c'est un "chat", c'est l'ensemble : la forme des oreilles, la texture des moustaches et la courbe de la queue. Ces éléments travaillent ensemble.

Aujourd'hui, la plupart des outils qui essaient d'expliquer comment une Intelligence Artificielle (IA) voit une image font une erreur : ils regardent les pixels un par un, comme si on essayait de comprendre un film en regardant chaque pixel de chaque image séparément. Ils voient les "briques", mais ils ratent le "mur". Ils ignorent les interactions : le fait que le pixel A n'est important que parce qu'il est à côté du pixel B.

La Solution : H-Sets (Le Détective de Connexions)

Les chercheurs ont créé H-Sets. Au lieu de pointer du doigt des pixels isolés, H-Sets cherche des "groupes d'amis" de pixels qui agissent ensemble pour influencer la décision de l'IA.

Pour y arriver, ils utilisent une méthode en deux étapes :

1. La Détection : "Le Radar à Curiosité" (L'Hessienne)

Imaginez que vous êtes dans une foule. Pour comprendre l'ambiance, vous ne regardez pas chaque personne seule, mais vous cherchez les groupes qui rient ensemble ou qui dansent en rythme.
H-Sets utilise un outil mathématique appelé la "Matrice Hessienne". C'est comme un radar ultra-sensible qui détecte la "courbure" ou la "tension" entre les pixels. Si deux pixels bougent de façon très liée dans la tête de l'IA, le radar dit : "Attention, ces deux-là forment un groupe !". Ensuite, il utilise un outil (appelé SAM) pour s'assurer que ces groupes ont du sens visuellement (par exemple, qu'ils forment une oreille et non un mélange de pixels de l'oreille et du ciel).

2. L'Attribution : "Le Partage du Gâteau" (La Théorie des Jeux)

Une fois qu'on a trouvé un groupe (disons, "le groupe des moustaches"), il faut savoir à quel point ce groupe est responsable de la décision.
Pour cela, ils utilisent la Théorie des Jeux. Imaginez un groupe d'amis qui gagne un concours de cuisine. Comment savoir qui a vraiment fait la différence ? Est-ce le chef ? Est-ce l'assistant ? Ou est-ce que c'est vraiment la combinaison des deux qui a créé le plat magique ?
H-Sets utilise une formule mathématique (le dividende de Harsanyi) pour isoler la part de responsabilité qui appartient uniquement à l'interaction du groupe, et non aux individus seuls.

Pourquoi est-ce une révolution ?

Grâce à cette approche, les explications de l'IA deviennent :

Plus nettes (Sparsity) : Au lieu d'avoir une image toute floue et pleine de points partout, on obtient des zones claires et précises (comme des autocollants sur les parties importantes de l'objet).
Plus fidèles (Faithfulness) : L'explication dit la vraie vérité sur ce que l'IA a regardé, et non une version simplifiée ou erronée.

En résumé : Si les anciennes méthodes d'explication étaient des dictionnaires qui définissent chaque mot un par un, H-Sets est un analyste littéraire qui comprend que le sens d'une phrase vient de la manière dont les mots s'assemblent.

Résumé Technique : H-Sets

1. Problématique (Le Problème)

La plupart des méthodes d'attribution de caractéristiques (feature attribution) utilisées pour expliquer les réseaux de neurones profonds se concentrent sur les effets marginaux. Elles attribuent une importance à chaque pixel ou caractéristique de manière isolée, ignorant les interactions de caractéristiques.

Dans la classification d'images, la sémantique d'un objet provient souvent de l'interdépendance des pixels (ex: la forme d'un œil dépend de la relation entre plusieurs pixels) plutôt que de pixels isolés. Les méthodes existantes pour capturer ces interactions sont soit trop grossières (basées sur des superpixels), soit trop coûteuses en calcul, soit elles ne respectent pas les axiomes fondamentaux de l'interprétabilité (comme la complétude ou la sensibilité).

2. Méthodologie (H-Sets)

Les auteurs proposent H-Sets, un cadre en deux étapes pour découvrir et attribuer des interactions de caractéristiques d'ordre supérieur :

Étape 1 : Détection des interactions (Interaction Detection)

Utilisation de la Hessienne : Au lieu de se limiter aux gradients de premier ordre, H-Sets utilise la matrice Hessienne (dérivées secondes) pour détecter les dépendances de second ordre entre les paires de caractéristiques. Une interaction est détectée si la valeur de la Hessienne dépasse un seuil $\mu$ .
Expansion récursive : Partant de caractéristiques "graines" (sélectionnées via l'importance de l'Integrated Gradients), l'algorithme fusionne récursivement les paires fortement liées pour former des ensembles de caractéristiques plus larges (interactions d'ordre supérieur).
Prior spatial (SAM) : Pour garantir que ces ensembles sont sémantiquement cohérents (et non un bruit de pixels épars), le modèle utilise le Segment Anything Model (SAM) comme guide spatial pour limiter la fusion des caractéristiques à des régions cohérentes.

Étape 2 : Attribution des ensembles (Interaction Attribution via IDG-Vis)

IDG-Vis : Une extension de la méthode Integrated Directional Gradients (IDG) appliquée à la vision. Elle calcule l'importance d'un ensemble en intégrant les gradients directionnels le long d'un chemin allant d'une image de référence à l'image d'entrée.
Théorie des jeux (Dividendes de Harsanyi) : Pour isoler la contribution unique de l'interaction (en excluant les effets individuels des membres de l'ensemble), les auteurs utilisent les dividendes de Harsanyi issus de la théorie des jeux coopératifs. Cela permet de satisfaire des axiomes mathématiques stricts (non-négativité, monotonie, superadditivité, etc.).

3. Contributions Clés

Nouveau cadre de découverte : Un mécanisme basé sur la courbure (Hessienne) pour identifier des groupes de caractéristiques non-additifs.
IDG-Vis : Une méthode d'attribution de niveau "ensemble" qui respecte les axiomes de l'interprétabilité et traite les interactions de manière mathématiquement rigoureuse.
Équilibre précision/coût : Bien que le calcul de la Hessienne soit coûteux, les auteurs limitent son usage à l'étape de détection, rendant le processus global efficace et ciblé.

4. Résultats Expérimentaux

Les évaluations ont été menées sur les jeux de données ImageNet et CUB avec divers modèles (VGG, ResNet, DenseNet, MobileNet).

Sparsité (Gini Index) : H-Sets produit des cartes de saillance beaucoup plus nettes et concentrées sur les zones pertinentes que les méthodes comme Integrated Gradients (IG) ou Archipelago, qui sont souvent diffuses ou trop grossières.
Fidélité (Faithfulness - Score ROAD) : H-Sets surpasse systématiquement les autres méthodes en termes de fidélité. Cela signifie que lorsque les zones identifiées comme "importantes" sont supprimées, la précision du modèle chute de manière plus significative, prouvant que l'explication reflète la véritable logique du modèle.
Robustesse : Les tests sur DecoyMNIST montrent que même avec un biais spatial (SAM), le modèle est capable de détecter des raccourcis non sémantiques (spurious correlations) si la Hessienne indique une interaction forte, prouvant que la méthode n'est pas simplement un outil de segmentation.

5. Signification et Impact

L'importance de ce travail réside dans sa capacité à fournir des explications qui sont à la fois compréhensibles par l'humain (grâce à la cohérence spatiale et la sparsité) et mathématiquement fidèles au modèle (grâce à la théorie des jeux et à la capture des interactions de second ordre). Cela ouvre la voie à une meilleure confiance et un meilleur débogage des systèmes de vision par ordinateur dans des domaines critiques comme la santé ou la conduite autonome.