🤖 machine learning

Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses

Cet article introduit DECAF, un nouveau cadre qui décompose les explications de modèles basées sur la perturbation en des composantes distinctes d'évidence, de contradiction et de fragilité, démontrant que cette approche sensible à la trajectoire surpasse de manière significative les méthodes d'attribution traditionnelles basées sur la magnitude en termes de précision, d'efficacité et d'interprétabilité à travers diverses tâches de vision et de données tabulaires.

Auteurs originaux : Lei You

Publié 2026-08-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lei You

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre pourquoi un ami a fait un choix spécifique, comme choisir un t-shirt rouge plutôt qu'un bleu. Vous pourriez demander : « À quel point a-t-il réagi à la couleur ? » S'il s'est emparé du t-shirt rouge instantanément, vous diriez : « Wow, quelle énorme réaction ! » Mais voici la partie délicate : une énorme réaction ne signifie pas toujours la même chose. Peut-être qu'il adorait le t-shirt rouge (une bonne raison). Peut-être qu'il détestait tellement le t-shirt bleu qu'il a saisi le rouge juste pour s'en éloigner (une mauvaise raison). Ou peut-être qu'il a saisi le t-shirt rouge parce qu'il était confus, pour réaliser à mi-chemin qu'il préférait en fait le bleu depuis le début (une réaction éphémère et fragile).

C'est le monde de l'« explicabilité de l'IA », un domaine où les scientifiques tentent de jeter un coup d'œil à l'intérieur de la « boîte noire » des modèles informatiques pour voir ce qu'ils pensent. Pendant longtemps, le principal outil de mesure a été la « magnitude » d'une réaction — en gros, l'ampleur du changement dans la réponse de l'IA lorsque vous modifiez l'entrée. C'est comme mesurer la force avec laquelle une porte claque. Mais comme le souligne ce nouvel article, savoir que la porte a claqué fort ne nous dit pas si elle a été claquée par colère, par joie, ou par une rafale de vent qui n'avait même pas de substance. L'auteur, dirigé par Lei You de l'Université technique de Danemark, soutient que nous avons ignoré le sens derrière le bruit, et qu'ils ont construit une nouvelle façon de trier tout cela.

L'article présente une méthode appelée DECAF (qui signifie Décomposition de l'Évidence, de la Contradiction et de la Fragilité). Voyez DECAF comme un détective super intelligent qui ne se contente pas d'écouter la force du claquement de la porte, mais qui observe toute l'histoire de la manière dont la personne s'est approchée de la porte.

Voici comment fonctionne DECAF, en utilisant une histoire simple : Imaginez que vous regardez un tour de magie où un magicien change une carte, passant d'un Roi à une Dame.

Évidence (Evidence) : Au fur et à mesure que le magicien révèle la carte, si le changement semble se construire vers le résultat final (la Dame), DECAF appelle cela l'Évidence. C'est la partie de la réaction qui soutient la décision finale.
Contradiction : Parfois, la carte peut ressembler à un Roi pendant une fraction de seconde, puis à une Dame, puis revenir à un Roi, avant de se stabiliser finalement sur la Dame. Si la réaction va à l'encontre du résultat final à un moment donné, DECAF appelle cela la Contradiction. C'est comme si l'IA disait : « Attendez, je pensais que c'était un Roi ! » avant de changer d'avis.
Fragilité (Fragility) : Enfin, imaginez que le magicien agite une carte qui ressemble à une Dame, mais que lorsque vous regardez de près à la fin, il s'agit en fait d'un morceau de papier blanc. La carte semblait changer, mais le résultat final était « rien ». Si l'IA réagit fortement pendant le tour, mais que la réponse finale est pratiquement nulle, DECAF appelle cela la Fragilité. C'est une réaction qui n'existe qu'en raison du chemin emprunté, et non à cause d'une différence réelle.

L'auteur a testé cette idée de plusieurs manières. D'abord, ils ont créé des jeux vidéo et des puzzles contrôlés où ils savaient exactement ce que l'IA devrait faire. Ils ont découvert que DECAF pouvait détecter quand une IA s'appuyait sur un « raccourci » (comme deviner en se basant sur la couleur de l'arrière-plan) plutôt que sur l'objet réel. Si l'IA utilisait un raccourci, le score d'« Évidence » de DECAF correspondait parfaitement à ce comportement. Si l'IA était confuse ou changeait d'avis, le score de « Contradiction » montait en flèche.

Ensuite, ils ont appliqué cela au monde réel avec un test massif impliquant 72 modèles d'IA différents observant des images issues de l'ensemble de données ImageNet-9 (une collection d'images avec différents arrière-plans). Ils ont comparé les cas où l'IA avait la même « intensité » de réaction mais des comportements sous-jacents différents.

Le Résultat : Si l'on regardait uniquement l'intensité (la magnitude), on ne devinerait le comportement correct que 35,0 % du temps. C'était pratiquement un pile ou face.
La Correction DECAF : Lorsqu'ils ont utilisé DECAF pour examiner le type de réaction (Évidence vs Contradiction vs Fragilité), ils ont obtenu la bonne réponse 96,4 % du temps.

L'article a également découvert quelque chose de surprenant sur la façon dont nous révélons l'information à l'IA. Ils ont testé deux manières de montrer une image : une où l'image entière apparaît progressivement (comme un fondu) et une autre où l'image est révélée morceau par morceau (comme un puzzle). Ils ont découvert que changer la manière dont l'image est révélée modifiait l'« intensité » totale de la réaction de près de 80 %. Cependant, l'« Évidence » (les bonnes raisons solides) changeait très peu. Au lieu de cela, la « Fragilité » (le bruit confus dépendant du chemin parcouru) explosait, augmentant de plus de 4 fois. Cela prouve que la taille totale d'une réaction peut être trompeuse ; elle indique souvent simplement à quel point l'IA est sensible à la méthode de présentation de l'image, et non à l'image elle-même.

Enfin, l'auteur a montré que DECAF est incroyablement efficace. Sur un immense modèle d'IA de 1 milliard de paramètres (un modèle DINOv2), DECAF a pu accomplir sa tâche avec 4,75 fois moins de temps et 2,36 fois moins de mémoire que les autres méthodes populaires, tout en faisant le travail aussi bien.

En résumé, l'article suggère que nous nous sommes trop concentrés sur combien une IA réagit et pas assez sur ce que signifie cette réaction. En décomposant les réactions en Évidence (soutien), Contradiction (opposition) et Fragilité (bruit éphémère), DECAF nous donne une image beaucoup plus claire et plus honnête de ce que ces cerveaux numériques pensent réellement. C'est un outil qui ne se contente pas de mesurer le claquement de la porte, mais qui aide à comprendre pourquoi la porte a claqué en premier lieu.

Résumé Technique : DECAF – Décomposition de l'Évidence, de la Contradiction et de la Fragilité dans les Réponses aux Perturbations

1. Énoncé du Problème

Les méthodes d'explication basées sur les perturbations interprètent les décisions des modèles en mesurant les changements de prédiction sous des entrées altérées. Cependant, un fossé sémantique fondamental existe : la métrique standard, la magnitude de la réponse (la différence absolue dans les prédictions), quantifie comb কত un modèle réagit mais échoue à expliquer ce que signifie cette réaction.

L'article identifie que des magnitudes de réponse identiques peuvent provenir de trois régimes comportementaux distincts :

Alignement (Evidence) : La réaction soutient la différence factuelle–contrefactuelle finale.
Opposition (Contradiction) : La réaction s'oppose à la différence finale (par exemple, une étape intermédiaire suggère un résultat, mais l'état final en suggère un autre).
Fragilité (Fragility) : La réaction est forte le long du chemin de perturbation mais s'évanouit au point final, indiquant une sensibilité au processus de révélation plutôt qu'à un effet final significatif.

Traiter ces comportements distincts comme équivalents occulte des informations interprétatives critiques. Les méthodes existantes réduisent souvent des trajectoires complexes à un scalaire unique ou s'appuient sur des signaux internes basés sur le gradient, manquant ainsi le rôle sémantique des réponses intermédiaires par rapport au contraste final.

2. Méthodologie : DECAF

L'auteur introduit DECAF (Decomposition of Evidence, Contradiction, And Fragility), un cadre agnostique au modèle qui décompose les réponses de perturbation appariées en trois composantes sémantiques.

Configuration Formelle

Étant donné une fonction de score de modèle $q$ , une entrée factuelle $x^+$ et un contrefactuel $x^-$ , le contraste final est $d = q(x^+) - q(x^-)$ . Une trajectoire de révélation appariée $(x^+(t), x^-(t))$ pour $t \in [0, 1]$ part d'un état non informatif $x^0$ et progresse vers les points finaux. La réponse d'étape signée est $r(t) = q(x^+(t)) - q(x^-(t))$ .

Routage Sémantique

DECAF utilise le contraste final $d$ comme référence sémantique pour router les réponses intermédiaires $r(t)$ :

Porte (Gate $a$ ) : Une porte binaire détermine si le contraste final est significatif ( $|d| \ge \epsilon$ ).
Orientation ( $s$ ) : Le signe de $d$ ( $s = \text{sign}(d)$ ) définit la direction "correcte".
Décomposition : La réponse est routée en trois composantes :
- Évidence ( $E$ ) : Réponses alignées avec la direction finale lorsque le contraste final est actif ( $a=1, s \cdot r(t) > 0$ ).
- Contradiction ( $C$ ) : Réponses s'opposant à la direction finale lorsque le contraste final est actif ( $a=1, s \cdot r(t) < 0$ ).
- Fragilité ( $F$ ) : Réponses se produisant lorsque le contraste final est négligeable ( $a=0$ ), représentant une sensibilité qui ne persiste pas jusqu'au point final.

La décomposition est sans perte : $|r(t)| = e(t) + c(t) + f(t)$ . Les métriques agrégées sont les valeurs attendues de ces composantes sur la trajectoire et l'ensemble de données.

Fondements Théoriques

L'article prouve que sous trois axiomes opérationnels — Conservation (aucune magnitude n'est perdue), Portage de Point Final (la fragilité est isolée aux points finaux négligeables) et Support Directionnel (l'évidence/contradiction sont séparées par le signe) — ce routage est unique. De plus, DECAF est un raffinement strict de la magnitude ordinaire ; bien que la magnitude puisse être dérivée de DECAF ($Abs = E + C + F$), l'inverse est impossible, car des profils comportementaux distincts (par exemple, évidence pure contre contradiction pure) peuvent produire des magnitudes identiques.

3. Contributions Clés

Identification du Problème : Définition explicite du fossé sémantique dans les explications par perturbation où la magnitude ne parvient pas à distinguer l'alignement, l'inversion et la sensibilité dépendante du chemin.
Interface de Révélation Appariée : Introduction d'un cadre pour suivre les contrastes factuels–contrefactuels le long de trajectoires appariées à mesure que l'information est progressivement révélée.
Algorithme DECAF : Une décomposition sans perte et unique des réponses en Évidence, Contradiction et Fragilité basée sur la sémantique relative au point final. Il ne nécessite ni gradients, ni activations internes, ni modèles d'explication appris.
Validation Comportementale : Démonstration que ces composantes suivent des comportements mesurés indépendamment (dépendance aux raccourcis, inversion d'effet et sensibilité hors trajectoire) à travers des modèles neuronaux, linéaires et d'arbres.
Utilité Pratique : Démonstration que DECAF récupère la sémantique de la réponse même lorsque les magnitudes sont identiques et fournit des diagnostics transversaux stables entre les protocoles.

4. Résultats Expérimentaux

Validation Contrôlée (Formes 3D et Covertype)

Évidence : Dans les tâches de vision avec des raccourcis corrélés (ex: couleur du mur vs forme de l'objet), la composante Évidence ( $E$ ) est fortement corrélée (Spearman $\rho = 0,936$ ) avec la vulnérabilité d'un modèle à l'inversion de raccourci.
Fragilité : Dans les tâches conçues pour induire une sensibilité aux états intermédiaires (ex: changements de couleur de sol), la composante Fragilité ( $F$ ) suit le taux de changement de prédiction sur les paires à point final nul ( $\rho = 0,974$ ).
Contradiction : Dans les tâches où un effet inverse de direction sous changement de contexte, la Contradiction ( $C$ ) suit le taux d'inversion de l'étiquette ( $\rho = 0,961$ ), alors que la magnitude ordinaire échoue ( $\rho = -0,036$ ).
Transfert Tabulaire : Sur le jeu de données Covertype, les composantes DECAF suivent avec succès la préservation, l'inversion et les changements de point final nul à travers 135 classifieurs (linéaires, arbres et neuronaux), surpassant SHAP et d'autres bases de référence dans l'identification des mécanismes.

Audit en Conditions Réelles (ImageNet-9)

Récupération Sémantique : Sur un zoo de 72 modèles (24 modèles ImageNet-1k prêts à l'emploi et 48 modèles ImageNet-9 affinés), DECAF identifie correctement le rôle comportemental dominant (Évidence, Contradiction ou Fragilité) dans 96,4 % des cas où les modèles ont des magnitudes de réponse presque identiques. En revanche, la magnitude seule n'atteint que 35,0 % de précision.
Sensibilité au Chemin : Changer le chemin de révélation (ex: d'un mélange global à une révélation patch par patch) a augmenté la magnitude totale de la réponse de près de 80 %, mais cette augmentation était presque entièrement portée par la Fragilité et la Contradiction, tandis que l'Évidence restait stable. Cela démontre qu'une magnitude plus élevée n'implique pas nécessairement une preuve plus forte.
Stabilité du Classement : Les classements de modèles basés sur la magnitude ordinaire étaient très instables selon les différents chemins de révélation ( $\rho \approx 0,17$ ), tandis que les classements basés sur l'Évidence et la Contradiction restaient stables ( $\rho > 0,77$ ).

Benchmarks d'Attribution et Mise à l'Échelle

Performance : Sur FunnyBirds et ImageNet-1k, les trajectoires courtes DECAF (3 à 9 étapes) en mode "forward-only" ont surpassé les bases de référence d'attribution généralistes testées (DeepLIFT, Integrated Gradients, SmoothGrad, RISE).
Efficacité : Sur un modèle DINOv2 de 1 milliard de paramètres, une courte trajectoire DECAF a égalé la qualité d'une base de référence forte basée sur le gradient (Integrated Gradients) avec un temps d'exécution 4,75× inférieur et une mémoire de pointe 2,36× moindre, car DECAF ne nécessite que des passages avant (forward passes).

5. Signification et Revendications

L'article affirme que DECAF traite une ambiguïté sémantique inhérente aux méthodes de perturbation. En décomposant la trajectoire de réponse par rapport au contraste final, il révèle quel type de réponse a produit une magnitude donnée.

Interprétabilité : Il distingue un modèle qui s'appuie systématiquement sur une caractéristique (Évidence), un modèle confus ou qui inverse sa décision (Contradiction), et un modèle sensible au chemin spécifique de révélation mais pas à l'état final (Fragilité).
Robustesse : Les composantes fournissent des diagnostics plus stables à travers différents protocoles de perturbation que la magnitude brute.
Efficacité : Il offre une méthode d'explication de haute qualité, agnostique au modèle, qui s'adapte efficacement aux grands modèles sans nécessiter de gradients ou d'accès interne.

L'auteur souligne que ces rôles sont relatifs à la paire de contrefactuels, au score et au chemin de révélation choisis ; ils n'infèrent pas de mécanismes causaux latents mais décrivent le comportement observable de la réponse du modèle à une intervention spécifique. Le travail suggère que les futurs efforts d'explication devraient dépasser les magnitudes scalaires pour considérer la composition sémantique de la trajectoire de réponse.