🤖 machine learning

A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support

Cet article démontre que le comportement contrefactuel — plus précisément la faisabilité et la distance des changements d'entrées significatifs — est une dimension distincte de la performance prédictive, pilotée par l'interaction entre la proximité de la frontière de décision et le support local des données, laquelle peut varier considérablement même parmi des modèles ayant une précision identique.

Auteurs originaux : Ioanna Gemou, Matteo Gamba, Randall Balestriero, Ritambhara Singh

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ioanna Gemou, Matteo Gamba, Randall Balestriero, Ritambhara Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot très intelligent qui regarde des images et devine ce qu'elles sont. Vous voulez savoir : « Quel minuscule changement ferait changer d'avis ce robot ? » Par exemple, si le robot pense qu'une image est un « chat », quel petit ajustement le ferait dire « chien » ? C'est ce qu'on appelle une explication contrefactuelle.

Ce papier est comme une enquête policière pour comprendre pourquoi certains robots sont faciles à duper pour leur faire changer d'avis, tandis que d'autres sont têtus, même s'ils sont tout aussi bons pour deviner la bonne réponse en premier lieu.

Voici la décomposition utilisant des analogies simples :

1. La mise en scène : La carte et la clôture

Considérez le cerveau du robot comme une carte géante (appelée « espace de représentation »).

L'Encodeur : C'est la partie du robot qui transforme une image en un point sur la carte.
Le Classificateur : C'est la partie qui trace des clôtures (frontières de décision) sur la carte pour séparer les chats des chiens.

Le papier pose la question suivante : si deux robots ont la même carte (ils voient le monde de la même façon) et sont également précis pour deviner, pourquoi l'un d'eux change-t-il d'avis facilement avec une petite poussée, alors que l'autre nécessite une énorme bousculade ?

2. Les deux secrets : La clôture et la foule

Les auteurs ont découvert que la réponse dépend de deux éléments travaillant ensemble :

Secret n°1 : À quelle distance êtes-vous de la clôture ? (Proximité de la frontière)
Si votre point est juste à côté de la clôture entre « Chat » et « Chien », il suffit d'un tout petit pas pour la franchir. Si vous êtes profondément au milieu de la zone « Chat », vous devrez marcher un long chemin pour la traverser.
Secret n°2 : Y a-t-il une foule qui attend de l'autre côté ? (Support de données locales)
C'est le rebondissement. Franchir la clôture ne suffit pas. Imaginez que vous franchissez la clôture dans la zone « Chien », mais que vous atterrissez dans un désert aride et vide où aucun vrai chien ne vit. C'est une mauvaise explication car ce n'est pas un « chien » réaliste.
Une bonne explication se produit lorsque vous franchissez la clôture et que vous atterrissez en plein milieu d'une foule de vrais chiens.

La grande affirmation du papier : Vous avez besoin d'être à la fois proche de la clôture et proche d'une foule pour obtenir une réponse bonne et réaliste.

3. La surprise : Même score, comportement différent

Les chercheurs ont testé de nombreux robots différents (utilisant des images de formes, des chiffres écrits à la main, des radiographies médicales et des critiques de films).

La découverte : Ils ont trouvé des paires de robots qui obtenaient exactement le même score de test (par exemple, 90 % de précision).
Le rebondissement : Même s'ils étaient tout aussi intelligents, l'un des robots était très facile à faire changer d'avis, tandis que l'autre était très difficile à faire changer d'avis.
Pourquoi ? Ce n'était pas parce que les robots voyaient les images différemment. C'était parce que les clôtures qu'ils dessinaient étaient à des endroits différents par rapport aux foules. Un robot dessinait sa clôture juste à côté d'une foule ; l'autre la dessinait loin, dans un endroit vide.

4. L'expérience du « Déplaceur de clôture »

Pour prouver cela, ils ont pris un robot, ont figé sa carte (pour qu'il ne puisse pas changer sa façon de voir les choses), et ont simplement redessiné les clôtures en utilisant différentes méthodes.

Résultat : En déplaçant simplement les clôtures, ils pouvaient rendre un robot soudainement « facile à duper » ou « difficile à duper », même si la précision globale du robot restait exactement la même.
Leçon : La façon dont le robot trace ses lignes compte tout autant que sa capacité de vision.

5. Pourquoi est-ce important (Le « Pourquoi devrais-je m'en soucier ? »)

Le papier suggère que lorsque nous essayons d'expliquer les décisions d'une IA, nous ne pouvons pas nous contenter de regarder si l'IA est précise. Nous devons regarder la géométrie (la forme de la carte et des clôtures).

Ils ont même montré que si vous dites à l'algorithme de recherche du robot de « viser la foule » (et pas seulement de franchir la clôture), il trouve des réponses meilleures et plus réalistes. C'est comme dire à un randonneur égaré : « Ne vous contentez pas de traverser la rivière ; traversez-la et marchez droit vers le village. »

Résumé en une phrase

Deux robots peuvent être également intelligents, mais l'un peut être facile à convaincre et l'autre difficile, simplement parce que l'un dessine ses lignes de décision juste à côté d'une foule d'exemples, tandis que l'autre les dessine dans un désert vide. Pour obtenir de bonnes explications, vous devez regarder à la fois les lignes et les foules.

Résumé Technique : Une Vision Géométrique du Comportement Contrefactuel

Énoncé du Problème
Les explications contrefactuelles visent à identifier des changements d'entrée faibles et sémantiquement significatifs qui modifient la prédiction d'un modèle. Bien qu'elles soient largement utilisées pour l'audit des systèmes d'apprentissage automatique, les méthodes actuelles traitent souvent la génération de contrefactuels comme un problème d'optimisation locale contraint par la faisabilité spécifique à la tâche. Cependant, une perturbation changeant la prédiction peut exister dans un budget de localité tout en échouant à correspondre à une alternative réaliste si elle atterrit dans une région de faible support de données. De plus, des modèles ayant des performances prédictives presque identiques peuvent présenter des comportements contrefactuels radicalement différents. Ce travail étudie pourquoi ces divergences se produisent, en émettant l'hypothèse que le comportement contrefactuel n'est pas uniquement une fonction de la précision prédictive, mais qu'il est régi par l'interaction géométrique entre la proximité de la frontière de décision et le support de données local dans l'espace de représentation.

Méthodologie
Les auteurs proposent un cadre géométrique et une sonde de recherche locale standardisée pour évaluer le comportement contrefactuel à travers divers domaines (vision, langage, imagerie médicale et multimodal).

Cadre Géométrique :
- Proximité de la Frontière de Décision ($dbd(z)$) : Définie comme la distance à la frontière de décision la plus proche, approximée via une linéarisation du premier ordre de l'écart de logit entre les deux classes prédites les plus élevées.
- Support de la Classe Cible Locale ( $r_k(z)$ ) : Définie comme la distance euclidienne d'un embedding $z$ à son $k$ -ième plus proche voisin au sein de l'ensemble de référence de la classe cible dans l'espace d'embedding. Cela mesure si la région cible est densément peuplée de données.
- Hypothèses : Le travail teste trois hypothèses : (H1) Les modèles ayant une précision identique diffèrent dans leur comportement contrefactuel ; (H2) Varier la tête du classifieur sous des embeddings fixes modifie le comportement contrefactuel ; et (H3) L'interaction entre la proximité de la frontière et le support local prédit les résultats contrefactuels.
Configuration Expérimentale :
- Encodeurs : L'étude évalue plusieurs encodeurs pré-entraînés (ex. ResNet-50, ViT, BERT, CLIP, SigLIP2) sur des jeux de données tels que Shapes, MNIST, Chest X-ray, IMDb et MM-IMDb.
- Têtes de Classificateurs : Des classificateurs linéaires sont entraînés sur des embeddings gelés. Pour isoler l'effet du placement de la frontière, les auteurs entraînent plusieurs têtes sur les mêmes embeddings en utilisant différentes initialisations et forces de régularisation (décroissance des poids/weight decay).
- Protocole de Recherche : Une descente de gradient projetée standardisée est utilisée dans l'espace d'embedding pour trouver un changement de prédiction dans une région de confiance fixe ( $\tau$ ) et un budget d'itérations.
- Métriques : Succès Contrefactuel (CF-Suc), Distance Contrefactuelle (CF-Dist) et Effort d'Optimisation (OptEff).

Contributions Clés

Cadre Géométrique et Sonde : Introduction d'une méthode standardisée pour évaluer le comportement contactuel basé sur l'interaction de la proximité de la frontière et du support de données local, allant au-delà des simples métriques prédictives.
Isolation des Effets de Frontière : Démonstration que, sous des représentations fixes, varier uniquement la tête du classifieur linéaire (via l'initialisation ou la régularisation) peut modifier substantiellement le succès et la distance contrefactuelle tout en laissant la précision prédictive largement inchangée.
Pouvoir Prédictif Conjoint : Preuve que la proximité de la frontière seule est insuffisante ; la combinaison de la proximité de la frontière et du support de données local est nécessaire pour expliquer la variation de la faisabilité et de l'effort contrefactuel.

Résultats

Divergence dans les Modèles à Précision Égale : Des modèles présentant des écarts de précision minimaux (ex. <0,02) ont montré de grandes divergences dans leur comportement contrefactuel. Par exemple, sur MNIST, deux modèles avec un écart de précision de 0,01 ont montré une différence de 65 points de pourcentage dans les taux de succès contrefactuel.
Sensibilité du Classifieur : Lorsque l'encodeur était gelé et que seule la tête du classifieur linéaire variait, le succès contrefactuel variait de manière significative (ex. écarts de CF-Suc de 0,12 à 0,32) malgré une précision stable. L'augmentation de la régularisation déplaçait la distance moyenne de la frontière, ce qui corrélait de manière monotone avec un succès contrefactuel plus faible.
Modélisation Prédictive du Comportement : Les modèles de régression utilisant uniquement la précision ou la perte d'entropie croisée expliquaient peu de variance dans les résultats contrefactuels. Cependant, les modèles incorporant $dbd(z)$ et $r_k(z)$ ont atteint des scores $R^2$ nettement plus élevés. Plus précisément, l'ajout du support de données local à la proximité de la frontière a systématiquement amélioré le pouvoir prédictif sur tous les jeux de données.
Basculements Supportés vs Non-Supportés : L'étude distingue entre les "basculements supportés" (atteindre une région cible avec un fort support de données local) et les "basculements non supportés" (traverser une frontière vers des régions de faible densité). Un comportement contrefactuel efficace dépendait fortement de l'atteinte de régions supportées, et non simplement du franchissement d'une frontière.
Amélioration de la Recherche via la Géométrie : Dans une étude de cas sur MNIST, l'augmentation de l'objectif de recherche contrefactuelle avec des priors géométriques (pénalisant la distance aux voisins de la classe cible) a réussi à améliorer les résultats de recherche là où les bases standard avaient échoué, démontant l'utilité pratique de ces signaux géométriques.

Signification et Revendications
L'article affirme que le comportement contrefactuel constitue une dimension distincte de l'évaluation des modèles, séparée de la performance prédictive et de la robustesse basée sur la marge. Les auteurs soutiennent que :

La faisabilité contrefactuelle n'est pas invariante entre des modèles fonctionnellement similaires ; elle dépend de manière critique de la façon dont le classifieur place les frontières par rapport à la structure locale des données.
Les métriques prédictives standards (précision, perte) sont insuffisantes pour auditer les explications contrefactuelles ou les systèmes de recours.
Comprendre l'interaction entre la proximité de la frontière et le support local est essentiel pour la sélection de modèles, l'analyse de robustesse et la conception de méthodes contrefactuelles plus fiables.
Les conclusions suggèrent que les futures méthodes contrefactuelles devraient explicitement prendre en compte le support de données local pour garantir que les explications générées se situent dans des régions supportées par la distribution des données.

Le travail conclut que, bien que ces facteurs géométriques expliquent la variation dans les configurations actuelles de classificateurs linéaires, l'extension de cette perspective aux modèles non linéaires de bout en bout et le développement d'objectifs contrefactuels conscients de la géométrie restent des directions pour la recherche future.