On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective

Cet article démontre que la validité du benchmark RemOve-And-Retrain (ROAR) est compromise car les cartes d'attribution par post-traitement peuvent artificiellement améliorer les scores sans ajouter d'information, révélant un biais systématique envers les masques spatialement flous qui mine sa capacité à évaluer avec précision les méthodes d'attribution de caractéristiques.

L'essentiel

Imaginez que vous essayez de comprendre comment un chef décide quel plat cuisiner. Vous avez une liste d'ingrédients (les données d'entrée) et un livre de recettes (le réseau de neurones). Pour comprendre la logique du chef, vous utilisez un outil spécial appelé « carte d'attribution ». Cet outil met en évidence les ingrédients que le chef juge les plus importants pour le goût final.

Pendant des années, les chercheurs ont utilisé un test appelé ROAR (Remove-And-Retrain / Supprimer et Réentraîner) pour voir si ces outils de mise en évidence sont précis. La logique du test est simple :

1. Prenez les ingrédients mis en évidence.
2. Jetez-les (supprimez-les).
3. Apprenez au chef une nouvelle recette en utilisant uniquement les ingrédients restants.
4. Si le chef devient très mauvais pour cuisiner avec les restes, cela signifie que l'outil de mise en évidence était bon pour trouver les vrais ingrédients importants. Si le chef peut toujours bien cuisiner, l'outil a probablement manqué les ingrédients clés.

Le Problème : L'Astuce du « Masque Flou »

Cet article soutient que le test ROAR possède une faille cachée. Il s'avère que l'on peut « tricher » avec le test sans réellement mieux comprendre la recette du chef.

Les auteurs ont découvert que si vous prenez le résultat de l'outil de mise en évidence et que vous le floutez (le rendez diffus ou l'adoucissez), le test ROAR donne souvent un « meilleur » score. Dans le monde de ce test, un « meilleur » score signifie que la performance du chef a chuté davantage après que vous avez supprimé les ingrédients.

Voici l'analogie :
Imaginez que l'outil de mise en évidence dessine un cercle net et précis autour de l'épice spécifique dont le chef a besoin.

• La méthode honnête : Vous retirez juste cette épice. Le chef éprouve quelques difficultés.
• La méthode « floue » : Vous prenez ce même cercle et vous l'étalez jusqu'à ce qu'il couvre une grande zone diffuse sur le plan de travail, supprimant accidentellement l'épice et un tas d'autres articles sans importance.
• Le résultat : Parce que vous avez supprimé tellement de choses (y compris l'épice réelle), le chef échoue spectaculairement. Le test ROAR dit : « Wow, cet outil de mise en évidence était incroyable ! Il a provoqué une chute énorme de la performance ! »

Mais l'outil n'était pas plus intelligent. Il a simplement eu la chance de créer un « masque flou » qui a accidentellement supprimé plus d'éléments importants que le masque net.

La Règle de l'« Information » (L'Inégalité de Traitement des Données)

L'article utilise une règle mathématique appelée l'Inégalité de Traitement des Données pour le prouver. Voyez cela comme une loi de la physique pour l'information :

• On ne peut pas créer de nouvelles informations simplement en traitant des données.
• Si vous prenez une image claire et que vous la floutez, vous perdez des détails ; vous ne découvrez pas de nouveaux secrets sur l'esprit du chef.

Les auteurs prount que même si le floutage de la carte perd de l'information sur la véritable logique du chef, il peut tout de même tromper le test ROAR en lui faisant croire que la carte est meilleure. Cela signifie qu'un score ROAR élevé ne signifie pas nécessairement que l'outil comprend le modèle ; il peut simplement s'agir d'un outil qui produit une carte « floue » qui supprime accidentellement plus de données.

L'Expérience : Étalé vs Net

Pour prouver cela, les chercheurs ont mené des expériences sur trois ensembles de données d'images différents (comme des photos d'animaux, de voitures et de numéros de rue). Ils ont pris des outils de mise en évidence standards et ont appliqué des techniques simples d'« étalement » (comme le flou gaussien ou le max-pooling) aux cartes avant de lancer le test ROAR.

Les conclusions :

• Dans presque tous les cas, les cartes floues ont obtenu de meilleurs scores ROAR que les cartes nettes originales.
• Ils ont également comparé le « Pixel Random » (effacer des points aléatoires) au « Block Random » (effacer un grand carré plein). Le grand carré (qui est plus « flou » et structuré) a supprimé plus d'informations significatives et a obtenu un meilleur score, même s'il n'était pas plus intelligent.

L'Essentiel

L'article conclut que nous devons être très prudents lors de l'utilisation du test ROAR. Le fait qu'une méthode obtienne un score élevé ne signifie pas qu'elle a trouvé la « vérité » sur le fonctionnement de l'IA. Il se peut qu'elle soit simplement une méthode qui produit des masques « flous » qui suppriment accidentellement plus d'images.

À retenir : Ne faites pas confiance au score seul. Si une méthode semble plus « floue » et obtient un meilleur score, il s'agit peut-être d'un tour de passe-passe du test, et non d'un signe d'une meilleure compréhension.

Résumé technique

Résumé Technique : Sur les pièges de RemOve-And-Retrain : Une perspective de l'inégalité de traitement des données

Énoncé du problème

Le benchmark RemOve-And-Retrain (ROAR) est un protocole largement adopté pour évaluer les méthodes d'attribution de caractéristiques en interprétabilité mécaniste. Le principe central de ROAR est que si une méthode d'attribution identifie correctement les caractéristiques critiques pour la décision d'un modèle, la suppression de ces caractéristiques et le réentraînement du modèle devraient entraîner une chute significative de la précision. Cependant, la validité de ROAR d'un point de vue de la théorie de l'information reste peu explorée.

Cet article remet en question la fiabilité de ROAR en tant que métrique pour déterminer si une carte d'attribution porte réellement des informations sur la fonction de décision d'un modèle. Les auteurs émettent l'hypothèse que les scores ROAR peuvent être artificiellement améliorés par un post-traitement des cartes d'attribution qui est agnostique au modèle et aux données. Un tel post-traitement, par l'inégalité de traitement des données (DPI), ne peut pas ajouter d'information sur la fonction de décision, mais peut néanmoins produire de meilleurs scores ROAR. Cela suggère qu'un classement ROAR supérieur peut refléter des biais dans la sensibilité du benchmark à certaines géométries de masques (par exemple, le flou spatial) plutôt qu'à la véritable informativité de la méthode d'attribution.

Méthodologie

Les auteurs emploient une combinaison d'analyse théorique utilisant des modèles causaux structurels et de validation empirique sur des jeux de données réels.

1. Cadre théorique (Inégalité de traitement des données) :

   • Les auteurs formalisent le processus de génération de données de ROAR en utilisant un modèle causal structurel où la carte d'attribution $A$ est générée à partir de l'entrée $X$ et d'une variable côté modèle $Z$ (représentant la fonction de décision et l'identité de l'explicateur).
   • Ils introduisent une fonction de post-traitement $k(\cdot)$ qui transforme la carte d'attribution $A$ en $\tilde{A}$ sans accéder directement à $X$, $Y$, ou $Z$ (uniquement via $A$).
   • Le Théorème 3.1 établit que pour tout post-traitement agnostique de ce type, l'information mutuelle conditionnelle $I(Z; \tilde{A} | X)$ est inférieure ou égale à $I(Z; A | X)$. Cela confirme que le post-traitement ne peut pas augmenter l'information que la carte détient sur le modèle.
   • Le Théorème 3.2 fournit un contre-exemple démontrant qu'il est possible de construire un post-traitement $k$ tel que l'information mutuelle entre l'entrée modifiée et l'étiquette, $I(\tilde{X}'_t; Y)$, soit strictement inférieure à $I(X'_t; Y)$, même si $I(Z; \tilde{A} | X) = 0$. Dans le contexte de ROAR, une $I(\cdot; Y)$ plus faible correspond à une précision ré-entraînée plus faible, ce qui est interprété comme un "meilleur" score. Cela prouve qu'une amélioration de ROAR ne nécessite pas que l'attribution soit plus informative sur le modèle.

2. Instanciation empirique :

   • Pour tester l'hypothèse selon laquelle ROAR récompense des formes de masques spécifiques, les auteurs appliquent deux fonctions simples de post-traitement agnostique aux cartes d'attribution : le lissage gaussien et le Max-pooling.
   • Ces opérations sont choisies car elles ont tendance à produire des masques spatialement cohérents, "flous" ou de type "bloc", analogues à la ligne de base "BlockRandom" qui supprime plus efficacement le contenu structuré que "PixelRandom".
   • Les expériences utilisent les protocoles ROAR et ROAD (RemOve-And-Retrain with Drop) sur trois jeux de données : CIFAR-10, SVHN et CUB-200.
   • Diverses méthodes d'attribution sont évaluées, incluant Input-Gradient, Grad*Input, Integrated Gradients, SmoothGrad, VarGrad, et Grad-CAM, tant dans leurs formes originales que carrées.

Résultats clés

• Résultat théorique : Les auteurs prouvent qu'un post-traitement agnostique peut améliorer strictement les scores ROAR (en abaissant la précision ré-entraînée) tout en réduisant ou en éliminant simultanément l'information que la carte d'attribution porte sur la fonction de décision du modèle.
• Résultats empiriques :
  • Les expériences montrent une association constante entre la "flou" du masque et l'amélioration des performances ROAR/ROAD.
  • L'application du post-traitement par lissage gaussien ou Max-pooling aux cartes d'attribution a entraîné des précisions ré-entraînées plus faibles (meilleurs scores ROAR) dans la grande majorité des cas. Spécifiquement, dans le benchmark ROAR, le Max-pooling a abaissé la précision dans 74/81 comparaisons, et le lissage gaussien dans 76/81. Des tendances similaires ont été observées dans la variante ROAD.
  • Les résultats indiquent que le benchmark est sensible à la structure spatiale du masque (préférant les suppressions de type bloc ou flou) plutôt qu'à la seule fidélité de l'attribution à la logique interne du modèle.

Principales contributions

1. Preuve théorique : L'article fournit une preuve formelle, fondée sur l'inégalité de traitement des données, qu'un post-traitement agnostique au modèle/données peut améliorer les scores ROER sans ajouter d'information sur la fonction de décision.
2. Modèle causal structurel : Les auteurs construisent un contre-exemple formel et un modèle causal structurel du processus de génération de données de ROAR pour isoler les modes de défaillance du benchmark.
3. Identification du biais de flou : L'étude révèle un biais persistant des métriques ROAR (et ROAD) envers les masques spatialement flous, démontant que ces métriques peuvent être optimisées par des transformations qui n'améliorent pas la compréhension mécaniste.
4. Directives pratiques : Les auteurs proposent des directives pour un benchmarking plus prudent des méthodes d'interprétabilité, exhortant la communauté à considérer les propriétés géométriques des masques lors de l'interprétation des résultats ROAR.

Signification et affirmations

L'article affirme qu'un classement ROAR amélioré n'est pas, en soi, la preuve qu'une carte d'attribution porte plus d'informations sur le modèle. Au contraire, de telles améliorations peuvent simplement refléter la manière dont le pipeline de génération de masques interagit avec la distribution des données, favorisant spécifiquement les masques qui suppriment efficacement le contenu structuré.

La portée de ce travail réside dans sa position de mise en garde concernant la validation de la compréhension mécaniste. Les auteurs soutiennent que sans traiter ces pièges, les chercheurs ne pourront pas distinguer de manière fiable les méthodes qui révèlent véritablement la structure pertinente à la décision de celles qui produisent simplement des cartes de saillance visuellement attrayantes mais non informatives. Les conclusions suggèrent que les benchmarks actuels peuvent par inadvertance récompenser des géométries de masques spécifiques plutôt que la véritable fidélité de l'attribution, nécessitant une approche plus nuancée pour évaluer les méthodes d'attribution de caractéristiques dans l'audit de modèles liés à la sécurité et la découverte de circuits.