Why Does It Look There? Structured Explanations for Image Classification

Ce papier présente I2X, un cadre innovant qui transforme les interprétations non structurées en explications structurées pour révéler le processus de décision des modèles d'apprentissage profond et améliorer leur précision grâce à un ajustement ciblé.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, en français.

🕵️‍♂️ Le Problème : La Boîte Noire

Imaginez que vous avez un super-cerveau artificiel (une intelligence artificielle) qui est excellent pour reconnaître des photos. Il peut dire "C'est un chat" ou "C'est un chien" avec une précision incroyable. Mais il y a un gros problème : ce cerveau est une "boîte noire".

Quand il regarde une photo, il prend une décision, mais personne ne sait pourquoi. Il ne vous dit pas : "J'ai vu des oreilles pointues, donc c'est un chat". Il vous donne juste la réponse. C'est comme si un ami vous disait "Je sais que c'est un chat" sans jamais vous expliquer ce qu'il a vu. C'est effrayant et peu fiable, surtout dans des domaines importants comme la médecine.

💡 La Solution : I2X (De l'Interprétation à l'Explication)

Les chercheurs de Tulane ont créé une méthode appelée I2X (Interprétation vers Explication). Leur but est de transformer les "indices flous" en une histoire structurée que l'on peut comprendre.

Voici comment cela fonctionne, avec une analogie simple :

1. Le Dessin de la "Zone d'Attention" (L'Interprétation Floue)

D'habitude, les outils existants montrent une carte de chaleur (comme un thermomètre visuel) sur l'image. Ils disent : "Regarde ici, le modèle a regardé cette partie de l'image".

• Le problème : C'est comme si on vous montrait une carte avec un point rouge sur une ville, mais sans vous dire pourquoi ce point est rouge ni quelle partie de la ville a été visitée. C'est de l'interprétation non structurée.

2. La Création de "Morceaux de Puzzle" (Les Prototypes)

L'astuce d'I2X, c'est de découper cette carte de chaleur en morceaux de puzzle récurrents, qu'ils appellent des prototypes.

• Imaginez que le modèle apprend à reconnaître le chiffre 7.
• Au lieu de voir l'image entière d'un coup, le modèle apprend par étapes :
  • "Ah, il y a une barre horizontale en haut !" (Prototype A)
  • "Ah, il y a une barre diagonale qui descend !" (Prototype B)
• Ces prototypes sont comme des morceaux de Lego que le modèle assemble pour former sa réponse.

3. Le Film du Apprentissage (L'Histoire Structurée)

C'est là que I2X devient magique. Au lieu de juste regarder la photo finale, I2X regarde l'entraînement du modèle comme un film.

• Il observe : "Au début, le modèle ne savait pas distinguer un 7 d'un 1. Puis, il a appris le 'morceau de puzzle' de la barre horizontale. Ensuite, il a appris la barre diagonale."
• Cela permet de répondre à la question : "Pourquoi ça ressemble à ça ?" (Why does it look there ?).
• On obtient une explication structurée : "Le modèle a reconnu un 7 parce qu'il a vu la barre horizontale (Prototype A) et la diagonale (Prototype B), et il a ignoré la boucle du chiffre 9."

🎭 L'Analogie du Chef Cuisinier

Imaginez un chef cuisinier (le modèle) qui apprend à faire un gâteau.

• L'approche classique : Il vous donne le gâteau et dit "C'est bon". Vous ne savez pas ce qu'il a mis dedans.
• L'approche I2X : Le chercheur regarde le chef pendant qu'il apprend. Il voit que le chef a d'abord appris à reconnaître la farine, puis les œufs, puis le sucre.
• Le problème détecté : Parfois, le chef confond la farine avec de la poudre à pâtisserie (un "prototype incertain"). Il met trop de poudre, et le gâteau rate.
• La solution I2X : Grâce à l'observation, on dit au chef : "Arrête d'utiliser cette poudre, elle te trompe. Concentre-toi sur la vraie farine."
• Le résultat : On réentraîne le chef spécifiquement sur ce point faible. Il devient meilleur, plus rapide et fait moins d'erreurs.

🚀 Pourquoi c'est génial ?

Ce papier montre deux choses importantes :

1. On comprend enfin le cerveau du modèle : On peut voir exactement quelles "pièces" (prototypes) il utilise pour prendre ses décisions et comment il les assemble au fil du temps.
2. On peut réparer le modèle : En identifiant les pièces qui posent problème (les prototypes qui font confondre un chat avec un chien, ou un 7 avec un 2), on peut modifier l'entraînement pour éliminer ces confusions. C'est comme un coach sportif qui corrige la posture d'un athlète pour qu'il gagne plus de courses.

En Résumé

I2X transforme la magie noire de l'intelligence artificielle en un manuel d'instructions clair. Il ne se contente pas de dire "C'est un chat", il explique : "J'ai vu des oreilles pointues et une queue, et j'ai éliminé l'option 'renard' parce que la queue n'est pas touffue."

C'est un pas de géant vers des intelligences artificielles plus honnêtes, transparentes et fiables.

Résumé technique

Voici un résumé technique détaillé du papier « Why Does It Look There? Structured Explanations for Image Classification » (Pourquoi cela ressemble-t-il à cela ? Explications structurées pour la classification d'images), présenté en français.

1. Problématique

Les modèles d'apprentissage profond (Deep Learning) excellent dans des tâches comme la classification d'images, mais leur nature de « boîte noire » limite la transparence et la confiance. Bien que de nombreuses méthodes d'IA explicable (XAI) existent, elles souffrent de plusieurs limitations majeures :

• Interprétabilité non structurée : La plupart des méthodes fournissent des cartes de saillance (saliency maps) ou des concepts isolés, qui ne racontent pas l'histoire complète du processus de décision.
• Manque de fidélité : Les approches récentes tentent souvent d'utiliser des modèles auxiliaires (comme GPT ou CLIP) pour verbaliser les concepts appris, ce qui peut introduire des hallucinations et s'éloigner du comportement réel du modèle original.
• Absence de causalité explicite : Il manque une compréhension de comment le modèle organise et utilise les différentes régions d'une image pour apprendre et inférer, en particulier l'évolution de ces décisions au cours de l'entraînement.

L'objectif est de passer d'une simple interprétation visuelle à une explication structurée qui répond à la question : « Pourquoi le modèle se concentre-t-il sur cette région ? » en retraçant l'évolution des preuves internes du modèle.

2. Méthodologie : Le cadre I2X (Interpretability to Explainability)

Les auteurs proposent I2X, un cadre qui transforme les interprétations non structurées (post-hoc) en explications structurées en suivant l'évolution du modèle à travers les points de contrôle (checkpoints) de l'entraînement.

Le processus se déroule en plusieurs étapes clés :

1. Extraction d'Interprétations Non Structurées :

   • Utilisation de méthodes post-hoc (comme GradCAM) pour générer des cartes de saillance à chaque point de contrôle de l'entraînement.
   • Ces cartes indiquent où le modèle regarde, mais sans structure sémantique.

2. Construction de Prototypes Abstraits :

   • Les auteurs appliquent une analyse en composantes principales (PCA) suivie d'un clustering K-Means sur les vecteurs de caractéristiques latentes extraites par le modèle.
   • Cela permet d'identifier des prototypes abstraits (centroïdes) qui représentent des motifs récurrents (ex: une diagonale, un point, une ligne horizontale) présents dans les données.
   • Chaque région de l'image est ainsi associée à un prototype spécifique.

3. Quantification de l'Intensité des Prototypes :

   • Pour chaque échantillon et chaque checkpoint, l'intensité de chaque prototype est calculée en agrégeant les valeurs de la carte de saillance sur les zones correspondant à ce prototype.
   • Cela crée un vecteur d'intensité de prototypes $P^t$ qui évolue au fil du temps.

4. Suivi de la Confiance et Regroupement :

   • Les changements de confiance du modèle ($\Delta \hat{y}$) entre deux checkpoints sont analysés.
   • Une méthode de clustering dense (HDBSCAN) regroupe les échantillons ayant des schémas similaires d'évolution de confiance.

5. Cartographie et Explication Structurée :

   • Une régression ridge est utilisée pour modéliser la relation entre l'évolution de l'intensité des prototypes et le changement de confiance du modèle.
   • Cela permet de construire une explication structurée qui identifie :
     • Les prototypes partagés : motifs communs à tous les échantillons d'une classe qui soutiennent la prédiction.
     • Les prototypes spécialisés : motifs spécifiques à des sous-groupes.
     • Les prototypes incertains : motifs dont le rôle oscille entre plusieurs classes, causant de la confusion.

3. Contributions Clés

• Transition Interprétabilité $\to$ Explicabilité : Le cadre I2X formalise le passage de cartes de chaleur brutes à une narration causale structurée sur l'apprentissage du modèle.
• Fidélité Intrinsèque : Contrairement aux méthodes utilisant des LLM externes, I2X dérive ses explications directement des mécanismes internes du modèle (confiance + prototypes), garantissant une fidélité totale au comportement original.
• Analyse de l'Évolution Temporelle : Le cadre permet de visualiser quand et comment un modèle apprend à distinguer des classes (ex: d'abord séparer les cas faciles, puis les cas ambigus).
• Optimisation Guidée par l'Explication : La méthode permet d'identifier des prototypes incertains qui dégradent les performances et de proposer des stratégies de fine-tuning ciblées.

4. Résultats Expérimentaux

Les expériences ont été menées sur MNIST et CIFAR-10 avec des architectures ResNet-50 et InceptionV3.

• Compréhension de l'Apprentissage (MNIST) :

  • L'analyse montre que le modèle apprend à reconnaître le chiffre 7 en le distinguant d'abord des chiffres 2 et 6 (via des motifs clairs comme une diagonale ou une ligne horizontale), puis gère les cas plus ambigus (comme le 1 ou le 9) plus tard dans l'entraînement.
  • Impact de l'ordre des données : Une variation aléatoire de l'ordre des données d'entraînement modifie la séquence de sélection des prototypes, conduisant à des stratégies d'inférence différentes et à des taux de confusion différents entre les classes (ex: confusion 7 vs 2).

• Amélioration des Performances par Fine-Tuning Ciblé :

  • En identifiant un prototype incertain (ex: P-17 pour la confusion 7/2 sur MNIST), les auteurs ont créé un jeu de données « curaté » en excluant les échantillons contenant ce prototype.
  • Résultats : Un fine-tuning sur ce jeu de données curaté, suivi d'une phase sur le jeu complet, a réduit la confusion entre les classes 2 et 7 de 14,80 à 8,40 (en moyenne) tout en augmentant la précision globale à 98,64 %.
  • Sur CIFAR-10, l'identification d'un prototype incertain (P-72, bordure noir/orange) a permis de réduire la confusion entre chats et chiens, améliorant la précision de 81,43 % à 84,02 %.

• Généralisation : Le cadre fonctionne efficacement sur différents modèles (ResNet, Inception) et ensembles de données, prouvant sa robustesse.

5. Signification et Impact

Ce travail est significatif car il offre une approche pratique pour comprendre et guider l'optimisation des modèles d'apprentissage profond :

1. Transparence : Il fournit une vue détaillée et structurée du processus décisionnel, répondant directement aux questions de confiance et de sécurité dans des domaines critiques (médecine, biologie).
2. Optimisation Data-Centric : Il démontre que l'explicabilité peut être utilisée activement pour améliorer les modèles. En identifiant les sources de confusion (prototypes incertains), on peut nettoyer les données ou ajuster l'entraînement pour obtenir des modèles plus précis et stables.
3. Fondation pour le Futur : Les auteurs suggèrent que ce cadre pourrait être intégré à des approches de « conception explicable » (explain-by-design) comme ProtoPNet, réduisant ainsi la dépendance aux méthodes post-hoc à l'avenir.

En résumé, I2X transforme l'IA de « boîte noire » en un système dont le processus d'apprentissage peut être audité, compris et optimisé de manière ciblée.