🤖 AI

The Confusion is Real: GRAPHIC -- A Network Science Approach to Confusion Matrices in Deep Learning

Ce papier présente GRAPHIC, une méthode agnostique à l'architecture qui applique la science des réseaux aux matrices de confusion dérivées des couches intermédiaires des réseaux de neurones pour visualiser et quantifier systématiquement les dynamiques de confusion des classes, la séparabilité linéaire et les problèmes de jeu de données tout au long du processus d'entraînement.

Auteurs originaux : Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un élève apprend à identifier différents animaux dans un album photo. Habituellement, vous vous contentez de regarder sa note finale : « Il a eu 90 % de bonnes réponses ! » Mais cela ne vous dit pas pourquoi il s'est trompé sur les 10 % restants, ni s'il confond un chat avec un chien parce qu'ils se ressemblent, ou simplement parce que l'élève devine au hasard.

Ce papier présente un nouvel outil appelé GRAPHIC (qui est l'acronyme, long et sophistiqué, de graphes et de confusion). Considérez GRAPHIC comme une « Carte de Confusion » qui vous permet de jeter un coup d'œil dans le cerveau de l'élève pendant qu'il étudie, et pas seulement à la fin.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Test Secret » (Le Classifieur Linéaire)

Les modèles d'apprentissage profond (les « élèves ») possèdent de nombreuses couches cachées où ils traitent l'information. Il est difficile de voir ce qu'ils pensent dans ces couches intermédiaires.

L'Astuce : Les chercheurs prennent les « notes » que le modèle écrit dans ces couches intermédiaires et les donnent à un enseignant très simple et honnête (appelé un Classifieur Linéaire).
Le Test : Cet enseignant demande : « Si je ne voyais que ces notes, pourrais-je faire la différence entre un « poisson plat » et un « homme » ? »
Le Résultat : Cela crée une Matrice de Confusion. C'est une grille qui montre exactement à quelle fréquence le modèle confond une chose avec une autre. Par exemple, elle peut indiquer que le modèle confond « poisson plat » avec « homme » 20 % du temps.

2. Transformer la Grille en un « Réseau Social »

Au lieu de simplement regarder un ennuyeux tableur de chiffres, GRAPHIC transforme cette grille en une carte de réseau social.

Les Nœuds (Points) : Chaque catégorie (comme « Pomme », « Ours » ou « Voiture ») est un point sur la carte.
Les Arêtes (Lignes) : Si le modèle confond souvent deux choses, une ligne les relie.
- Une ligne épaisse signifie qu'ils sont très confondus (par exemple, le modèle pense qu'un « poisson plat » est un « homme » très souvent).
- Une ligne fine signifie qu'ils sont rarement confondus.
- Des flèches indiquent la direction de l'erreur (par exemple, « Homme » est rarement appelé « Poisson plat », mais « Poisson plat » est souvent appelé « Homme »).

3. Qu'ont-ils Découvert ?

En observant comment ce « réseau social » évolue au fur et à mesure que le modèle apprend, les chercheurs ont découvert des choses surprenantes :

Les « Enfants Populaires » du Premier Jour : Dès la toute première seconde de l'entraînement, quelques classes aléatoires (comme « Clavier d'ordinateur » ou « Mer ») sont devenues des « hubs ». Le modèle a deviné ces noms pour presque tout. Ce n'était pas parce que le modèle était intelligent ; c'était simplement à cause de l'ordre dans lequel les photos étaient présentées. C'est comme si un enseignant vous montrait d'abord une photo d'un clavier, vous pourriez deviner « clavier » pour les 10 photos suivantes simplement parce que vous êtes bloqué sur cette idée.
Formation de Cliqués : À mesure que l'entraînement progressait, les points ont commencé à se regrouper en « cliqués » basés sur le sens réel. Les « Animaux » ont commencé à traîner ensemble, et les « Arbres » ont commencé à traîner ensemble. Le modèle apprenait les concepts, et non pas simplement à mémoriser des pixels.
Le Mystère « Poisson Plat » vs « Homme » : La carte montrait une ligne forte reliant « Poisson plat » et « Homme ». Pourquoi ? Les chercheurs ont examiné les photos et réalisé que l'ensemble de données était biaisé. De nombreuses photos de « poissons plats » montraient des pêcheurs tenant leur prise. Le modèle a appris : « Si je vois un humain tenant un poisson, c'est un poisson plat ». Ce n'était pas une similarité visuelle ; c'était un indice contextuel provenant d'un mauvais ensemble de données.
Le Flou « Bébé » vs « Garçon » vs « Fille » : Le modèle était très confus entre les bébés, les garçons et les filles. Les chercheurs ont demandé à 31 humains d'étiqueter ces mêmes photos, et les humains étaient aussi confus ! Les photos étaient simplement trop floues ou les âges trop ambigus. Le modèle n'était pas « stupide » ; les étiquettes dans l'ensemble de données étaient simplement désordonnées.
Le Biais de la « Couleur des Feuilles » : Le modèle confondait les « Érables » avec les « Chênes ». Pourquoi ? Les photos d'érables avaient été prises principalement en automne (feuilles rouges/jaunes), tandis que les chênes étaient verts. Le modèle avait appris à identifier les arbres par la saison, et non par le type d'arbre.

4. La Surprise du « Transformer »

Les chercheurs ont testé deux types de modèles : un standard (ResNet) et un plus récent, plus complexe (un Vision Transformer).

Le Modèle Standard : Au fur et à mesure qu'il apprenait, il devenait meilleur pour séparer les choses de manière linéaire (comme trier les pommes des oranges) tout au long du processus.
Le Transformer : Il a commencé par devenir meilleur pour séparer les choses, mais ensuite, dans ses premières étapes, il est devenu moins bon pour les séparer avant de redevenir meilleur. C'est comme si le Transformer devait « désapprendre » certaines règles simples pour en apprendre de plus complexes, tandis que le modèle standard se contentait d'empiler des règles les unes sur les autres.

Résumé

GRAPHIC est comme un microscope pour les « erreurs » qu'un réseau neuronal commet. Au lieu de simplement dire « le modèle a une précision de 90 % », il dessine une carte de qui confond qui. Cela aide les chercheurs à voir si le modèle apprend les bonnes choses, ou s'il adopte simplement de mauvaises habitudes (comme confondre un poisson avec un homme à cause d'un pêcheur en arrière-plan) ou si l'ensemble de données lui-même est défectueux (comme des photos floues de bébés).

Il transforme la « boîte noire » de l'IA en un réseau social visible de confusions, révélant que parfois la confusion est réelle, et parfois c'est la faute des données.

Résumé Technique : GRAPHIC – Une Approche par la Science des Réseaux pour les Matrices de Confusion en Apprentissage Profond

Définition du Problème

L'Intelligence Artificielle Explicable (XAI) est devenue cruciale pour répondre aux préoccupations de fiabilité dans l'apprentissage profond, en particulier dans des domaines à haut risque tels que le diagnostic médical et la conduite autonome. Cependant, les méthodes d'explication post-hoc existantes présentent des limitations significatives :

Les méthodes locales (par exemple, Grad-CAM, LIME) se concentrent sur des échantillons individuels, ce qui les rend vulnérables au bruit d'étiquetage et aux biais d'échantillonnage, et ne parviennent pas à fournir une vue globale du comportement du modèle.
Les méthodes basées sur les concepts (par exemple, TCAV) reposent sur des concepts définis par l'humain, qui peuvent ne pas correspondre aux représentations abstraites réellement apprises par le réseau.
Les méthodes structurelles globales se concentrent souvent sur l'organisation de l'espace des caractéristiques mais manquent d'un moyen systématique de visualiser la dynamique de confusion au niveau des classes au fil du temps.
Les visualisations de matrices de confusion existantes (par exemple, ConfusionFlow) sont souvent limitées à la dernière couche et au modèle convergé, manquant l'évolution des dynamiques d'apprentissage et des comportements des couches intermédiaires.

Un vide spécifique existe dans la construction et l'analyse des matrices de confusion (MC) pour les couches cachées des réseaux de neurones (RN) afin de comprendre comment la séparabilité des classes et la confusion évoluent pendant l'entraînement.

Méthodologie : GRAPHIC

Les auteurs proposent GRAPHIC (Représentation et Analyse Graphiques des Prédictions et de l'Interprétabilité des Couches Cachées via la Confusion), un cadre indépendant de l'architecture qui traite la confusion au niveau des classes comme un problème de science des réseaux.

1. Génération de Matrices de Confusion pour les Couches Cachées

Puisque les couches cachées ne produisent pas directement de prédictions de classes, GRAPHIC emploie des Classificateurs Linéaires (CL) entraînés sur les vecteurs de caractéristiques des couches intermédiaires.

Stratégie d'Entraînement : Les CL sont entraînés en utilisant une fonction de perte d'entropie croisée personnalisée qui intègre à la fois les vraies étiquettes ( $y$ $y$ ) et les prédictions du RN analysé ( $\tilde{y}$ $\tilde{y}$ ) :
$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$
- $\lambda = 1$ (Vraies Étiquettes) : Mesure la séparabilité linéaire intrinsèque des caractéristiques à cette couche.
- $\lambda = 0$ (Étiquettes Prédites) : Mesure la « compréhension » actuelle du modèle et les dynamiques d'entraînement. Le CL est entraîné pour reproduire les prédictions du RN, fournissant des informations sur l'apprentissage des classes sans s'appuyer sur la vérité terrain.
Construction de la MC : Les CL entraînés sont appliqués à des vecteurs de caractéristiques non vus (provenant d'une partie retenue de l'ensemble d'entraînement ou de l'ensemble de validation) pour générer des matrices de confusion normalisées $C$ .

2. Représentation Graphique

Les matrices de confusion sont interprétées comme des matrices d'adjacence de graphes orientés :

Nœuds : Représentent les classes dans le jeu de données.
Arêtes : Représentent la probabilité qu'un échantillon de la classe $i$ soit prédit comme la classe $j$ .
Pondération : La matrice d'adjacence est définie comme $C_{ad} = C - C \odot I_N$ , isolant les prédictions erronées (éléments hors diagonale) pour se concentrer sur la confusion.

3. Analyse par Science des Réseaux

Les auteurs appliquent des outils standards de science des réseaux à ces graphes :

Détection de Communautés : Utilisation de la maximisation de la Modularité ( $Q$ ) (via l'algorithme Louvain dirigé) pour identifier des « Communautés de Confusion » (CC) — des groupes de classes fréquemment confondues entre elles. Cela révèle des structures sémantiques émergentes sans étiquettes prédéfinies.
Assortativité : Calcul du coefficient d'assortativité pour mesurer dans quelle mesure la structure de confusion apprise s'aligne avec des regroupements prédéfinis (par exemple, « naturels » vs « artificiels » ou superclasses du jeu de données).
Évolution Temporelle : Analyse de ces graphes à travers les époques d'entraînement et les couches du réseau pour retracer l'évolution des dynamiques d'apprentissage.

Contributions Clés

Approche d'Analyse Nouvelle : GRAPHIC est la première méthode indépendante de l'architecture à générer et analyser des matrices de confusion pour les couches intermédiaires en utilisant des CL entraînés à la fois sur les vraies et les prédites étiquettes. Elle interprète ces matrices comme des graphes orientés pour exploiter les outils de science des réseaux.
Diagnostic des Jeux de Données et de l'Étiquetage : La méthode identifie des problèmes cachés dans les jeux de données, des ambiguïtés d'étiquetage et des biais qui sont masqués par le grand nombre de classes. Ces résultats sont validés par une étude humaine.
Observation des Tendances de Séparabilité Linéaire : L'étude fournit des preuves empiriques sur la séparabilité linéaire des couches intermédiaires, notant notamment un déclin de la séparabilité dans les premiers décodeurs des transformateurs visuels, contrairement à l'augmentation monotone observée dans les CNN.

Résultats Expérimentaux

Des expériences ont été menées sur ResNet-50 (CNN) et EffVit (Transformateur Visuel) utilisant CIFAR-100 et Tiny ImageNet.

1. Évolution des Communautés de Confusion

Début de l'Entraînement : Quelques classes dominantes agissent comme des « hubs de confusion » (par exemple, « clavier d'ordinateur », « mer », « opossum » dans ResNet-50). Les hubs spécifiques dépendent fortement de l'ordre des données d'entraînement, et pas seulement de l'initialisation du modèle.
Convergence : À mesure que l'entraînement progresse, des communautés sémantiquement significatives (par exemple, animaux, arbres, humains) émergent. La confusion intergroupe diminue et la modularité augmente.
Différences de Couches : Dans ResNet-50, les couches plus profondes montrent des regroupements plus clairs et une modularité plus élevée. Dans EffVit, les premiers décodeurs gagnent initialement en séparabilité linéaire mais la perdent ensuite à mesure que l'entraînement progresse, suggérant une dynamique d'apprentissage différente de celle des CNN.

2. Problèmes de Jeux de Données et Biais

GRAPHIC a réussi à visualiser des artefacts spécifiques des jeux de données :

Biais de Couleur des Feuilles : Les érables et les chênes étaient fréquemment confondus. L'analyse a révélé que le modèle se fiait aux couleurs saisonnières des feuilles (rouge/jaune pour l'érable, vert pour le chêne) plutôt qu'aux caractéristiques structurelles. La modification des couleurs des feuilles dans les images de test a corrigé les prédictions.
Biais Contextuel : Une forte confusion non réciproque a été trouvée entre « poisson plat » et « homme ». Cela a été attribué à des images du jeu de données où des pêcheurs tiennent des poissons plats, amenant le modèle à associer le contexte (tenir un poisson) à la classe « homme ».
Ambiguïté d'Étiquetage : Des classes comme « garçon », « fille » et « bébé » formaient une communauté de confusion serrée. Une étude humaine (31 participants) a confirmé que ces classes sont intrinsèquement ambiguës même pour les humains en raison de la qualité des images et des limites de définition de l'âge et du genre.
Problèmes de Tiny ImageNet : Des confusions entre « décapotable » et « voiture de sport », et « chat tigré » et « chat égyptien » ont été identifiées, révélant des chevauchements d'étiquettes et des incohérences de définition dans le jeu de données.

3. Séparabilité Linéaire

ResNet-50 : La séparabilité linéaire (mesurée par la précision du CL sur les vraies étiquettes) augmentait de manière monotone avec la profondeur et les époques d'entraînement, conformément à la littérature antérieure.
EffVit : Alors que les décodeurs ultérieurs montraient une séparabilité croissante, les premiers décodeurs présentaient un déclin de la séparabilité linéaire après une hausse initiale. Cela suggère que les transformateurs visuels peuvent apprendre la localité et le contexte global différemment des CNN, potentiellement en désapprenant la séparabilité linéaire aux premiers stades pour former des représentations plus complexes.

Signification et Revendications

L'article revendique que GRAPHIC offre une nouvelle perspective sur la façon dont les réseaux de neurones apprennent en révélant les « vraies confusions » grâce à une approche structurelle pilotée par les données.

Informations Actionnables : En visualisant la confusion au niveau des classes, GRAPHIC aide à identifier les biais de jeux de données et les erreurs d'étiquetage que les métriques de précision standard manquent.
Compréhension Architecturale : Elle révèle des différences fondamentales dans les dynamiques d'apprentissage entre les CNN et les Transformateurs, spécifiquement concernant la stabilité de la séparabilité linéaire dans les couches intermédiaires.
Confiance et Fiabilité : La méthode fournit des visualisations interprétables qui peuvent guider la conception de jeux de données et améliorer la fiabilité des modèles, ce qui est crucial pour des applications à haut risque comme l'imagerie médicale.
Limites : Les auteurs reconnaissent la surcharge computationnelle liée à l'entraînement de CL à plusieurs couches et époques, bien qu'ils suggèrent des stratégies telles que l'arrêt anticipé et la réutilisation des CL pour atténuer cela. Ils notent également que l'interprétation de la signification sémantique des confusions observées nécessite toujours une analyse manuelle.

En résumé, GRAPHIC comble le fossé entre l'explicabilité locale et l'analyse structurelle globale, utilisant la science des réseaux pour fournir une vue systématique, au niveau des classes, du processus d'entraînement et de l'intégrité des jeux de données.