💻 computer science

ProDG: Prototypes for Data-Free Generative Post-Hoc Explainability

Ce papier présente ProDG, un nouveau cadre sans données qui exploite des modèles génératifs pour synthétiser des prototypes visuels haute fidélité directement à partir de poids de modèle figés, permettant ainsi une interprétabilité post-hoc robuste pour des domaines sensibles à la vie privée sans nécessiter l'accès à des données externes.

Auteurs originaux : Piotr Borycki, Magdalena Trędowicz, Jacek Tabor, Łukasz Struski, Przemysław Spurek

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Piotr Borycki, Magdalena Trędowicz, Jacek Tabor, Łukasz Struski, Przemysław Spurek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot ultra-intelligent capable d'examiner une image et de vous dire exactement ce qu'elle représente — par exemple, identifier une race spécifique de chien ou un oiseau rare. Mais voici le hic : le robot est une « boîte noire ». Il vous donne la réponse, mais il ne vous dit pas pourquoi il pense cela. C'est comme un chef qui vous sert un repas parfait mais refuse de vous révéler quels ingrédients il a utilisés.

Pendant longtemps, les scientifiques ont tenté d'entrevoir l'intérieur de la boîte noire. Certaines méthodes se contentaient de mettre en évidence des « points chauds » sur l'image (comme une carte thermique), mais ces zones étaient souvent floues et peu compréhensibles pour les humains. D'autres tentaient de trouver de vrais exemples dans les données d'entraînement du robot qui ressemblaient à la réponse, en disant : « Voyez ? Cette image ressemble à celle-là, c'est pourquoi je l'ai choisie. »

Le Problème de l'Ancienne Méthode
Le problème avec la recherche d'exemples réels est qu'il faut accéder aux données d'entraînement originales du robot. Mais dans de nombreuses situations réelles — comme dans les hôpitaux avec des dossiers de patients privés ou les banques avec des données financières sensibles — ces données sont verrouillées. Vous ne pouvez pas les consulter. Ainsi, les anciennes méthodes butent sur un mur : elles ne peuvent pas expliquer le robot si elles ne peuvent pas voir les données.

La Nouvelle Solution : ProDG
Cet article présente ProDG (Prototypes for Data-Free Generative Post-Hoc Explainability). Imaginez ProDG comme un « artiste de croquis magique » qui n'a pas besoin de voir l'album photo original pour comprendre l'esprit du robot.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. La « Chirurgie Cérébrale » (Désenchevêtrement des Caractéristiques)

Le cerveau du robot (son réseau de neurones) est désordonné. Lorsqu'il voit un « loup », il peut activer 50 parties différentes de son cerveau simultanément, toutes mélangées.

La Solution : ProDG effectue une douce « chirurgie cérébrale ». Il utilise un outil mathématique spécial (appelé Module de Désenchevêtrement Orthogonal des Caractéristiques) pour démêler le chaos. Il réorganise le câblage interne du robot afin que chaque fil spécifique (ou « canal ») soit dédié à une seule idée claire, comme « yeux de loup » ou « museau de loup », sans que les autres idées ne viennent gêner.
La Magie : Il fait cela sans modifier les réponses réelles du robot. C'est comme réorganiser une bibliothèque pour que les livres soient plus faciles à trouver, mais les livres eux-mêmes et les connaissances du bibliothécaire restent exactement les mêmes.

2. Le « Générateur de Rêves » (Prototypes Génératifs)

Habituellement, pour expliquer le robot, il faudrait fouiller dans un tas de vraies photos pour trouver un exemple parfait de « museau de loup ». Mais comme nous ne pouvons pas voir les vraies photos, ProDG utilise un Modèle Génératif (comme un artiste IA haut de gamme).

Le Processus : ProDG parle à cet artiste IA. Il dit : « Hé, j'ai besoin que tu dessines une image qui fasse briller le plus possible le fil 'museau de loup' dans le cerveau du robot. »
Le Résultat : L'artiste IA ne copie pas une vraie photo ; il rêve une nouvelle image parfaite de « museau de loup » à partir de rien. Il continue d'essayer différents croquis jusqu'à trouver celui qui fait dire au cerveau du robot : « Oui ! C'est exactement à quoi je pensais ! »

3. La « Banque de Concepts » (Optimisation des Prompts)

Pour s'assurer que l'artiste IA dessine la bonne chose, ProDG utilise une Banque de Prompts de Concepts. Imaginez cela comme un dictionnaire d'instructions.

Au lieu de simplement dire « dessine un loup », ProDG affine les instructions (les « prompts ») pour les rendre incroyablement spécifiques. Il ajuste légèrement les instructions pour s'assurer que l'artiste dessine une variété de « museaux de loup » différents (certains avec de la fourrure, d'autres avec des cicatrices, d'autres sous différents éclairages) afin que l'explication ne soit pas juste une image unique, ennuyeuse et statique. Cela empêche l'artiste de rester bloqué à dessiner exactement la même image à chaque fois.

Pourquoi Cela Compte

Confidentialité d'Abord : Parce que ProDG crée ces explications à partir de zéro en utilisant les « poids » internes du robot (sa structure cérébrale) et un artiste génératif, il n'a jamais besoin de voir les données privées originales. Vous pouvez expliquer un diagnostic médical sans jamais consulter les dossiers privés du patient.
Explications Plus Claires : Au lieu de montrer une tache rouge floue sur une image (comme les anciennes méthodes), ProDG vous montre une image claire et de haute qualité de la caractéristique spécifique que le robot observe (par exemple : « Je vois les antennes, donc je sais que c'est un insecte »).

L'Essentiel

ProDG est une nouvelle façon d'ouvrir la boîte noire. Il prend une IA figée et immuable, démêle son cerveau désordonné, puis utilise un artiste IA génératif pour « rêver » des exemples parfaits de ce à quoi le robot pense. Cela nous permet de comprendre les décisions complexes de l'IA même lorsque les données originales sont strictement hors de portée, en protégeant la confidentialité tout en rendant le raisonnement de l'IA d'une clarté cristalline.

Résumé Technique : ProDG – Prototypes pour l'Explicabilité Post-Hoc Générative Sans Données

Énoncé du Problème

Les réseaux de neurones profonds ont atteint des performances remarquables en vision par ordinateur, mais restent des « boîtes noires », soulevant des problèmes critiques de confiance et de sécurité. Bien que les méthodes d'explicabilité post-hoc (par exemple, Grad-CAM, LRP) offrent des explications efficaces pour des images individuelles sans réentraînement, elles produisent généralement des cartes thermiques au niveau des pixels qui manquent de sens sémantique clair, obligeant les utilisateurs à inférer le raisonnement du modèle. À l'inverse, les méthodes ante-hoc basées sur des prototypes (par exemple, ProtoPNet) fournissent un raisonnement compréhensible par l'humain du type « cela ressemble à cela », mais nécessitent des architectures spécialisées et un réentraînement extensif.

Les approches hybrides récentes, telles que EPIC, tentent de combler ce fossé en extrayant des explications de type prototype à partir de classificateurs figés sans réentraînement. Cependant, ces méthodes font face à une limitation fondamentale : elles nécessitent l'accès à un sous-ensemble de données réelles (par exemple, un ensemble de validation ou de test) pour rechercher, recadrer et extraire des prototypes visuels. Cette dépendance les rend inutilisables dans des domaines sensibles à la vie privée (par exemple, la santé, la finance) où les jeux de données originaux sont strictement restreints ou inaccessibles.

Méthodologie : Cadre ProDG

ProDG (Prototypes Génératifs pour l'Explicabilité Post-Hoc Sans Données) aborde la question de la dépendance aux données en synthétisant des prototypes visuels purs et haute fidélité directement à partir des poids d'un classificateur figé, éliminant ainsi le besoin de données externes. Le cadre se compose de trois composants principaux :

1. Module de Désenchevêtrement des Caractéristiques Orthogonales

Dans les réseaux standards, les caractéristiques visuelles sont souvent entremêlées à travers plusieurs canaux. ProDG introduit une matrice de changement de base orthogonale $U \in \mathbb{R}^{C \times C}$ pour mapper les activations entremêlées originales $\Phi(x)$ vers un nouvel espace $Z = U \Phi(x)$ .

Objectif : Aligner les nouvelles représentations de canal avec des concepts visuels distincts et sémantiquement significatifs afin que chaque canal s'active fortement pour exactement une caractéristique spécifique.
Garantie de Fidélité : Puisque $U$ est contrainte d'être orthogonale, son inverse est simplement sa transposée ( $U^{-1} = U^T$ ). En modifiant la tête de classification linéaire pour intégrer cette mapping inverse (en multipliant les poids du classificateur par $U^T$ ), le changement de base est mathématiquement annulé lors du passage avant. Cela garantit que le réseau modifié conserve la précision prédictive exacte et les prédictions de logit du modèle de base original.

2. Banque de Prompts de Concept

Pour générer des prototypes sans données réelles, ProDG exploite un modèle génératif figé (spécifiquement FLUX.1-schnell) conditionné par des plongements de texte.

Paramétrisation : Une « Banque de Prompts de Concept » $\mathcal{P} = \{P_c\}_{c=1}^C$ est définie pour chaque canal. Chaque $P_c$ comprend des ancres de plongement figées (dérivées des noms de classes lors d'une phase de découverte initiale) et des paramètres distributionnels apprenables.
Optimisation : Les paramètres apprenables incluent des décalages et des variances pour les plongements de texte. Pour les plongements T5 haute dimension, une Adaptation à Faible Rang (LoRA) est utilisée ; pour les plongements CLIP, des décalages directs sont appris.
Diversité : Les plongements sont formulés comme des distributions probabilistes. En utilisant l'astuce de reparamétrisation, le système échantillonne à partir de ces distributions pour générer des images de prototypes diversifiées plutôt qu'une seule image statique par concept.

3. Schéma d'Optimisation Alternée

Le cadre optimise conjointement la matrice de transformation $U$ et les paramètres de la banque de prompts $\Theta_c$ en utilisant une stratégie alternée :

Phase 1 (Mise à jour de $U$ ) : Geler les paramètres de prompts, échantillonner des images pour les canaux cibles, et mettre à jour $U$ pour maximiser la métrique de pureté (le rapport entre l'activation maximale dans un canal spécifique et la norme du vecteur de caractéristiques à cet emplacement spatial).
Phase 2 (Mise à jour des Prompts) : Geler $U$ $U$ , générer des images, et mettre à jour les plongements pour maximiser la pureté tout en appliquant deux pertes de régularisation :
- Perte de Régularisation ( $L_{reg}$ ) : Pénalise les grandes déviations des plongements appris par rapport aux ancres de langage naturel significatives pour maintenir l'alignement sémantique.
- Perte de Diversité ( $L_{div}$ ) : Encourage la génération d'images différentes pour le même canal afin d'éviter l'effondrement de mode, calculée via la similarité cosinus par paires des vecteurs de caractéristiques.

Génération d'Explications

Lors de l'inférence, le système identifie les $k$ canaux les plus influents pour une classe prédite. Il échantillonne ensuite la banque de prompts optimisée pour générer les images correspondantes. Les explications visuelles sont dérivées en calculant des cartes thermiques d'activation basées sur le produit de la Pureté Spatiale (dominance du canal) et de la Magnitude Relative (activation normalisée), résultant en des boîtes englobantes localisées qui mettent en évidence les régions prototypiques.

Contributions Clés

Cadre Sans Données : ProDG est la première méthode basée sur des prototypes qui synthétise des explications de prototypes sans nécessiter l'accès aux jeux de données originaux ou de validation.
Conditionnement Optimisé par Pureté : L'introduction d'un mécanisme qui utilise des modèles génératifs pour créer des concepts visuels haute fidélité et interprétables directement à partir des poids d'un classificateur figé.
Interprétabilité Préservant la Vie Privée : La méthode offre une alternative sécurisée à l'extraction dépendante des données traditionnelle, fournissant des représentations conceptuelles plus claires, exemptes de bruit de fond non pertinent, adaptées aux environnements restreints.

Résultats et Évaluation

Les auteurs ont évalué ProDG sur quatre benchmarks (CUB-200-2011, Stanford Cars, Stanford Dogs et ImageNet) en utilisant diverses architectures de base (ResNet, DenseNet, ConvNeXt, SwinTransformer).

Fidélité Prédictive : Comme garanti théoriquement, ProDG maintient exactement la précision du modèle de base (0 % de différence) sur tous les jeux de données et architectures, correspondant aux performances de EPIC et InfoDisent.
Performance Qualitative : Les comparaisons visuelles montrent que ProDG produit des indices sémantiquement riches (par exemple, structure de l'objet, texture) comparables aux méthodes dépendantes des données comme EPIC, capturant efficacement les régions discriminatives.
Diversité Intra-Concept : En utilisant la métrique LPIPS (Similarité Apprise des Patchs d'Image Perceptuelle), ProDG a démontré des scores élevés ( $\geq 0,61$ ), indiquant que le cadre évite avec succès l'effondrement de mode et génère des variations visuelles diversifiées pour le même concept.
Étude Utilisateur : Dans une étude sur ImageNet, les participants ont atteint une précision significativement supérieure au hasard (73 % contre une sélection aléatoire) lors de l'identification de classes basées sur les explications de ProDG. Dans une comparaison à trois voies (ProDG vs InfoDisent vs EPIC), ProDG a obtenu le rang moyen le plus élevé (1,85), avec des différences statistiquement significatives trouvées par rapport à InfoDisent.

Signification et Limites

L'article affirme que ProDG établit une nouvelle frontière dans l'IA Explicable Sans Données (Data-Free XAI), débloquant une interprétabilité visuelle robuste pour des environnements hautement contraints où l'accès aux données est impossible. En découplant la découverte de prototypes de la disponibilité des données, elle permet la transparence dans les domaines sensibles à la vie privée.

Les auteurs reconnaissent modestement les limites inhérentes à l'approche générative :

Biais de Prior Génératif : Si les concepts cibles sont entièrement hors distribution pour le modèle génératif sous-jacent (par exemple, FLUX), l'optimisation des prompts peut avoir du mal à synthétiser des prototypes valides.
Adaptation de Domaine : L'application du cadre à des domaines spécialisés peut nécessiter de remplacer le prior génératif par un modèle spécifique au domaine.
Initialisation : Bien que l'initialisation par ancre de texte aide à la convergence, des stratégies d'initialisation plus avancées pourraient potentiellement améliorer la capture de caractéristiques visuelles hautement abstraites.