🤖 machine learning

Explainable Concept Generation through Vision-Language Preference Learning for Understanding Neural Networks' Internal Representations

Cet article propose un algorithme d'optimisation de préférence basé sur l'apprentissage par renforcement (RLPO) qui automatise la génération d'ensembles d'images de concepts à partir de descriptions textuelles, surmontant ainsi les limites laborieuses et sujettes aux erreurs de la collecte manuelle de concepts pour expliquer les représentations internes des réseaux de neurones.

Auteurs originaux : Aditya Taparia, Som Sagar, Ransalu Senanayake

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aditya Taparia, Som Sagar, Ransalu Senanayake

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super intelligent (un réseau de neurones) capable de vous dire si une image est un zèbre ou un tigre. Mais voici le problème : le robot est une « boîte noire ». Vous lui demandez : « Pourquoi as-tu dit que c'est un zèbre ? » et il se contente de vous donner une réponse mathématique qui n'a aucun sens pour un humain.

Pour corriger cela, les scientifiques essaient généralement d'expliquer le raisonnement du robot en utilisant des concepts. Au lieu de dire « le pixel n°402 est vert », ils disent : « C'est à cause des rayures ».

L'ancienne méthode : Deviner la recette

Traditionnellement, pour apprendre au robot ce qu'est une « rayure », un humain devait sortir, trouver des centaines d'images de rayures, et les nourrir manuellement le robot.

Le problème : C'est comme essayer de deviner l'ingrédient secret d'un gâteau en le goûtant. Vous pourriez deviner « le sucre », mais peut-être que le secret était « la cardamome ». Les humains sont mauvais pour deviner toutes les règles cachées qu'un robot a apprises. Nous pourrions manquer le fait que le robot considère aussi les « zèbres » comme étant liés à « l'herbe boueuse » ou à « la course rapide », et pas seulement aux rayures.

La nouvelle méthode : Le « Pinceau Magique » (RLPO)

Ce document présente une nouvelle méthode appelée RLPO (Reinforcement Learning-based Preference Optimization - Optimisation des préférences basée sur l'apprentissage par renforcement). Considérez cela comme un Pinceau Magique qui apprend à peindre exactement les images auxquelles le robot pense, sans qu'un humain ait besoin de deviner les mots au préalable.

Voici comment cela fonctionne, étape par étape :

1. L'Artiste et le Critique

L'Artiste (Stable Diffusion) : C'est un programme informatique capable de dessiner n'importe quoi à partir d'une description textuelle.
Le Critique (Le cerveau du Robot) : C'est le robot que nous essayons de comprendre. Il ne parle pas la langue humaine ; il parle en « scores ».
Le Jeu : L'Artiste essaie de dessiner une image basée sur un mot aléatoire (comme « rayures »). Le Critique regarde le dessin et demande : « Est-ce que ce dessin m'aide à comprendre pourquoi j'ai appelé cette image un zèbre ? »
- Si le dessin aide le Critique, il donne un score élevé.
- Si le dessin est non pertinent, il donne un score faible.

2. La boucle de rétroaction (La partie « Préférence »)
Au lieu qu'un humain dise à l'Artiste : « Non, ce n'est pas une rayure », le système utilise le score du Critique comme un enseignant.

L'Artiste dessine une image.
Le Critique attribue un score.
Le système dit : « D'accord, ce score était bon. Essayons de faire en sorte que la prochaine image ressemble davantage à celle-ci. »
Avec le temps, l'Artiste devient de plus en plus doué pour dessiner exactement ce qui importe au robot, même si le robot s'intéresse à des choses étranges que les humains ne penseraient pas.

3. L'Apprentissage par Renforcement (Le Coach)
Imaginez un coach qui dit à l'Artiste : « Tu te rapproches ! Essaie de te concentrer sur l'arrière-plan plutôt que sur l'animal. » Le système ajuste automatiquement le « cerveau » de l'Artiste (ses poids) pour trouver les meilleurs mots pour décrire les pensées du robot. C'est comme un jeu vidéo où le joueur (le système) continue d'essayer différentes actions jusqu'à trouver la stratégie gagnante.

Qu'ont-ils découvert ?

Lorsqu'ils ont utilisé ce Pinceau Magique sur un robot entraîné à reconnaître les zèbres, il n'a pas seulement dessiné des rayures. Il a découvert et dessiné :

Les rayures (l'évidence).
Le mouvement de course (le robot regardait les arbres en arrière-plan qui donnaaient l'impression que le zèbre courait).
La boue/l'herbe (le robot prêtait attention au sol).

Pourquoi est-ce génial ?

Les humains l'ont manqué : Lorsque les chercheurs ont demandé aux ingénieurs humains de deviner ce que le robot regardait, les humains ont principalement deviné « les rayures ». Ils ont manqué les concepts de « course » et de « boue ». Le Pinceau Magique les a trouvés automatiquement.
Ce n'est pas seulement des images : Le document montre également que cela fonctionne pour le texte. Si vous avez un robot qui lit des critiques de films, cette méthode peut générer des mots (comme « utile » ou « patient ») qui expliquent pourquoi le robot pense qu'une critique est positive.

L'essentiel

Ce document traite de la création d'un outil qui traduit automatiquement les pensées mathématiques secrètes d'un robot en images et en mots compréhensibles pour les humains. Cela nous évite de devoir deviner ce que le robot pense et nous permet plutôt au robot de nous « montrer » ses concepts favoris à travers une machine de dessin intelligente et auto-correctrice.

Un bémol : Le document note que le « Pinceau Magique » n'est aussi bon que les images avec lesquelles il commence. Si vous lui donnez un mauvais point de départ, il pourrait s'égarer. Mais globalement, c'est un bien meilleur moyen de jeter un coup d'œil à l'intérieur de la boîte noire que de deviner avec nos propres cerveaux.

Résumé Technique : Génération de Concepts Explicables par l'Apprentissage de Préférences Vision-Langage

Énoncé du Problème

Comprendre les représentations internes des réseaux de neurones profonds (DNN) est crucial pour l'amélioration des modèles et l'évaluation réglementaire. Bien que les méthodes d'explication basées sur les concepts, telles que le Testing with Concept Activation Vectors (TCAV), offrent des informations interprétables par l'humain en liant des concepts visuels de haut niveau (par exemple, « rayures ») aux décisions du modèle, elles souffrent d'un goulot d'étranglement majeur : la curation manuelle des concepts.

Les approches existantes exigent que les praticiens devinent et collectent manuellement des ensembles d'images de concepts candidats. Ce processus est laborieux, sujet à l'omission de concepts critiques et limité par les biais cognitifs humains. De plus, les méthodes alternatives de « recherche » qui extraient des concepts directement des images de test (par exemple, via la segmentation) échouent souvent à capturer des abstractions de haut niveau, ayant tendance à produire des patchs de la classe cible (par exemple, un patch de zèbre) plutôt que les caractéristiques sous-jacentes (par exemple, les rayures) qui pilotent la classification. Il existe un manque de méthodes automatisées capables de générer des concepts diversifiés et de haut niveau qui comptent réellement pour le processus de décision d'un DNN spécifique sans intervention humaine.

Méthodologie : Optimisation de Préférence par Apprentissage par Renforcement (RLPO)

Les auteurs proposent RLPO, un cadre qui redéfinit la création d'ensembles de concepts comme un problème de génération d'images. Au lieu de rechercher ou de curer manuellement des images, RLPO utilise un modèle génératif guidé par l'apprentissage par renforcement profond pour synthétiser des images de concepts qui maximisent les scores TCAV.

Composants Clés

Modèle Génératif (Stable Diffusion) : Le système utilise un modèle de texte-vers-image pré-entraîné (Stable Diffusion v1-5) pour générer des images de concepts basées sur des invites textuelles (prompts).
Apprentissage par Renforcement Profond (DQN) : Un Deep Q-Network (DQN) contrôle le processus de génération.
- Action ( $a_t$ ) : Sélection d'une graine de prompt (seed prompt) à partir d'une liste prédéfinie (extraite via un modèle de Vision-Question-Answering).
- État ( $s_t$ ) : Les images de concepts préférées générées à partir du prompt précédent.
- Récompense ( $r_t$ ) : Calculée sur la base des scores TCAV des images générées.
Optimisation de Préférence (RLPO) : Contrairement à l'optimisation de préférence standard qui repose sur le classement humain, RLPO utilise les scores TCAV comme signal de préférence. Le système compare deux groupes d'images générées ( $G_1$ et $G_2$ ) ; le groupe ayant le score TCAV le plus élevé est préféré.
Ajustement par Fine-Tuning via LoRA : Pour guider le modèle génératif vers la production de concepts plus pertinents, le système emploie l'adaptation de bas rang (Low-Rank Adaptation - LoRA). Les poids du modèle Stable Diffusion sont mis à jour ( $w_{t+1} \leftarrow w_t + \lambda ab$ ) en fonction du feedback de préférence, affinant de manière itérative le modèle pour générer des images qui déclenchent des activations neuronales spécifiques.
Mise à l'échelle Dynamique de la Récompense : Un facteur d'échelle $\xi_t$ est introduit pour ajuster les récompenses au fil du temps, garantissant que l'agent reçoit un feedback approprié à mesure qu'il progresse des « états proxys » (faible TCAV) vers les « états explicables » (haut TCAV).

Principales Contributions

Génération Automatisée de Concepts : L'article présente RLPO, une méthode pour « générer » automatiquement des concepts qui sont pertinents pour le processus de décision d'un réseau neuronal, contournant ainsi le besoin de devinettes manuelles ou de recherche.
Découverte de Concepts Non-Intuitifs : La méthode identifie avec succès des concepts diversifiés qui sont difficiles à anticiper pour les humains ou les méthodes de recherche (par exemple, des éléments d'arrière-plan comme la « boue » ou des arbres en mouvement « courant » pour un classificateur de zèbre, et non seulement les « rayures »).
Validation Complète : Les auteurs fournissent des preuves tant qualitatives que quantitatives (métriques computationnelles et enquêtes humaines) démontrant que RLPO révèle efficacement les représentations internes des réseaux.
Modularité et Généralisabilité : Le cadre est conçu pour être modulaire, permettant l'échange de composants comme le modèle génératif. Les auteurs démontrent son applicabilité au-delà de la vision par ordinateur, en l'étendant aux tâches d'analyse de sentiment en NLP.

Résultats Expérimentaux

La méthode a été évaluée sur plusieurs classificateurs (GoogleNet, InceptionV3, ViT, Swin) entraînés sur ImageNet, ainsi qu'un ResNet-18 sur le dataset CelebA et un TextCNN sur IMDB.

Stratégie de Recherche : RLPO a surpassé les stratégies de recherche $\epsilon$ -greedy, affichant une entropie plus élevée et une meilleure exploration de l'espace des actions (Tableau 1).
Mécanisme de Scoring : L'utilisation de TCAV pour le feedback de préférence (RLPO-XAIF) s'est avérée supérieure au feedback humain (RLPO-HF) et au feedback par IA (RLPO-AIF) en termes de temps d'exécution et de coût computationnel, tout en fournissant des explications spécifiques au modèle (Tableau 2).
Diversité et Nouveauté des Concepts :
- Écart d'Exploration (EG) : Les enquêtes humaines ont révélé un écart significatif entre les concepts identifiables par les humains et ceux générés par RLPO. Pour les néophytes, l'EG était de 91,54 % pour RLPO contre 6,54 % pour les méthodes de recherche, indiquant que RLPO trouve des concepts que les humains ne considèrent généralement pas (Tableau 3).
- Diversité : Les concepts générés présentaient une similitude cosinus plus faible et une distance euclidienne plus élevée par rapport aux méthodes de recherche, confirmant qu'ils représentent des caractéristiques abstraites plutôt que des patchs d'images (Tableau 4).
Validation :
- C-Suppression (C-Deletion) : La suppression des concepts générés (par exemple, « rayures ») des images d'entrée a provoqué une chute significative de la précision du modèle, validant leur importance (Fig. 6).
- Utilité pour l'Ingénieur : Dans une étude menée auprès de 19 ingénieurs ML, 94,7 % ont convenu que les explications de RLPO les aidaient à mieux comprendre le modèle, et 84,2 % y ont trouvé de nouvelles perspectives. Les ingénieurs ont souvent manqué des concepts (comme « courant » ou « boue ») que RLPO a identifiés comme importants.
Détection de Biais : Appliqué à un classificateur « Blonde » vs « Non-Blonde », RLPO a révélé que le modèle reposait lourdement sur des concepts de « visage féminin », mettant en évidence un biais de genre dans les données d'entraînement.
Généralisation NLP : Le cadre a été adapté avec succès pour générer des synonymes de mots pour l'analyse de sentiment, démontant une applicabilité trans-domaine.

Signification et Revendications

L'article affirme que RLPO répond à la limitation fondamentale des méthodes actuelles d'XAI basées sur les concepts : la dépendance à l'intuition humaine pour la sélection des concepts. En formulant la création de concepts comme un problème de génération optimisé par l'apprentissage par renforcement, les auteurs démontrent qu'il est possible d'articuler automatiquement des concepts de haut niveau diversifiés qui pilotent les décisions des réseaux neuronaux.

Les auteurs positionnent ce travail comme un outil pour :

Améliorer les Modèles : Les ingénieurs peuvent utiliser les concepts générés (par exemple, identifier qu'un modèle se concentre sur des textures d'arrière-plan « floues » pour les tigres) pour affiner les modèles et réduire la dépendance aux corrélations spécieuses.
Comprendre les Biais : La méthode peut révéler des biais indésirables appris lors de l'entraînement qui ne sont pas évidents pour les observateurs humains.
Généralisabilité : L'approche n'est pas limitée à la vision ; elle peut être adaptée à d'autres modalités comme le NLP.

Les auteurs reconnaissent des limites, notant que la qualité des concepts générés dépend des prompts sources initiaux et des données de pré-entraînement du modèle génératif, ce qui peut introduire ses propres biais. Ils suggèrent que les travaux futurs pourraient impliquer l'intégration des préférences d'experts du domaine pour mieux aligner les explications générées avec les besoins spécifiques des applications.