🤖 AI

LINE: LLM-based Iterative Neuron Explanations for Vision Models

L'article présente LINE, un cadre sans entraînement et en boîte noire qui exploite les grands modèles de langage et les générateurs de texte vers image pour découvrir et affiner de manière itérative des étiquettes de concepts à vocabulaire ouvert pour des neurones individuels dans des modèles de vision, atteignant des performances de pointe et révélant de nouveaux concepts négligés par les vocabulaires prédéfinis.

Auteurs originaux : Vladimir Zaigrajew, Michał Piechota, Gaspar Sekula, Paweł Gelar, Przemysław Biecek

Publié 2026-05-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vladimir Zaigrajew, Michał Piechota, Gaspar Sekula, Paweł Gelar, Przemysław Biecek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un robot ultra-intelligent capable d'examiner une image et de vous dire ce qu'elle représente. Mais il y a un piège : le robot est une « boîte noire ». Vous voyez l'image entrer et la réponse sortir, mais vous n'avez aucune idée de comment il a décidé de cette réponse. À l'intérieur du cerveau du robot se trouvent des milliards de petits interrupteurs appelés neurones. Certains de ces interrupteurs s'allument lorsque le robot voit un « chien », d'autres lorsqu'il voit un « arbre », mais nous ne savons pas lesquels sont lesquels.

Depuis longtemps, les scientifiques tentent d'étiqueter ces interrupteurs, mais ils se comportent comme des détectives essayant de deviner le nom d'un suspect en utilisant uniquement une liste de 1 000 noms préécrits. Si le robot pense à quelque chose de spécifique, comme un « hydrant rouge », mais que cette expression exacte ne figure pas sur leur liste, ils pourraient simplement deviner « incendie » ou « rouge », manquant ainsi l'essentiel.

Voici LINE (Explications de Neurones Itératives basées sur les LLM). Considérez LINE comme une équipe de détectives créatifs qui ne se contente pas de deviner à partir d'une liste ; elle invente la bonne description grâce à un jeu de « devinez et vérifiez ».

Voici comment LINE fonctionne, étape par étape :

1. La Devinette Initiale (Le Tableau de Score)

LINE commence par une hypothèse approximative. Elle examine une liste de choses courantes (comme « billard » ou « haltère ») et observe lesquelles font s'allumer légèrement le neurone. Elle les inscrit sur un tableau de score.

Analogie : Imaginez que vous essayez de décrire un objet mystérieux. Vous commencez par dire : « Est-ce une chaise ? Non. Est-ce une table ? Peut-être un peu. »

2. La Boucle Créative (L'Équipe Magique)

C'est ici que LINE devient intelligente. Elle utilise deux outils d'IA travaillant ensemble :

L'Écrivain (LLM) : Un grand modèle de langage qui agit comme un partenaire de brainstorming. Il examine le tableau de score actuel et dit : « Hé, « billard » et « haltère » allument tous deux ce neurone. Peut-être que ce n'est pas tant les objets eux-mêmes, mais plutôt l'exercice ? »
L'Artiste (Modèle Texte-vers-Image) : Dès que l'Écrivain suggère une nouvelle idée (comme « renforcement musculaire »), l'Artiste dessine instantanément 50 images différentes de personnes soulevant des poids, faisant du yoga ou pratiquant des sports.

3. Le Contrôle de Réalité (Le Test)

LINE prend ces 50 nouvelles images et les renvoie dans le cerveau du robot.

Si le neurone s'allume vivement pour les images de « renforcement musculaire », l'Écrivain obtient un score élevé.
Si le neurone reste éteint, le score est faible.

4. Le Raffinement (Itération)

L'équipe répète cette boucle.

Tour 1 : « Peut-être que c'est une salle de sport ? » (Score : Correct).
Tour 2 : « Peut-être que c'est de la musculation ? » (Score : Mieux).
Tour 3 : « Peut-être que c'est spécifiquement du « renforcement musculaire » ? » (Score : Excellent).

Le processus continue, affinant l'idée jusqu'à ce qu'ils trouvent la description parfaite. Enfin, ils prennent les quelques meilleures idées et demandent à l'Écrivain de les résumer en un seul grand concept (comme « exercice physique »).

Pourquoi est-ce une grande avancée ?

1. Cela brise la règle de la « Liste ».
Les anciennes méthodes étaient coincées avec un menu fixe de mots. Si le robot pensait à un « lit à baldaquin », une ancienne méthode pourrait simplement dire « lit » ou « chambre à coucher ». LINE a réalisé que le robot pensait en fait au style spécifique : « à baldaquin ». Elle a trouvé 27 % de nouveaux concepts supplémentaires que les anciennes listes avaient manqués.

2. Elle dessine l'image pour le prouver.
Au lieu de simplement dire un mot, LINE dessine l'image qui fait devenir fou le neurone. C'est comme si le robot disait : « Je sais que ce neurone est pour les « araignées » parce que regardez cette image de toile d'araignée que j'ai dessinée — elle fait hurler le neurone ! » Cela aide à prouver que l'étiquette est réellement correcte.

3. Cela fonctionne sans regarder à l'intérieur.
La plupart des méthodes nécessitent que le robot soit « ouvert » afin que les scientifiques puissent voir les mathématiques à l'intérieur (les gradients). LINE fonctionne comme une boîte noire. Elle parle simplement au robot, lui montre des images et écoute la réaction. Cela signifie qu'elle peut fonctionner sur n'importe quel robot, même les plus secrets.

Les Résultats

L'article a testé LINE sur plusieurs cerveaux de robots célèbres (comme ResNet et ViT).

Meilleurs Scores : Il a obtenu des scores de précision significativement plus élevés que les méthodes précédentes (une amélioration allant jusqu'à 0,11 point, ce qui est énorme dans ce domaine).
Nouvelles Découvertes : Il a découvert que de nombreux neurones ne cherchaient pas une seule chose ; ils cherchaient une catégorie de choses (comme « exercice » au lieu de simplement « haltère »).
Preuve Visuelle : Les images qu'il a générées étaient beaucoup plus claires et plus naturelles que les images étranges et floues produites par les anciennes méthodes.

Le Piège (Limites)

Les auteurs sont honnêtes quant aux défauts :

Biais de Départ : Puisque LINE commence avec une liste de choses courantes (comme ImageNet), elle pourrait manquer des choses très rares ou spécialisées (comme des conditions médicales spécifiques) si elles ne figurent pas dans cette liste de départ.
Une Idée à la Fois : Parfois, un neurone est « polysemantique », ce qui signifie qu'il se soucie de deux choses totalement différentes (comme « chiens » ET « feu »). LINE choisit généralement la plus forte et pourrait manquer la seconde.
Les Erreurs de l'Artiste : Si l'outil de dessin (le modèle Texte-vers-Image) dessine une mauvaise image, le test peut échouer, même si l'idée était bonne.

Résumé

LINE est une nouvelle façon de comprendre les cerveaux de l'IA. Au lieu de forcer l'IA à s'adapter à une boîte de mots préfabriquée, elle utilise une boucle créative de suggestion d'idées, de dessin de celles-ci et de test pour trouver la description exacte et lisible par l'homme de ce que l'IA pense réellement. C'est comme avoir un traducteur qui ne se contente pas de deviner des mots, mais qui dessine des images pour s'assurer d'avoir compris le sens correctement.

Résumé technique : LINE (Explications itératives de neurones basées sur un LLM pour les modèles de vision)

Énoncé du problème

L'interprétation des neurones individuels dans les réseaux de neurones profonds (DNN) est essentielle pour comprendre les processus de prise de décision complexes et garantir la sécurité de l'IA, en particulier dans des domaines à haut risque tels que la santé et la justice. Bien que l'interprétabilité mécanistique vise à révéler des circuits de décision localisés, un défi majeur subsiste : traduire automatiquement l'activité neuronale en concepts sémantiques compréhensibles par l'humain.

Les méthodes existantes d'étiquetage des neurones souffrent de deux limitations principales :

Dépendance à des vocabulaires prédéfinis : De nombreuses approches (par exemple, Network Dissection, CLIP-Dissect) sont contraintes à des ensembles de concepts fixes, qui manquent souvent de vérité terrain précise ou échouent à capturer des concepts globaux d'ordre supérieur.
Descriptions trop spécifiques ou précises : Les méthodes utilisant des modèles génératifs de texte (par exemple, MILAN) produisent souvent des descriptions trop étroites, ne parvenant pas à se généraliser à des abstractions sémantiques plus larges.
Dépendance aux gradients : Les méthodes de maximisation d'activation (AM), utilisées pour les explications visuelles, reposent généralement sur une optimisation basée sur les gradients. Cela impose une surcharge mémoire, nécessite une différentiabilité et limite souvent la compatibilité aux anciens modèles texte-vers-image (T2I), tout en produisant des images présentant des artefacts non naturels.

Méthodologie : Cadre LINE

Les auteurs présentent LINE (Explications itératives de neurones basées sur un LLM), un cadre novateur, sans entraînement et en boîte noire, conçu pour l'étiquetage de concepts à vocabulaire ouvert dans les modèles de vision. LINE fonctionne comme un processus itératif en boucle fermée qui exploite un grand modèle de langage (LLM) et un générateur texte-vers-image (T2I) sans nécessiter l'accès aux gradients ou aux données d'entraînement du modèle cible.

Le cadre se compose de quatre composants principaux fonctionnant en boucle :

Initialisation : Le processus commence par l'initialisation d'un « tableau de scores de concepts » ( $H$ ) en utilisant les étiquettes de l'ensemble de validation ImageNet-1K. Pour chaque classe, un ensemble d'images est transmis au modèle de vision cible pour extraire les activations neuronales initiales, établissant ainsi un vecteur de score de référence. Le tableau de scores est rempli avec les étiquettes initiales les mieux classées et un ensemble d'étiquettes aléatoires pour équilibrer l'exploitation et l'exploration.
Proposition de concept (LLM) : À chaque itération, un LLM analyse le tableau de scores actuel (spécifiquement les concepts les mieux classés et leur historique) pour proposer une nouvelle description de concept affinée. Le LLM est guidé pour généraliser, unifier ou combiner de manière créative les concepts existants les mieux classés tout en évitant les termes déjà proposés.
Synthèse d'images (T2I) : Le concept proposé est transmis à un modèle T2I (par exemple, Stable Diffusion XL) pour générer un lot d'images synthétiques diversifiées. Le modèle de prompt inclut des variations d'angle et d'éclairage pour assurer une diversité visuelle.
Extraction d'activation et notation : Les images générées sont traitées par le modèle de vision cible pour extraire le vecteur d'activation spécifique du neurone. Une fonction de notation ( $\psi_{avg}$ ) calcule l'activation moyenne sur l'ensemble généré. Ce score continu quantifie la justesse du concept proposé. Le tableau de scores est mis à jour avec le nouveau concept et son score.

Étape finale de résumé : Après $N$ itérations, une étape finale de résumé est exécutée. Le LLM est invité à synthétiser un concept global de haut niveau unique qui unifie les concepts les mieux classés de l'historique final, fournissant ainsi une abstraction sémantique plus large.

La méthode est agnostique de l'architecture, applicable aux réseaux de neurones convolutifs (CNN) et aux transformateurs de vision (ViT), et prend en charge divers modèles T2I (SD1.5, SDXL, FLUX.1).

Contributions clés

L'article présente les contributions suivantes :

Étiquetage de neurones de l'état de l'art : LINE obtient des performances supérieures sur le benchmark CoSy (Concept Synthesis), un benchmark unifié et agnostique de l'architecture pour l'évaluation des explications neuronales textuelles.
Au-delà des vocabulaires prédéfinis : Le processus d'affinement itératif permet à LINE de découvrir des concepts novateurs et hautement interprétables qui sont manqués par les méthodes reposant uniquement sur des vocabulaires prédéfinis.
Explications visuelles sans gradients : En optimisant les descriptions textuelles plutôt que les valeurs de pixels via des gradients, LINE offre une alternative sans gradients à la maximisation d'activation. Cela permet l'utilisation de modèles T2I modernes et produit des explications visuelles plus propres et plus naturelles, sans les artefacts courants dans l'AM basée sur les gradients.
Évaluation de la transparence et de la polysémie : Contrairement aux méthodes en passage unique, LINE conserve un historique complet de génération. Cela permet l'évaluation de la polysémie des neurones (neurones détectant plusieurs concepts) et fournit des justifications derrière chaque proposition de concept.

Résultats expérimentaux

Les auteurs ont évalué LINE sur plusieurs architectures (ResNet18/50, ViT-B/16, DINOv3) et ensembles de données (ImageNet, Places365).

Performance quantitative : Sur le benchmark CoSy, LINE a nettement surpassé les références, notamment CLIP-Dissect, INVERT et DnD.
- Améliorations AUC : LINE a obtenu des améliorations AUC allant jusqu'à 0,11 sur les modèles entraînés sur ImageNet et 0,05 sur les modèles entraînés sur Places365 par rapport aux meilleures références.
- Améliorations MAD : Les scores de différence d'activation moyenne (MAD) ont également été constamment plus élevés, indiquant une meilleure alignement entre les concepts proposés et les activations neuronales.
- Significativité statistique : Les tests de rangs signés de Wilcoxon ont confirmé que ces améliorations étaient statistiquement significatives dans la plupart des configurations.
Découverte de concepts novateurs : L'analyse des concepts finaux les mieux classés a révélé que le processus itératif de LINE a généré de nouvelles étiquettes non prédéfinies pour une part significative de neurones :
- 27 % en moyenne des concepts principaux étaient nouvellement découverts (non issus du vocabulaire initial).
- Des couches spécifiques ont montré des taux de découverte allant jusqu'à 36 % (par exemple, ResNet18 sur Places365).
Validation qualitative et causale :
- Explications visuelles : LINE a produit des explications visuelles plus interprétables et naturelles que celles de DiffExplainer et DEXTER. Bien que DiffExplainer ait souvent obtenu des valeurs d'activation plus élevées, les auteurs attribuent cela à l'exploitation d'artefacts visuels non descriptifs (bruit) courants dans l'optimisation basée sur les gradients.
- Ablation causale : En utilisant des modèles génératifs image-vers-image, les auteurs ont réalisé des études d'ablation où le concept identifié était supprimé des images. Cela a entraîné une chute significative de l'activation neuronale (souvent proche de zéro), validant le lien causal entre l'étiquette et le comportement du neurone.
Études d'ablation :
- Itérations : Les performances se sont améliorées rapidement au cours des 5 à 6 premières itérations, avec des gains réguliers jusqu'à l'itération 14, après quoi elles se sont stabilisées.
- Modèles T2I : Bien que FLUX.1 ait produit des scores d'activation légèrement supérieurs à SDXL, la différence n'était pas statistiquement significative. SDXL a été sélectionné pour les expériences principales en raison d'une surcharge mémoire inférieure.

Importance et affirmations

L'article positionne LINE comme une étape fondamentale vers des modèles de vision plus transparents et responsables. Son importance réside dans :

Compatibilité sans entraînement et en boîte noire : Il offre une solution évolutive pour l'audit des DNN sans nécessiter l'accès aux gradients internes, aux données d'entraînement ou aux poids du modèle, le rendant applicable aux modèles propriétaires ou hérités.
Modularité et pérennité : La conception modulaire du cadre permet l'intégration transparente des avancées futures des LLM et des modèles T2I sans réentraîner le pipeline.
Sécurité et interprétabilité : En fournissant à la fois des explications textuelles et visuelles, LINE aide à identifier les biais du modèle et à comprendre les circuits de prise de décision, ce qui est crucial pour le déploiement de l'IA dans des applications critiques pour la sécurité.

Les auteurs reconnaissent des limitations, notamment les biais potentiels hérités de l'initialisation ImageNet et la dépendance aux modèles génératifs qui peuvent avoir des difficultés avec des domaines spécialisés (par exemple, l'imagerie médicale). Ils notent également que pour les neurones polysémiques, le pipeline peut converger vers un concept dominant unique, suggérant que des travaux futurs pourraient impliquer le redémarrage du pipeline pour explorer des déclencheurs sémantiques secondaires.