💻 computer science

Structural Graph Probing of Vision-Language Models

Cette étude propose une nouvelle méthode d'interprétabilité pour les modèles vision-langage en analysant la topologie des graphes de corrélation neuronale, révélant ainsi que la structure de ces graphes, qui se consolide autour de neurones centraux récurrents en profondeur, porte un signal comportemental significatif et permet d'identifier des composants internes causalement influents.

Auteurs originaux : Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le "Réseau Social" des Neurones : Décoder le Cerveau des IA Visuelles

Imaginez que vous avez un ami très intelligent qui peut à la fois voir des photos et lire des histoires. C'est ce qu'on appelle un Modèle Vision-Langage (VLM). Il est capable de répondre à des questions comme "De quelle couleur est la voiture sur cette photo ?".

Mais il y a un problème : nous savons qu'il est intelligent, mais nous ne savons pas comment il pense. Comment ses "neurones" (les petites unités de calcul) travaillent-ils ensemble pour comprendre à la fois l'image et le texte ?

Les chercheurs de cet article ont décidé de ne pas regarder les neurones un par un (ce qui serait comme essayer de comprendre une ville en regardant chaque brique individuellement). Au lieu de cela, ils ont regardé comment les neurones se parlent entre eux.

Voici les trois grandes découvertes de l'article, expliquées avec des analogies :

1. La Carte des Conversations (La Topologie)

Imaginez que chaque couche du cerveau de l'IA est une grande salle de réunion remplie de milliers de personnes (les neurones).

L'ancienne méthode : On regardait qui parlait le plus fort (l'activation) ou qui regardait qui (l'attention).
La nouvelle méthode (celle de l'article) : Les chercheurs ont dessiné une carte des conversations. Ils ont tracé des lignes entre les personnes qui parlent en même temps et qui semblent s'entendre bien.

Ils ont découvert que cette "carte des conversations" (qu'ils appellent la topologie neuronale) contient des indices très précieux sur ce que l'IA va répondre. C'est comme si la structure de la conversation elle-même révélait la réponse, même sans écouter le contenu exact des mots.

2. Les "Super-Connecteurs" (Les Hubs)

Dans n'importe quel groupe, il y a toujours quelques personnes qui connaissent tout le monde et qui sont au centre de toutes les discussions. Dans l'IA, ce sont les neurones "hubs".

L'analogie : Imaginez un aéroport. Il y a des milliers de passagers, mais quelques-uns sont des "hubs" (comme Paris ou New York) où tous les vols se croisent.
La découverte : Les chercheurs ont vu que, plus l'IA analyse l'image et le texte en profondeur, plus ces "hubs" deviennent importants et stables. Ils forment un petit groupe central qui coordonne tout le reste.
L'expérience : Quand les chercheurs ont "éteint" ou perturbé ces neurones centraux, l'IA a complètement perdu ses moyens et a commencé à halluciner (inventer des choses). En revanche, éteindre des neurones au hasard n'avait presque aucun effet. Cela prouve que ces "hubs" sont les vrais chefs d'orchestre.

3. La Danse entre l'Image et le Texte

Comment l'IA mélange-t-elle la vue et la lecture ?

L'analogie : Imaginez deux groupes de danseurs : un groupe habillé en bleu (les images) et un en rouge (le texte). Au début de la chanson (les premières couches de l'IA), ils dansent chacun de leur côté. Mais plus la chanson avance (les couches profondes), plus ils commencent à se mélanger, à se tenir la main et à danser ensemble.
La découverte : Les chercheurs ont vu que les "conversations" entre les neurones de l'image et ceux du texte deviennent de plus en plus fortes et synchronisées vers la fin du processus de réflexion. C'est là que la magie opère : l'image et le texte ne sont plus séparés, ils deviennent une seule entité cohérente.

Pourquoi est-ce important ?

Avant cette étude, pour comprendre une IA, on regardait souvent les détails locaux (quel mot a déclenché quelle réponse). C'est comme essayer de comprendre un film en regardant seulement un pixel à la fois.

Cette étude nous dit : "Regardez la structure globale !"

C'est plus simple que de reconstruire tout le circuit électrique de l'IA.
C'est plus riche que de juste regarder les mots clés.
Cela nous permet de trouver les points faibles de l'IA (les hubs) pour mieux la corriger ou la comprendre.

En résumé

Les chercheurs ont découvert que pour comprendre comment une IA "voit" et "parle", il ne faut pas seulement regarder ses neurones individuels, mais la carte de leurs relations. C'est cette structure de "réseau social" interne qui révèle comment l'IA organise sa pensée, où se trouvent ses chefs d'orchestre, et comment elle fusionne la vue et le langage pour donner une réponse intelligente.

C'est un peu comme passer de l'étude d'une seule brique à l'étude de l'architecture complète d'un gratte-ciel pour comprendre pourquoi il ne tombe pas.

Titre : Structural Graph Probing of Vision–Language Models

Auteurs : Haoyu He, Yue Zhuo, Yu Zheng, Qi R. Wang (Northeastern University & MIT)

1. Problématique

Les modèles vision-langage (VLM) ont démontré des performances exceptionnelles dans les tâches multimodales, mais leur fonctionnement interne reste mal compris. Les analyses existantes se concentrent principalement sur des signaux explicatifs locaux (motifs d'attention, cartes de saillance, attribution de patches), qui sont utiles pour identifier des entrées influentes mais insuffisants pour caractériser l'organisation à grande échelle de la computation multimodale.
Le problème central est de comprendre comment la computation multimodale est organisée au sein du réseau : comment les preuves visuelles et le contexte linguistique sont-ils coordonnés à travers les couches, comment la computation intermédiaire est-elle distribuée parmi les populations d'unités, et quelles structures internes gouvernent le comportement du modèle. L'absence d'analyse à ce niveau limite la capacité d'expliquer comment le raisonnement multimodal est structuré internement.

2. Méthodologie : La Topologie Neuronale

Les auteurs proposent une nouvelle perspective basée sur la topologie neuronale, définie comme la structure de corrélation entre les neurones induite lors de l'inférence multimodale.

Construction du Graphe de Corrélation :
Pour chaque couche $\ell$ d'un VLM, les auteurs construisent un graphe pondéré $G^{(\ell)} = (V, E, W^{(\ell)})$ .
- Les nœuds $V$ correspondent aux neurones de la couche (dimension cachée $d$ ).
- Les poids des arêtes $W^{(\ell)}_{ij}$ représentent le couplage fonctionnel entre les neurones $i$ et $j$ , calculé comme la corrélation de Pearson entre leurs profils d'activation à travers tous les tokens (images et texte) d'une même passe d'inférence.
- Cette approche capture la structure de co-activation au sein de la couche, indépendamment des valeurs d'activation brutes ou de la sémantique des tokens.
Représentation et Analyse :
- Pour analyser ces graphes sans exposer les activations brutes, chaque neurone est représenté par un embedding de nœud unique (one-hot) projeté dans un espace de faible dimension.
- Un Réseau de Neurones Graphiques (GCN) opère sur le graphe de corrélation pour produire des représentations de nœuds dépendantes de la topologie.
- Une signature structurelle globale $h^{(\ell)}$ est obtenue par un pooling combiné (moyenne et maximum) des représentations des nœuds.
Variantes Modales :
Les auteurs construisent trois types de graphes par couche pour étudier la spécialisation :
1. Multimodal : Sur l'état caché complet (Image + Texte).
2. Visuel : Sur les sous-ensembles de tokens visuels uniquement.
3. Textuel : Sur les sous-ensembles de tokens textuels uniquement.

3. Contributions Clés

Cadre d'Analyse Populationnelle : Passage d'une analyse basée sur des unités individuelles ou des tokens à une analyse basée sur la structure de population et les interactions neuronales.
Preuve de Pertinence Comportementale : Démonstration que la topologie de corrélation contient un signal récupérable et prédictif du comportement du modèle (raisonnement, reconnaissance sémantique, hallucinations).
Identification de Neurones "Hub" Causaux : Identification d'un ensemble compact de neurones "hubs" (fortement connectés) dont la perturbation ciblée altère significativement la sortie du modèle, suggérant un rôle causal.
Dynamique d'Alignement Multimodal : Mise en évidence de la manière dont les structures visuelles et textuelles s'alignent et se consolident à travers les couches profondes.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs familles de VLM (InternVL3, Qwen2.5-VL, LLaVA) et des benchmarks variés (CLEVR, TDIUC, MMMU, MHaluBench).

Prédictibilité Comportementale :
- Des sondes (probes) basées sur des graphes (GCN) surpassent systématiquement les sondes linéaires pour prédire les résultats de tâches (comptage d'objets, reconnaissance de couleurs, classification) et détecter les hallucinations.
- La topologie capture des dépendances fonctionnelles fines, comme le montre l'amélioration de la régression pour le comptage d'objets (réduction de l'erreur MSE).
- La prédiction est robuste même avec des graphes très clairsemés (seulement 1-20% des arêtes les plus fortes conservées).
Dynamique de Structure Multimodale :
- Intégration Progressive : Les corrélations entre tokens visuels et textuels augmentent avec la profondeur du réseau, tandis que les corrélations purement visuelles restent stables. Cela indique une intégration multimodale croissante dans les couches profondes.
- Stabilité des Hubs : Les neurones définis comme "hubs" par la topologie du graphe (basé sur le degré) sont beaucoup plus stables d'un échantillon à l'autre que ceux définis par la magnitude de l'activation. Cette stabilité est maximale dans les couches intermédiaires.
- Alignement des Graphes : Les graphes dérivés de modalités différentes (texte vs image) dans un même modèle partiellement alignés, mais ne se confondent pas totalement, suggérant que le fine-tuning multimodal modifie la topologie héritée du modèle de langage.
Analyse d'Intervention Causale :
- Ablation de Neurones : L'ablation (mise à zéro) des 1% de neurones les plus connectés selon le graphe entraîne une chute de performance bien plus importante que l'ablation basée sur la magnitude de l'activation ou aléatoire.
- Perturbation des Hubs : La modification directe des activations des hubs (amplification ou suppression) dégrade les performances de manière symétrique, indiquant qu'ils opèrent dans une plage fonctionnelle étroite et critique.
- Intervention sur les Arêtes : Remplacer l'activation d'un neurone par celle de son partenaire (ou son inverse) sur une arête forte montre que l'importance comportementale dépend de l'alignement et du signe de l'activité coordonnée, pas seulement de l'identité des nœuds.

5. Signification et Conclusion

Ce travail établit la topologie neuronale comme une échelle intermédiaire significative pour l'interprétabilité des VLM.

Avantage par rapport aux méthodes existantes : Elle est plus riche que l'attribution locale (qui ne voit que des effets isolés) mais plus traitable que la récupération complète de circuits (qui est extrêmement complexe).
Implication Théorique : Le raisonnement multimodal ne doit pas être vu comme la somme de composants indépendamment interprétables, mais comme une propriété émergente de populations neuronales organisées, centrées sur des hubs persistants et des relations coordonnées.
Conclusion : La structure de corrélation interne n'est pas un artefact, mais un reflet direct de l'organisation computationnelle du modèle, offrant une nouvelle voie pour comprendre, diagnostiquer et intervenir sur le comportement des modèles vision-langage.

Le code est disponible publiquement sur GitHub.