🧬 biology

Modulating Cross-Modal Convergence with Single-Stimulus, Intra-Modal Dispersion

Cette étude introduit une méthode basée sur l'algorithme de Procruste généralisé pour mesurer la convergence intra-modale au niveau du stimulus unique et démontre que la dispersion intra-modale dans les modèles de vision module fortement l'alignement croisé avec les modèles de langage, les stimuli présentant une faible dispersion générant une convergence inter-modale jusqu'à deux fois plus élevée.

Auteurs originaux : Eghbal A. Hosseini, Brian Cheung, Evelina Fedorenko, Alex H. Williams

Publié 2026-04-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Eghbal A. Hosseini, Brian Cheung, Evelina Fedorenko, Alex H. Williams

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

🎨 Le Titre : Comment faire chanter les intelligences artificielles sur la même note ?

Imaginez que vous montrez une même peinture à trois experts différents : un critique d'art, un historien et un enfant.

L'enfant dira : « C'est un chat ! »
L'historien dira : « C'est une allégorie de la liberté du XVIIIe siècle. »
Le critique dira : « C'est un chef-d'œuvre de l'impressionnisme. »

Même s'ils regardent la même chose, leurs descriptions sont très différentes. C'est ce qu'on appelle la dispersion.

Dans le monde de l'intelligence artificielle (IA), les chercheurs se posent la même question : si on montre une image à plusieurs IA différentes (une qui a appris à reconnaître des chats, une autre à comprendre le texte, une troisième à prédire des mouvements), vont-elles « penser » la même chose ?

🔍 Le Problème : Pourquoi certaines images créent l'harmonie et d'autres le chaos ?

Les chercheurs savent que, globalement, les IA finissent par développer des façons de voir le monde très similaires (c'est ce qu'on appelle l'hypothèse de la « Représentation Platonicienne »). Mais ils ne savaient pas pourquoi ni quand cela se produit. Est-ce que toutes les images sont traitées de la même façon ? Ou y a-t-il des images qui font se disputer les IA ?

🧪 L'Expérience : Le « Chœur des IA »

Pour répondre à cela, l'équipe a utilisé une méthode mathématique élégante (l'analyse Procrustéenne) qu'on peut imaginer comme un chef d'orchestre.

Les Musiciens (Les IA) : Ils ont pris plusieurs modèles de vision par ordinateur (des IA qui voient des images) entraînés de façons très différentes.
Le Chef d'Orchestre (L'Algorithme) : Au lieu de forcer les IA à se mettre d'accord, le chef écoute chaque musicien et cherche à trouver la « note moyenne » parfaite qui résonne le mieux avec tous.
Le Résultat (La Dispersion) : Pour chaque image, le chef mesure l'écart entre ce que chaque IA a « joué » et la note moyenne.
- Si toutes les IA sont d'accord (l'écart est faible), c'est une image harmonieuse (faible dispersion).
- Si les IA sont en désaccord total (l'écart est grand), c'est une image chaotique (forte dispersion).

💡 La Découverte Surprenante : Le Secret de l'Alignement

C'est ici que ça devient fascinant. Les chercheurs ont ensuite pris ces images et les ont montrées à des IA de langage (des modèles qui écrivent du texte, comme les grands frères de ChatGPT). Ils ont voulu voir si les IA visuelles et les IA textuelles se comprenaient bien.

Le résultat est frappant :

Quand ils ont utilisé les images harmonieuses (celles où les IA visuelles étaient d'accord entre elles), les IA visuelles et les IA textuelles se sont comprises deux fois mieux ! C'est comme si, quand tout le monde chante la même note, le texte qui l'accompagne devient parfaitement clair.
Quand ils ont utilisé les images chaotiques (celles où les IA visuelles se disputaient), la communication avec les IA textuelles s'est effondrée.

🌟 L'Analogie Finale : La Réunion de Famille

Imaginez une grande réunion de famille où tout le monde essaie de décrire un souvenir commun (une photo de vacances).

Cas 1 (Faible dispersion) : Tout le monde se souvient de la même chose : « On était à la plage, il faisait beau, on a mangé des glaces. » Tout le monde est d'accord. Si vous demandez à un ami qui n'était pas là de deviner l'histoire en lisant les comptes-rendus, il comprendra parfaitement. C'est l'alignement.
Cas 2 (Forte dispersion) : L'oncle dit « C'était la neige », la tante dit « C'était un naufrage », et le cousin dit « C'était un rêve ». Il n'y a pas de consensus. Si vous demandez à l'ami de deviner l'histoire, il sera complètement perdu.

🚀 Pourquoi est-ce important ?

Cette étude nous apprend que la qualité de l'accord entre les IA sur une image détermine si elles peuvent communiquer avec le langage humain.

Cela ouvre la porte à de nouvelles façons de créer des IA plus intelligentes : au lieu de simplement leur donner plus de données, on pourrait sélectionner spécifiquement les images qui créent de l'harmonie entre les différentes façons de voir le monde. C'est un pas de géant pour comprendre comment nos cerveaux (et ceux des machines) construisent une réalité commune.

En résumé : Pour que l'IA comprenne le monde comme nous, il faut d'abord qu'elle soit capable de se mettre d'accord avec elle-même sur ce qu'elle voit.

Titre : Modulation de la convergence inter-modale par la dispersion intra-modale à stimulus unique

Conférence : ICLR 2026 Workshop on Representational Alignment (Re-Align)
Auteurs : Eghbal A. Hosseini, Brian Cheung, Evelina Fedorenko, Alex H. Williams

1. Problématique et Contexte

Les réseaux de neurones artificiels démontrent une capacité remarquable à apprendre des représentations qui convergent vers des structures similaires, indépendamment de leurs architectures, objectifs d'entraînement ou modalités de données (vision, langage). Cette convergence est souvent corrélée à une meilleure prédiction des représentations neuronales humaines. L'hypothèse de la « Représentation Platonicienne » suggère que cette convergence provient de l'apprentissage de priors environnementaux partagés.

Cependant, une lacune majeure subsiste dans la littérature :

Les études précédentes ont principalement mesuré cette convergence à l'échelle globale (sur des ensembles de stimuli), masquant les variations au niveau de chaque stimulus individuel.
Il est mal compris comment des stimuli spécifiques (une image perçue de multiples façons) provoquent des représentations convergentes ou divergentes à travers différents réseaux.
Les méthodes existantes sont soit trop locales, soit moyennent la similarité sur de grands ensembles de données, soit manquent d'un espace métrique rigoureux pour comparer des représentations à stimulus unique.

Objectif : Développer une mesure robuste et spécifique au stimulus pour quantifier la convergence intra-modale (entre modèles de vision) et étudier son impact sur l'alignement inter-modale (vision-langage).

2. Méthodologie

Les auteurs proposent une approche basée sur l'Analyse Procrustéenne Généralisée (GPA) pour mesurer la dispersion des représentations à l'échelle d'un seul stimulus.

A. Analyse Procrustéenne Généralisée (GPA)

La GPA aligne plusieurs espaces d'embedding (représentations de différents modèles) dans un cadre de référence commun.

Formulation : Étant donné un ensemble de matrices de représentation $\{N_1, ..., N_M\}$ , la méthode cherche une représentation consensus $N_{joint}$ et une série de transformations orthogonales $\{T_i\}$ qui minimisent la somme des distances de Frobenius entre les représentations transformées et le consensus.
Contrainte : Les transformations sont restreintes aux rotations (et réflexions) pour préserver la géométrie interne (distances et angles) de chaque représentation, évitant ainsi de déformer la structure des données.
Prétraitement : Centrage des embeddings, padding zéro pour uniformiser les dimensions, et normalisation de la norme de Frobenius.

B. Quantification de la Dispersion à Stimulus Unique

Une fois l'espace joint calculé, la dispersion pour chaque stimulus $j$ est mesurée par le résidu Procrustéen ( $r_{ij}$ ), défini comme la distance euclidienne entre la représentation du modèle $i$ projetée dans l'espace joint et la représentation consensus pour ce stimulus.

Matrice de Résidus : Une matrice $R$ est générée où chaque entrée quantifie l'écart d'un modèle par rapport au consensus pour un stimulus donné.
Stratégies de Synthèse :
1. Dispersion Moyenne : Moyenne des résidus sur tous les modèles pour un stimulus (sensible aux valeurs aberrantes).
2. Composante Principale de Dispersion (PC1) : Application d'une Analyse en Composantes Principales (PCA) sur la matrice de résidus. Le score sur le premier axe (PC1) capture l'axe principal de désaccord partagé entre les modèles, offrant une mesure plus robuste.

C. Expérimentation et Mesure d'Alignement

Modèles Visuels : Utilisation de modèles ViT (Vision Transformers) entraînés avec des objectifs variés : MAE (Autoencodeurs masqués), DINOv2, CLIP, et CLIP finetuné sur ImageNet-12K.
Modèles Linguistiques : Comparaison avec des LLM (BLOOM, OpenLLaMA, LLaMA) en extrayant les embeddings des tokens et en moyennant par légende.
Alignement Inter-modale : Utilisation de l'alignement par noyau centré k-plus proches voisins (CKNNA). Contrairement au CKA global, le CKNNA évalue la similarité locale en calculant la covariance croisée uniquement entre un échantillon et ses $k$ voisins (ici $k=10$ ), capturant ainsi la structure locale des représentations.
Données : Jeu de données Wikipedia Caption (WIT) contenant 1024 paires image/légende.

3. Résultats Clés

L'étude démontre une corrélation forte entre la dispersion intra-modale (vision) et l'alignement inter-modale (vision-langage).

Impact de la Dispersion sur l'Alignement :
- Les stimuli présentant une faible dispersion intra-modale (accord élevé entre les modèles de vision) génèrent un alignement significativement plus élevé avec les modèles de langage.
- À l'inverse, les stimuli à forte dispersion (désaccord entre modèles de vision) montrent un alignement beaucoup plus faible.
- Amplitude de l'effet : L'alignement peut être amélioré d'un facteur deux (jusqu'à 2x) pour les stimuli à faible dispersion par rapport aux stimuli à forte dispersion ou aléatoires. Cet effet est particulièrement marqué avec les paires DINOv2 et modèles de langage.
Robustesse de la Méthode :
- L'effet observé est robuste quelle que soit la stratégie de sélection des stimuli : que l'on utilise un classement basé sur la dispersion moyenne ou une sélection basée sur la composante principale (PC1) de la dispersion, la tendance reste identique.
- La généralisation est confirmée à travers différentes paires de modèles (vision : MAE, DINOv2, CLIP, CLIP+FT ; langage : BLOOM, LLaMA, OpenLLaMA).
Validation de l'Hypothèse Platonicienne :
- Les résultats suggèrent que lorsque les modèles de vision convergent sur la représentation d'un stimulus spécifique (faible dispersion), cela indique que ce stimulus possède des caractéristiques structurelles fondamentales qui sont également capturées par les modèles de langage, renforçant ainsi l'hypothèse d'une représentation partagée de l'environnement.

4. Contributions et Signification

Innovation Méthodologique : Introduction d'une mesure de convergence spécifique au stimulus basée sur la GPA, permettant de passer d'une analyse globale à une analyse granulaire (niveau stimulus).
Nouvelle Compréhension de l'Alignement : Démonstration que l'alignement entre modalités n'est pas uniforme ; il est fortement modulé par la nature du stimulus. La capacité des modèles de vision à s'accorder sur un stimulus est un prédicteur puissant de leur capacité à s'aligner avec le langage sur ce même stimulus.
Implications pour les Neurosciences : Cette approche offre un chemin pour comprendre les sources de convergence et de divergence entre les réseaux de neurones artificiels et les représentations neuronales humaines. En identifiant les stimuli pour lesquels les modèles convergent ou divergent, on peut mieux cerner les mécanismes sous-jacents à la perception et au traitement de l'information.
Perspectives Futures : L'étude ouvre la voie à l'identification des caractéristiques spécifiques (features) présentes dans les stimuli à faible dispersion qui favorisent l'alignement, permettant potentiellement de concevoir des tests plus rigoureux pour comparer les réseaux biologiques et artificiels.

En résumé, cet article établit que la convergence intra-modale à stimulus unique est un levier critique pour l'alignement inter-modale, offrant un outil puissant pour sonder la structure sous-jacente des représentations apprises par les réseaux de neurones.