A quantitative analysis of semantic information in deep representations of text and images

Cette étude utilise le déséquilibre d'information pour démontrer que les représentations sémantiques convergent à travers les langues, les modalités et les architectures, tout en révélant que la prédictibilité dirigée dépend fortement de la profondeur des couches, de l'échelle du modèle et de la langue, avec des modèles massifs indépendants surpassant parfois les modèles multimodaux entraînés conjointement.

L'essentiel

Imaginez que vous avez plusieurs traducteurs très intelligents, mais qui parlent des langues différentes, et plusieurs caméras qui prennent des photos du même objet. La grande question de ce papier est la suivante : quand ces machines "pensent" à la même chose (par exemple, le mot "chat" en français et "cat" en anglais, ou une photo de chat et la phrase "un chat"), est-ce que leurs cerveaux internes ressemblent ?

Les auteurs de cette étude, qui travaillent avec des modèles d'intelligence artificielle de pointe (comme DeepSeek-V3), ont décidé de vérifier cette hypothèse. Voici une explication simple de leurs découvertes, avec quelques images pour aider à visualiser.

1. La nouvelle règle du jeu : "L'Imbroglio de l'Information"

Pour mesurer si deux cerveaux d'IA se comprennent, les chercheurs n'ont pas utilisé la règle habituelle (qui dit juste "à quel point ils sont pareils"). Ils ont utilisé une mesure plus subtile appelée "Information Imbalance" (Déséquilibre d'information).

L'analogie du détective :
Imaginez que vous avez deux détectives, le Détective A (qui parle anglais) et le Détective B (qui parle italien).

• Si le Détective A voit un indice et peut dire : "Ah, le Détective B a aussi vu cet indice !" avec une grande certitude, alors A prédit bien B.
• Mais si le Détective B voit un indice et ne peut pas du tout deviner ce que A a vu, alors la prédiction est mauvaise.

Ce papier montre que cette relation n'est pas toujours réciproque. Parfois, l'anglais "devine" mieux l'italien que l'inverse. C'est comme si l'anglais était un détective plus expérimenté qui a vu plus de cas, et donc comprend mieux les indices de l'italien, alors que l'italien est un peu perdu face aux subtilités de l'anglais.

2. Où se cache la "vraie" pensée dans le cerveau de l'IA ?

Les modèles d'IA sont comme des usines géantes avec des centaines d'étages (des couches). À chaque étage, l'information est transformée.

• Les étages du bas : C'est là que le modèle apprend les lettres, la grammaire, les détails techniques. C'est très spécifique à la langue.
• Les étages du haut : C'est là que le modèle prépare la réponse finale.
• Les étages du milieu : C'est ici que la magie opère !

La découverte clé : Les chercheurs ont découvert que c'est au milieu de l'usine que les représentations de l'anglais et de l'italien se ressemblent le plus. C'est comme si, au milieu du processus de traduction, tous les mots perdaient leur accent et leur grammaire spécifique pour ne garder que le sens pur. Que vous disiez "chat" ou "gatto", au milieu de l'usine, les deux machines voient la même "essence de chat".

3. Le secret n'est pas dans un seul mot, mais dans le groupe

Avant, on pensait que toute la signification d'une phrase était concentrée dans le tout dernier mot généré par l'IA (comme si la réponse finale contenait tout le résumé).
La réalité est différente : Les chercheurs ont vu que le sens est réparti sur beaucoup de mots, comme une équipe de travail où chaque membre détient un bout de l'information.

• L'analogie : Imaginez un puzzle. Si vous ne regardez que la dernière pièce posée, vous ne voyez pas l'image complète. Il faut regarder l'ensemble des pièces (la moyenne de tous les mots) pour voir le tableau. C'est ce qui permet à l'IA de mieux comprendre la traduction.

4. La taille compte (et l'anglais est un peu "spécial")

• Le géant vs le nain : Ils ont comparé un modèle énorme (DeepSeek-V3) avec un modèle plus petit (Llama3). Résultat : le géant prédit mieux ce que pense le petit que l'inverse. C'est logique : un cerveau plus grand a plus de ressources pour comprendre les nuances.
• La domination de l'anglais : Les représentations de l'anglais sont systématiquement plus "prédictives" que celles des autres langues. C'est comme si l'anglais était la "langue pivot" de l'IA, car il y a beaucoup plus de données d'entraînement en anglais. Les autres langues doivent souvent passer par l'anglais pour être bien comprises par la machine.

5. Les yeux et la bouche : Images et Textes

Ils ont aussi comparé des modèles qui voient des images (comme DinoV2) avec des modèles qui lisent du texte.

• Le résultat surprenant : Deux modèles entraînés séparément (l'un pour les images, l'autre pour le texte) se comprennent mieux qu'un modèle spécial (CLIP) qui a été entraîné spécifiquement pour relier images et textes.
• L'analogie : Imaginez deux musiciens qui jouent chacun de leur côté, mais qui ont tellement de talent (grâce à leur taille et leur expérience) qu'ils finissent par jouer en parfaite harmonie, même sans répéter ensemble. Un musicien moins talentueux mais qui a répété avec un partenaire (le modèle CLIP) ne joue pas aussi bien. Cela suggère que la taille et la puissance du modèle comptent plus que le fait d'avoir été entraîné ensemble.

En résumé

Ce papier nous dit que :

1. L'IA trouve un langage universel au milieu de son cerveau, peu importe la langue ou le type de données (texte ou image).
2. Ce langage universel est asymétrique : L'anglais et les gros modèles dominent la compréhension.
3. Le sens est partagé : Il ne se cache pas dans un seul endroit, mais est réparti dans tout le réseau.
4. La puissance brute gagne : Un modèle énorme et bien entraîné séparément peut mieux comprendre un autre domaine (texte vs image) qu'un modèle plus petit entraîné spécifiquement pour cela.

C'est une preuve fascinante que, malgré leurs différences de code et de données, les intelligences artificielles finissent par converger vers une même compréhension du monde, un peu comme des explorateurs qui, en gravissant la même montagne, finissent par voir le même paysage depuis le sommet.

Résumé technique

1. Problématique et Contexte

L'article s'inscrit dans le cadre de l'Hypothèse de la Représentation Platonicienne (Huh et al., 2024), qui postule que, à grande échelle, les représentations d'entrées sémantiquement liées (qu'elles proviennent de langues différentes, de modalités différentes comme le texte et l'image, ou de modèles différents) convergent vers des structures voisines similaires dans un espace latent partagé.

Cependant, la littérature existante présente plusieurs limites :

• Elle traite souvent les représentations comme des objets monolithiques sans identifier précisément où dans le réseau cette convergence se produit.
• Les métriques utilisées pour comparer les représentations (comme l'alignement des noyaux centraux - CKA, ou le chevauchement des voisins) sont symétriques et ne permettent pas de quantifier la prédictibilité directionnelle (c'est-à-dire si la représentation A contient plus d'information sur B que l'inverse).
• Il manque une analyse systématique de la répartition de l'information sémantique à travers les tokens et les couches, ainsi que de l'asymétrie informationnelle entre langues (ex: anglais vs autres) et entre modèles de tailles différentes.

L'objectif de ce travail est de quantifier rigoureusement cette information sémantique partagée et ses asymétries en utilisant une mesure statistique adaptée aux espaces de haute dimension.

2. Méthodologie

Les auteurs utilisent une métrique statistique appelée Déséquilibre d'Information (Information Imbalance - II) pour mesurer la capacité d'une représentation à prédire une autre.

• Le Déséquilibre d'Information (II) :

  • C'est une mesure asymétrique basée sur les rangs des voisins les plus proches.
  • Pour deux espaces de représentation $X$ et $Y$, le terme $\Delta(X \to Y)$ correspond au rang moyen des voisins de $X$ dans l'espace $Y$.
  • Si $\Delta(X \to Y)$ est faible (proche de 0), cela signifie que les voisins dans $X$ sont aussi des voisins dans $Y$ : $X$ prédit bien $Y$.
  • Si $\Delta(X \to Y)$ est élevé (proche de 1), il n'y a pas de corrélation structurelle.
  • Contrairement au CKA ou au Neighborhood Overlap (NO), l'II peut révéler des relations de prédominance informationnelle (ex: $X$ est plus informatif que $Y$).

• Données et Modèles :

  • Texte : Utilisation du corpus Opus Books pour des paires de traductions (Anglais vers Espagnol, Italien, Allemand, Français, Néerlandais, Hongrois).
    • Modèles : DeepSeek-V3 (671B paramètres, MoE) et la famille Llama3 (1B, 3B, 8B).
    • Agrégation des tokens : Comparaison entre le dernier token, la concaténation des derniers $T$ tokens, et la moyenne des tokens.
  • Images : Dataset ImageNet-1k (paires d'images de même classe) et Flickr30k (paires image-titre).
    • Modèles visuels : image-gpt-large (modèle auto-régressif) et DinoV2-large (modèle encodeur).
    • Comparaison avec CLIP (modèle conjointement entraîné).

• Protocole d'analyse :

  • Calcul de l'II couche par couche pour identifier les zones de convergence maximale.
  • Analyse des asymétries directionnelles (Langue A $\to$ Langue B vs B $\to$ A).
  • Comparaison de l'alignement inter-modal (Image $\leftrightarrow$ Texte) entre modèles entraînés séparément et modèles entraînés conjointement (CLIP).

3. Résultats Clés

A. Textes et Traductions

1. Répartition de l'information sémantique : L'information sémantique n'est pas concentrée uniquement dans le dernier token. L'utilisation de la moyenne des tokens (surtout les derniers 20-30) donne les meilleurs scores de prédictibilité, suggérant que le sens est distribué sur de nombreux tokens.
2. Localisation des couches sémantiques : La convergence maximale (II minimal) se situe dans les couches centrales du réseau (environ 40-60% de la profondeur), loin des couches d'encodage (spécifiques à la langue) et de décodage. Cette zone est robuste à travers six paires de langues.
3. Asymétries Informationnelles :
   • Langue : Les représentations en anglais sont systématiquement plus prédictives de leurs traductions que l'inverse, particulièrement dans les premières et dernières couches. Les couches centrales sont les seules à montrer une symétrie parfaite.
   • Taille du modèle : Les représentations de DeepSeek-V3 (671B) sont plus prédictives de celles de Llama3-8b que l'inverse. L'augmentation de la taille du modèle réduit l'II, indiquant une meilleure convergence vers la représentation universelle.
4. Corrélations Token-à-Token : Dans les couches profondes, les tokens sont fortement corrélés entre eux (faible II token-à-token), et cette corrélation est plus forte en anglais qu'en italien, reflétant la qualité supérieure des représentations.

B. Images et Multimodalité

1. Architecture et concentration sémantique :
   • Pour les modèles auto-régressifs (image-gpt), l'information sémantique est concentrée dans les couches centrales (similaire aux LLM textuels).
   • Pour les modèles encodeurs (DinoV2), l'information sémantique est maximale dans les couches finales, conçues pour les tâches en aval (segmentation, profondeur).
2. Alignement Inter-Modal (Image-Texte) :
   • Les couches qui maximisent l'alignement entre les images et les descriptions textuelles (DeepSeek-V3) correspondent exactement aux couches où l'information sémantique est la plus concentrée dans le modèle visuel.
   • Asymétrie : Les représentations textuelles (DeepSeek-V3) sont plus prédictives des représentations visuelles que l'inverse.
3. Échelle vs Entraînement Conjoint :
   • Deux modèles entraînés séparément (DeepSeek-V3 et DinoV2) atteignent un meilleur alignement inter-modal (II $\approx$ 0.20) qu'un modèle conjointement entraîné (CLIP, II $\approx$ 0.30).
   • Cela suggère que l'échelle du modèle (scale) peut être un facteur plus déterminant pour l'alignement sémantique que l'entraînement explicite multimodal (contrastif).
   • L'entraînement conjoint (CLIP) produit un alignement plus uniforme sur toutes les couches, mais moins performant au pic de convergence.

4. Contributions et Signification

• Méthodologique : L'article démontre l'utilité supérieure du Déséquilibre d'Information (II) par rapport aux métriques symétriques classiques (CKA, NO) pour analyser les réseaux de neurones profonds, permettant de révéler des relations de causalité et de prédictibilité directionnelle invisibles autrement.
• Théorique :
  • Validation et nuance de l'Hypothèse de la Représentation Platonicienne : La convergence existe bien, mais elle est localisée (couches centrales pour les auto-régresseurs, finales pour les encodeurs) et asymétrique.
  • Mise en évidence du rôle de l'anglais comme pivot informationnel dominant dans les LLM multilingues.
  • Démonstration que l'information sémantique est distribuée sur de nombreux tokens et non encapsulée dans un seul token final.
• Pratique :
  • L'étude suggère que pour l'alignement multimodal, l'augmentation de la taille des modèles (scaling) pourrait être plus efficace que l'ajout de données d'entraînement conjointes complexes.
  • Identification précise des couches optimales pour l'extraction de caractéristiques sémantiques selon l'architecture du modèle (milieu vs fin).

En conclusion, ce travail fournit une cartographie quantitative fine de la manière dont l'information sémantique est encodée, partagée et asymétrique à travers les langues, les modalités et les architectures, soulignant que la convergence n'est pas un état global uniforme, mais un phénomène structuré dépendant de la profondeur du réseau et de la capacité du modèle.