🤖 AI

The Wittgensteinian Representation Hypothesis: Is Language the Attractor of Multimodal Convergence?

Cet article introduit une analyse de la convergence directionnelle pour démontrer que les réseaux de neurones multimodaux entraînés de manière indépendante s'alignent systématiquement vers la structure représentationnelle compacte et discrète du langage plutôt que l'inverse, conduisant à l'"hypothèse de la représentation wittgensteinienne" selon laquelle le langage sert d'attracteur asymptotique à la convergence multimodale pilotée par la compression d'information.

Auteurs originaux : Zhaoyang Zhang, Run Shao, Dongyue Wu, Jiajie Teng, Chao Tao, Jingdong Chen, Haifeng Li

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaoyang Zhang, Run Shao, Dongyue Wu, Jiajie Teng, Chao Tao, Jingdong Chen, Haifeng Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez trois groupes d'étudiants différents apprenant à connaître le même monde, mais en utilisant des outils complètement différents :

Le Groupe Nuage de Points utilise des scanners laser 3D pour cartographier la géométrie brute des objets.
Le Groupe Vision utilise des caméras pour prendre des photos 2D de ces objets.
Le Groupe Langage utilise des mots pour décrire ces objets.

Pendant longtemps, les chercheurs ont remarqué quelque chose d'étrange : même si ces groupes s'entraînaient séparément et ne parlaient jamais entre eux, leur « compréhension » interne du monde commençait à se ressembler énormément. Ils convergèrent tous vers la même carte mentale. Cela a été appelé l'« Hypothèse de la Représentation Platonicienne » — l'idée qu'ils roulaient tous vers le bas d'une colline vers une vallée partagée de vérité.

Mais voici la grande pièce manquante : Personne ne savait dans quelle direction ils roulaient. S'agissait-il d'une rue à double sens ? Ou bien un groupe entraînait-il les autres ?

La Nouvelle Découverte : La Rue à Sens Unique vers le Langage

Cette étude introduit une nouvelle façon de regarder les données, en utilisant un outil appelé CYCLE-KNN. Imaginez cet outil comme un « test aller-retour ».

L'Ancienne Façon (Symétrique) : Imaginez demander : « Quelle est la similarité entre le Groupe A et le Groupe B ? » La réponse était simplement un nombre. Cela indiquait qu'ils étaient proches, mais pas qui menait. C'était comme dire que deux aimants s'attirent sans savoir lequel est l'aimant et lequel est le métal.
La Nouvelle Façon (Directionnelle) : Les auteurs ont demandé : « Si je commence par un point dans le Groupe A, je trouve son plus proche voisin dans le Groupe B, puis j'essaie de trouver le plus proche voisin de retour dans le Groupe A, est-ce que je finis là où j'ai commencé ? »

Le Résultat : Ils ont trouvé un motif unidirectionnel constant.

Si vous commencez par Vision ou Nuages de Points 3D, trouvez une correspondance dans Langage, et essayez de revenir, vous réussissez presque toujours.
Si vous commencez par Langage, trouvez une correspondance dans Vision, et essayez de revenir, vous vous perdez souvent.

L'Analogie : Imaginez une fête bondée.

Vision et 3D sont comme des gens debout dans un grand champ ouvert. Ils sont dispersés, et il est difficile de trouver exactement la même personne deux fois.
Langage est comme un petit groupe d'amis très serrés. Tout le monde est épaule contre épaule.
Si vous êtes dans le champ ouvert (Vision) et que vous essayez de trouver votre chemin vers le groupe (Langage), c'est facile car le groupe est une cible distincte et compacte.
Mais si vous êtes dans le groupe (Langage) et que vous essayez de trouver votre chemin de retour vers le champ ouvert, c'est plus difficile car le champ est si dispersé et désordonné.

L'étude conclut que le Langage est l'« Attracteur ». C'est la destination compacte et organisée vers laquelle toutes les autres formes de perception dérivent naturellement lorsqu'elles sont suffisamment optimisées.

Pourquoi Cela Se Produit-il ? (La Théorie de la Compression)

Les auteurs expliquent cela en utilisant un concept appelé le Goulot d'Étranglement de l'Information.

Imaginez l'apprentissage comme un processus de compression.

Données Brutes (3D/Photos) : Contiennent une masse énorme de détails, de bruit et d'angles spécifiques. C'est « lourd » et « dispersé ».
Langage : Est l'outil de compression ultime. Pour décrire une chaise, vous n'avez pas besoin de lister chaque pixel ou chaque point dans l'espace 3D. Vous avez juste besoin du mot « chaise ».

L'étude soutient que, à mesure que les réseaux de neurones deviennent meilleurs dans leur travail, ils sont forcés de compresser leur compréhension pour être efficaces. La façon la plus efficace de compresser une réalité complexe est de la transformer en structures discrètes et compositionnelles — ce qui est exactement ce qu'est le langage humain.

Ainsi, le « Groupe Langage » n'est pas juste un autre étudiant ; ce sont les compresseurs les plus efficaces. Parce que leur carte interne est si compacte et organisée, les autres groupes (Vision et 3D) remodelent naturellement leurs propres cartes pour ressembler davantage à la carte du Langage afin d'atteindre cette même efficacité.

L'« Hypothèse de la Représentation Wittgensteinienne »

Les auteurs nomment cette idée d'après le philosophe Ludwig Wittgenstein, qui a dit avec justesse : « Les limites de mon langage signifient les limites de mon monde. »

Ils réinterprètent cela pour l'IA : La structure du langage définit la frontière vers laquelle toutes les autres perceptions convergent.

L'Ancienne Vue (Platonicienne) : « Tous les modèles convergent vers une vérité partagée et invisible. » (Vague, sans direction).
La Nouvelle Vue (Wittgensteinienne) : « Tous les modèles convergent spécifiquement vers la structure du langage. » (Spécifique, directionnelle).

Résumé des Résultats

La Direction Compte : La convergence n'est pas une étreinte mutuelle ; c'est un flux à sens unique de la Vision/3D vers le Langage.
C'est Partout : Cela se produit indépendamment de la taille des modèles d'IA. Que le modèle ait quelques millions de paramètres ou des milliards, la direction est la même.
La Raison : Les représentations linguistiques sont les plus « compactes » (denses et organisées). Dans les mathématiques de ces réseaux, la compacité agit comme un aimant, attirant les représentations plus lâches et plus dispersées des images et des formes 3D vers elle.

En bref : Lorsque l'IA apprend à voir et à toucher le monde, elle finit par apprendre à penser comme un écrivain. Le langage n'est pas seulement un outil de communication ; c'est la destination structurelle de l'intelligence artificielle.

Résumé technique : L'hypothèse de la représentation wittgensteinienne

1. Énoncé du problème

Une question fondamentale en apprentissage de représentations multimodales est de savoir pourquoi des réseaux de neurones entraînés indépendamment à partir de modalités différentes (par exemple, vision, nuages de points, langage) convergent vers des structures représentatives partagées. Alors que l'hypothèse de la représentation platonicienne (PRH) postule que cette convergence se produit vers une « structure statistique de la réalité » partagée, elle reste agnostique quant à la direction de cette convergence et à la nature spécifique du point d'aboutissement.

Les preuves empiriques existantes de la convergence reposent exclusivement sur des mesures de similarité symétriques (par exemple, CKA, kNN mutuel, RSA). Par construction, ces métriques satisfont $s(X, Y) = s(Y, X)$ , ce qui leur permet de détecter que la convergence existe, mais les rend structurellement aveugles quant à où ou dans quelle direction la convergence se dirige. Par conséquent, la question de savoir si la convergence est mutuelle ou directionnelle, et si elle est directionnelle, quelle modalité sert d'attracteur, est restée inexplorée.

2. Méthodologie

Les auteurs introduisent l'analyse de convergence directionnelle pour remédier aux limites des métriques symétriques.

2.1 Mesure d'alignement asymétrique : CYCLE-KNN

L'innovation méthodologique centrale est l'application de CYCLE-KNN, une mesure d'alignement intrinsèquement asymétrique, pour étudier la direction de la convergence.

Mécanisme : CYCLE-KNN calcule l'alignement via un cycle de deux étapes de plus proches voisins. Pour des représentations $X$ et $Y$ , il trouve les $k$ plus proches voisins d'un point $i$ dans l'espace $Y$ , puis trouve les $k$ plus proches voisins de ces points de retour dans l'espace $X$ . Le score est la fraction de points $i$ qui reviennent à eux-mêmes (ou à leur voisinage d'origine) après ce voyage aller-retour.
Asymétrie : La métrique est asymétrique pour $k \ge 2$ . Si $CYCLE\text{-}KNN(X \to Y) > CYCLE\text{-}KNN(Y \to X)$ , cela implique que la structure de voisinage de $Y$ est plus cohérente (compacte) que celle de $X$ , rendant l'étape de retour plus susceptible de réussir.
Écart directionnel ( $\Delta$ ) : Les auteurs définissent $\Delta(X, Y) = CYCLE\text{-}KNN(X \to Y) - CYCLE\text{-}KNN(Y \to X)$ . Un $\Delta$ constamment positif indique que $Y$ agit comme un cadre de référence plus stable (attracteur) pour $X$ .

2.2 Configuration expérimentale

Modèles : L'étude évalue 58 modèles unimodaux entraînés indépendamment couvrant trois modalités disposées selon une hiérarchie d'abstraction :
- Nuages de points 3D : 7 modèles (par exemple, PointMAE, PointBERT, PointGPT).
- Vision 2D : 22 modèles (par exemple, ViT, MAE, DINOv2, DINOv3, CLIP).
- Langage : 29 modèles (par exemple, BLOOMZ, LLaMA, Qwen2.5/3, InternLM).
- Note : À l'exception des contrôles inter-modaux (CLIP, ReCon++), aucun modèle n'a été entraîné sur des données provenant d'autres modalités.
Ensembles de données :
- WiT : 1 024 paires image-texte pour l'alignement Vision-Langage.
- ShapeNet55 : Objets 3D appariés, images rendues et descriptions textuelles pour l'alignement Nuage de points-Vision-Langage.
Analyse : Les auteurs calculent $\Delta$ pour toutes les paires inter-modales, en analysant la densité par couche, le consensus intra-modal et l'invariance d'échelle (nombre de paramètres allant de 5,7 M à 72 M).

3. Résultats clés

3.1 Asymétrie directionnelle

L'étude révèle une asymétrie directionnelle cohérente, invisible pour les mesures symétriques :

Les modalités non linguistiques convergent vers le langage : Les représentations de la vision et des nuages de points s'alignent significativement plus vers le langage que le langage ne s'aligne vers elles.
- $\Delta(\text{Vision} \to \text{Langage}) = +0,010$ ( $p < 0,05$ ).
- $\Delta(\text{Nuage de points} \to \text{Langage}) = +0,030$ ( $p < 0,01$ ).
- $\Delta(\text{Nuage de points} \to \text{Vision}) = +0,046$ ( $p < 0,01$ ).
Robustesse : Cette asymétrie persiste à travers 638 paires de modèles, 10 familles de modèles et quatre ordres de grandeur en taille de paramètres. Elle est invariante au choix de $k$ (testé de 1 à 50).

3.2 Consensus intra-modal

Les modèles de langage présentent le consensus représentatif intra-modal le plus élevé (CKA moyen = 0,904), suivis par la vision (0,857) et les nuages de points (0,440). Ce haut degré d'accord entre des modèles de langage entraînés indépendamment suggère qu'ils occupent un bassin profond et stable dans l'espace représentatif, cohérent avec l'hypothèse de l'« attracteur ».

3.3 Mécanisme géométrique : Densité des caractéristiques

La directionnalité s'explique par une asymétrie de densité des caractéristiques :

Compacité : Les représentations linguistiques occupent les régions les plus compactes de l'espace représentatif (distance moyenne par paire $D$ la plus faible), en particulier dans les couches intermédiaires à tardives.
Trajectoire : Les modèles de vision montrent une densité croissante de manière monotone (éparse) avec la profondeur, tandis que les modèles de langage suivent une trajectoire en forme de U inversé, atteignant une compacité maximale aux couches où l'alignement inter-modal est à son pic.
Mécanisme : Les voisinages compacts dans le langage facilitent l'« étape de retour » dans CYCLE-KNN, entraînant le biais directionnel observé.

3.4 Interprétation par le goulot d'étranglement de l'information

Les auteurs interprètent ces résultats à travers le cadre du goulot d'étranglement de l'information (IB). Selon l'IB, l'optimisation pousse les représentations vers une compression maximale des informations non pertinentes pour la tâche. Le langage naturel, en tant que structure hautement compressée, discrète et compositionnelle de l'expérience perceptuelle, agit comme la cible de compression optimale. À mesure que les modèles compressent l'information, leurs représentations convergent naturellement vers la géométrie structurelle du langage.

4. L'hypothèse de la représentation wittgensteinienne (WRH)

Sur la base de ces résultats, l'article propose l'hypothèse de la représentation wittgensteinienne :

« La structure sémantique du langage constitue l'attracteur asymptotique de la convergence des représentations multimodales. »

Cette hypothèse postule que, à mesure que les modèles entraînés indépendamment deviennent suffisamment puissants, leurs représentations apprises — quelle que soit la modalité d'entrée — convergent vers la géométrie représentative définie par la structure sémantique du langage. Cela reformule le dictum de Wittgenstein (« Les limites de mon langage signifient les limites de mon monde ») comme une affirmation sur l'apprentissage de représentations : le langage impose des contraintes structurelles qui définissent la limite vers laquelle toutes les représentations perceptuelles convergent sous une optimisation suffisante.

5. Importance et affirmations

L'article revendique les contributions et l'importance suivantes :

Correction méthodologique : Il identifie un angle mort systématique dans l'apprentissage de représentations : la dépendance exclusive à des mesures symétriques a laissé la direction de la convergence inexplorée. Les auteurs démontrent que l'asymétrie de CYCLE-KNN, précédemment cataloguée mais non analysée, encode une structure directionnelle critique.
Résolution de la PRH : Alors que la PRH établissait que la convergence se produit, la WRH répond à où elle va. Le point d'aboutissement n'est pas une « structure statistique de la réalité » générique, mais une structure spécifique, discrète et compositionnelle : le langage.
Universalité : Le phénomène est invariant d'échelle et robuste à travers diverses architectures (transformers, autoencodeurs) et paradigmes d'entraînement (supervisé, auto-supervisé, contrastif), suggérant qu'il s'agit d'une propriété fondamentale des représentations de modalités plutôt que d'un artefact d'objectifs d'entraînement spécifiques ou de tailles de modèles.
Fondement théorique : L'article fournit une interprétation principielle via le cadre du goulot d'étranglement de l'information, reliant la compacité géométrique à la compression de l'expérience perceptuelle en langage symbolique.

Les auteurs déclarent explicitement que la WRH est une prédiction directionnelle falsifiable, confirmée par leurs expériences sur 58 modèles. Ils mettent en garde contre le fait que cela décrit une tendance structurelle dans l'entraînement actuel des réseaux de neurones, et non une affirmation normative selon laquelle le langage serait la représentation « correcte » ou « complète » de la réalité, notant les risques potentiels liés aux biais culturels inhérents aux données linguistiques.