🤖 machine learning

Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale

Cette étude remet en cause l'hypothèse de la représentation platonicienne en démontrant que l'alignement entre les représentations multimodales est fragile, dépend fortement de la taille des jeux de données et du régime d'évaluation, et reflète davantage un recouvrement sémantique grossier qu'une convergence structurelle fine.

Auteurs originaux : A. Sophia Koepke, Daniil Zverev, Shiry Ginosar, Alexei A. Efros

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : A. Sophia Koepke, Daniil Zverev, Shiry Ginosar, Alexei A. Efros

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes dans une grotte, comme dans la célèbre allégorie de Platon. À l'extérieur, il y a le monde réel, la "vérité". À l'intérieur, des ombres sont projetées sur le mur.

Pendant longtemps, les chercheurs en intelligence artificielle pensaient que toutes les intelligences artificielles (IA), qu'elles soient entraînées à regarder des photos ou à lire des textes, finiraient par voir exactement les mêmes ombres. Ils croyaient qu'elles convergeraient toutes vers une seule et même "représentation parfaite" du monde, un peu comme si tous les voyageurs, peu importe leur point de départ, finissaient par marcher sur le même chemin vers la même destination. C'est ce qu'on appelle l'Hypothèse de la Représentation Platonicienne.

Mais cette nouvelle étude, écrite par une équipe de chercheurs, dit : "Attendez une minute, regardons de plus près."

Voici ce qu'ils ont découvert, expliqué simplement :

1. L'illusion de la petite foule (Le problème de l'échantillon)

Les études précédentes qui soutenaient cette théorie ont fait une expérience un peu comme un test de reconnaissance dans une petite pièce avec seulement 1 000 personnes.

Ce qui s'est passé : Si je vous montre une photo d'un chat et que je vous demande de trouver la personne qui a écrit la description "chat", dans une petite pièce, tout le monde va trouver la même personne, simplement parce qu'il n'y a pas beaucoup de choix.
La réalité : Les chercheurs de cette nouvelle étude ont élargi le test à un million de personnes (un million d'images et de textes).
Le résultat : Soudain, les choses changent ! L'IA qui voit la photo cherche un chat avec une queue spécifique, un angle précis. L'IA qui lit le texte cherche un chat de la même race, mais peu importe l'angle. Elles ne choisissent plus la même "ombre" sur le mur. L'accord entre elles s'effondre.

L'analogie : C'est comme si vous demandiez à deux amis de trouver votre maison dans un petit village. Ils trouveront la même maison. Mais si vous leur demandez de la trouver dans une mégalopole de 10 millions d'habitants, l'un ira à l'adresse exacte, l'autre ira dans le quartier général, et ils ne se croiseront jamais.

2. Des langues différentes pour le même monde

Le papier suggère que les modèles d'IA ne convergent pas vers une seule vérité universelle. Au lieu de cela, ils construisent leur propre "monde intérieur".

L'IA visuelle voit le monde en termes de formes, de couleurs et de textures.
L'IA textuelle voit le monde en termes de concepts, de catégories et de relations logiques.

L'analogie de l'Umwelt (Le monde propre) :
Le papier fait référence à un biologiste du début du siècle qui disait que chaque animal vit dans son propre monde sensoriel (Umwelt).

Pour une tique, le monde est fait de chaleur et d'odeurs de sang.
Pour une chauve-souris, le monde est fait d'échos et de sons.
Elles ne voient pas la même réalité, même si elles sont dans la même forêt.

De la même manière, l'IA qui "voit" et l'IA qui "lit" vivent dans des grottes différentes. Elles ont toutes deux une compréhension riche et intelligente du monde, mais elles l'organisent différemment. Elles ne parlent pas exactement la même langue, même si elles parlent de la même chose.

3. La fin de l'espoir "Le texte suffit"

Certains pensaient que puisque les modèles de langage (comme les grands LLM) deviennent si intelligents, ils n'avaient plus besoin d'images. Ils pensaient que le texte pouvait tout décrire et que l'IA finirait par "voir" sans avoir besoin de pixels.

Cette étude dit : Non.
Même les modèles de langage les plus puissants ne s'alignent pas parfaitement avec les modèles visuels, surtout quand on regarde les détails fins. Le texte ne peut pas capturer toute la richesse de l'image (comme la texture d'un tissu ou la lumière d'un coucher de soleil) de la même manière qu'un œil humain ou une caméra.

En résumé

Cette étude nous dit que nous ne devons pas croire que toutes les IA finissent par penser exactement de la même manière.

Ce n'est pas un échec : Ce n'est pas que les modèles sont mauvais. Ils sont excellents, mais ils ont des "perspectives" différentes.
La leçon : Pour comprendre le monde, nous avons besoin de plusieurs angles. Le texte est puissant, mais il ne remplace pas la vision. L'image est puissante, mais elle ne remplace pas le langage.

Au lieu de chercher une seule "vérité platonicienne" unique, nous devrions accepter que nos modèles d'IA, comme les humains et les animaux, habitent chacun leur propre "grotte" de perception, et que la vraie intelligence vient de la capacité à naviguer entre ces différentes perspectives.

1. Problématique et Contexte

L'article remet en question l'Hypothèse de la Représentation Platonicienne (proposée par Huh et al., 2024), qui postule que les réseaux de neurones entraînés sur des modalités différentes (texte, image, audio) finissent par converger vers une représentation unique et partagée de la réalité, indépendamment de la modalité d'origine.

Si cette hypothèse était vraie, le choix de la modalité de données (par exemple, utiliser uniquement du texte) serait secondaire, car tous les modèles convergeraient vers la même "vérité" abstraite. Cependant, les auteurs soutiennent que les preuves expérimentales soutenant cette hypothèse sont fragiles, dépendantes de protocoles d'évaluation restrictifs et ne résistent pas à une analyse à grande échelle dans des conditions réalistes.

2. Méthodologie

Les auteurs ont conçu une série d'expériences pour tester la robustesse de l'alignement intermodale en modifiant les paramètres d'évaluation utilisés dans les travaux précédents.

Métrique principale : Ils utilisent la métrique des k-plus proches voisins mutuels (mutual kNN). Pour un point de requête, on récupère les $k$ voisins les plus proches dans l'espace d'embedding de la vision et dans celui du langage. Le score correspond au nombre de voisins communs normalisé par $k$ .
Modèles :
- Vision : DINOv2 (base, giant).
- Langage : OpenLlama (3B, 13B) et une large gamme de LLMs récents (55 modèles au total, incluant Llama 3, Gemma, Qwen, etc.).
Données et Échelle :
- Petite échelle (Sparse) : Reproduction des conditions de Huh et al. avec un "galerie" de 1 024 échantillons (WIT-1024) et des correspondances bijectives (une image = une légende).
- Grande échelle (Dense) : Extension de la galerie à 1 million (WIT-1M) et 15 millions (LAION-15M) d'échantillons.
- Correspondances Many-to-Many : Utilisation de jeux de données où une image peut avoir plusieurs légendes valides et vice-versa (CycleReward, WIT naturel), rompant l'hypothèse bijective.
- Contrôle de qualité : Génération de légendes détaillées (jusqu'à 1000 mots) via Gemini-3 pour s'assurer que la qualité du texte n'est pas un facteur limitant.
Analyse de décomposition : Sur ImageNet, ils séparent la capacité d'un modèle à retrouver une image de la bonne classe de la capacité à retrouver la même instance exacte que l'autre modalité.

3. Contributions Clés et Résultats

Les résultats contredisent l'idée d'une convergence universelle et révèlent que l'alignement observé précédemment est un artefact de la méthodologie d'évaluation.

A. L'alignement se dégrade avec l'échelle (Scaling)

Chute drastique du score : Sur la galerie WIT-1024, l'alignement mutual kNN est significatif. Cependant, dès que la galerie passe à 1 million ou 15 millions d'échantillons, le score chute presque à zéro (de ~0,13 à ~0,001 pour $k=10$ ).
Cause : Dans une galerie dense, chaque modèle trouve des voisins beaucoup plus proches sémantiquement, mais ces voisins diffèrent entre les modalités. Le vision modèle trouve une image de la même voiture sous le même angle, tandis que le modèle de langage trouve une légende décrivant le même modèle de voiture mais dans une pose différente. Les deux sont sémantiquement corrects, mais ne correspondent pas au niveau de l'instance exacte.

B. Accord grossier vs. désaccord fin-grain

Les modèles s'accordent sur des structures grossières (catégories générales, classes ImageNet), mais divergent sur la structure fine-grain (instances spécifiques, angles de vue, détails contextuels).
Sur ImageNet, même avec des légendes très détaillées, les modèles retrouvent individuellement des voisins de la bonne classe avec une haute précision, mais l'alignement strict (même instance) reste plat autour de 11%. Cela prouve que les représentations sont riches mais organisées différemment.

C. L'impact des correspondances Many-to-Many

Le protocole original supposait une correspondance bijective (1 image = 1 texte). Dans la réalité, une image a de multiples descriptions valides.
Lorsque cette hypothèse est relâchée (en ajoutant plusieurs images par légende ou plusieurs légendes par image), le score d'alignement mutual kNN diminue systématiquement. La métrique pénalise la diversité naturelle des correspondances, interprétant à tort la richesse sémantique comme un manque d'alignement.

D. La tendance "Meilleur LLM = Meilleur Alignement" ne tient pas

Huh et al. avaient observé que les LLMs plus performants s'alignaient mieux avec la vision.
En testant 55 modèles récents (y compris les plus puissants comme Llama-3-70B, DeepSeek-R1, etc.) sur des benchmarks de raisonnement (GSM8K, MMLU, LogiQA), les auteurs constatent que cette tendance sature ou s'inverse. Les modèles les plus avancés ne montrent pas un meilleur alignement avec DINOv2 que les modèles plus anciens.

4. Signification et Conclusion

L'article propose un changement de paradigme fondamental :

Rejet de l'Idéal Platonicien : Il n'existe pas de "caverne" unique où toutes les modalités convergent vers une même représentation idéale.
Théorie des Umwelten (Mondes perceptifs) : S'inspirant de Jakob von Uexküll, les auteurs suggèrent que chaque modèle, selon sa modalité d'entraînement (texte vs pixels), habite son propre Umwelt (monde perceptif).
- Le texte encode l'abstraction, la négation et la composition.
- L'image encode la structure spatiale, texturale et perceptuelle.
- Ces deux mondes sont cohérents et riches, mais structurés différemment. Ils ne convergent pas vers un point unique, mais coexistent avec des recouvrements partiels et locaux.
Implications pour l'IA :
- L'argument selon lequel "le langage est tout ce dont on a besoin" (Language is all you need) est affaibli par ces résultats.
- L'alignement faible ne signifie pas que les représentations sont pauvres, mais qu'elles sont spécifiques à la modalité.
- Les futures recherches doivent se concentrer sur la modélisation de la partie de l'espace joint où une bijection existe (l'intersection), plutôt que de supposer une convergence globale.

En résumé, l'article démontre que la preuve de la convergence représentative intermodale est un artefact de l'évaluation à petite échelle et dans des conditions idéalisées. À grande échelle et dans des conditions réalistes, les modalités conservent leurs structures distinctes, formant des "cavernes" séparées plutôt qu'une réalité unifiée.