The Concept of Representation in ML: Beyond Plato and Aristotle

La Carte et le Territoire : Un Guide Rapide

Imaginez que vous essayiez de décrire le monde à un ami qui n'a jamais quitté sa maison. Vous pourriez lui donner une liste de coordonnées, un tas de données brutes ou une carte magnifiquement dessinée. Dans le monde de l'apprentissage automatique (Machine Learning ou ML), la « carte » est appelée une représentation. C'est la façon interne dont un programme informatique organise les informations qu'il voit — comme transformer la photo d'un chat en une liste de nombres qui disent « poilu », « oreilles pointues » et « moustaches ». Pendant longtemps, les ingénieurs se souciaient simplement de savoir si ces cartes aidaient l'ordinateur à résoudre des énigmes, comme identifier correctement le chat.

Mais récemment, quelque chose de fascinant s'est produit. Les scientifiques ont remarqué que lorsqu'ils construisaient différents modèles informatiques massifs et les entraînaient sur des choses différentes, leurs cartes internes commençaient à se ressembler étrangement. Ils ont commencé à se demander : tous ces ordinateurs sont-ils en train de découvrir la même « véritable » carte de la réalité ? Cette idée est appelée l'Hypothèse de la Représentation Platonicienne. Elle suggère que, tout comme il existe un « Chat » parfait et idéal dans l'univers dont tous les chats ne sont que des copies, il existe une structure parfaite de la réalité que tous les modèles d'IA intelligents sont en train de trouver lentement.

Cependant, les philosophes débattent depuis des décennies de ce que signifie réellement « représenter » quelque chose. Ils demandent : une image de chat est-elle juste une image, ou signifie-t-elle pour autant « chat » ? Est-ce que cela importe que l'image ait été dessinée par un humain, un robot ou un éclair ? Ce document plonge dans cette question. Il demande si nous pouvons réellement dire que les modèles d'IA trouvent la « vérité » simplement parce que leurs cartes se ressemblent, ou si nous ne voyons qu'un tour de passe-passe mathématique très habile.

---

Quand les Cartes de l'IA Commencent à Se Ressembler

Dans le monde de l'apprentissage automatique moderne, le mot « représentation » est la recette secrète. Voyez cela comme un traducteur. Lorsque vous montrez une image de chien à un ordinateur, il ne voit pas de poils et d'os ; il voit un motif complexe de nombres. Une « représentation » est la façon dont l'ordinateur traduit ces données brutes en un format qu'il peut utiliser pour penser, apprendre et généraliser. Pendant des années, les ingénieurs ont utilisé ce terme de manière très pratique, dans une optique de « faire le travail ». Si un modèle pouvait transformer une image désordonnée en un code interne propre qui l'aidait à gagner à un jeu, ce code était une bonne représentation.

Mais à mesure que ces modèles d'IA sont devenus plus grands, plus intelligents et plus humains, la conversation a changé. Les chercheurs ont remarqué un phénomène étrange : si vous prenez deux modèles d'IA complètement différents — l'un entraîné sur du texte, l'autre sur des images, construits avec des codes différents — et que vous regardez à l'intérieur de leur cerveau, leurs cartes internes commencent à se ressembler de manière identique. Elles convergent.

Cette observation a conduit à une idée audacieuse appelée l'Hypothèse de la Représentation Platonicienne. Le nom vient du philosophe antique Platon, qui croyait qu' derrière notre monde imparfait et désordonné, il existe une réalité parfaite et unifiée. L'hypothèse suggère qu'à mesure que les modèles d'IA grandissent, ils cessent de simplement mémoriser des données et commencent à « découvrir » cette structure unique et sous-jacente de la réalité. C'est comme si chaque élève d'une classe, utilisant des manuels et des professeurs différents, finissait par écrire exactement la même dissertation parce qu'ils découvrent tous la même vérité universelle.

Le Ralentisseur Philosophique

Les auteurs de ce document, Gilad D. Landau et Aviv Keren, sont là pour freiner cette histoire passionnante. Ils soutiennent que, bien que l'observation des « cartes convergentes » soit réelle, conclure que l'IA trouve la « vérité de la réalité » est un saut énorme qui saute des étapes très importantes.

Pour comprendre pourquoi, nous devons examiner un problème classique de la philosophie appelé le Problème de la Disjonction. Imaginez que vous avez un capteur qui bipe chaque fois qu'il voit un chien. Super ! Mais qu'en est-il si le capteur bipe aussi lorsqu'il voit un cheval dans le brouillard, ou une statue de chien, ou une photo de chien ? Si le capteur bipe pour tout cela, que signifie réellement le bip ? Signifie-t-il « Chien » ? « Animal » ? « Chose en forme de chien » ? Ou « Chien dans un mauvais éclairage » ?

Dans le monde de l'ingénierie, nous ne nous soucions souvent pas de cette distinction. Si le bip aide le robot à éviter le chien, cela fonctionne. Mais en philosophie, pour qu'un état soit une véritable « représentation », il doit avoir une signification spécifique, et non une simple corrélation vague. Le document souligne que l'« Hypothèse Platonicienne » repose sur la mesure de la similitude entre les cartes internes de différents modèles. Ils utilisent une méthode appelée alignement de noyau (kernel alignment), qui vérifie essentiellement si deux modèles organisent leurs données selon la même forme géométrique.

Le problème est que le fait que deux cartes se ressemblent ne signifie pas qu'elles pointent vers la même vérité. Les auteurs soutiennent que ces modèles pourraient simplement trouver les mêmes « raccourcis » ou motifs statistiques dans les données, et non la structure profonde de la réalité. C'est comme deux élèves copiant la même mauvaise réponse sur une antisèche ; leurs réponses correspondent parfaitement, mais ils n'ont pas appris la vérité.

L'« Homme du Marais » et l'Histoire Manquante

Le document évoque également une célèbre expérience de pensée appelée L'Homme du Marais (Swampman). Imaginez qu'un éclair frappe un marais et crée accidentellement une copie molécule par molécule d'un être humain. Cet « Homme du Marais » ressemble et agit exactement comme une personne réelle. Mais parce qu'il n'est pas né et n'a pas évolué, a-t-il des pensées ? A-t-il des « représentations » du monde, ou n'est-il qu'une coquille vide imitant un comportement ?

Les théories classiques de la représentation affirment que pour qu'une chose ait une signification, elle doit avoir une histoire d'évolution ou d'apprentissage qui l'a façonnée pour fonctionner correctement. Les modèles d'IA sont plus proches de l'Homme du Marais que des humains ; ils sont conçus et entraînés, et non évolués. Le document suggère que nous ne pouvons pas simplement supposer que ces modèles ont des représentations « réelles » parce qu'elles ressemblent aux nôtres. Nous devons comprendre comment ils utilisent ces représentations pour réussir ou échouer à des tâches.

Une théorie plus récente, proposée par le philosophe Nicholas Shea, offre un juste milieu. Elle suggère que même si un système n'est pas biologiquement évolué, il peut tout de même développer de réelles représentations s'il apprend de son environnement et stabilise son comportement au fil du temps. Mais cela nécessite plus que de simplement regarder la forme des données ; cela nécessite d'examiner la fonction. Que fait la représentation ?

Le Tournant Aristotélicien : Le Test de Réalité

Le document met en lumière une étude fascinante qui remet en question la vue platonicienne sous un angle technique. Cette étude, intitulée « Revisiting the Platonic Representation Hypothesis: An Aristotelian View », suggère qu'à mesure que les modèles grandissent, ils ont en fait plus de place pour créer des connexions accidentelles.

Voyez cela ainsi : si vous lancez une pièce 10 fois, il est difficile d'obtenir un motif parfait. Mais si vous la lancez un million de fois, vous finirez par trouver une longue série de face par pur hasard. De même, à mesure que les modèles d'IA deviennent massifs, le nombre de « corrélations spécieuses » (correspondances accidentelles) augmente. L'étude a révélé que lorsque l'on tient compte de ces correspondances accidentelles, l'« alignement parfait » entre les modèles disparaît souvent.

Ce qui subsiste est une vue « aristotélicienne » plus modeste. Au lieu de trouver une vérité universelle et parfaite (Platon), les modèles trouvent simplement les meilleures solutions locales pour les tâches spécifiques qu'ils accomplissent (Aristote). Ils convergent vers les structures qui les aident à résoudre le problème en cours, et non nécessairement vers la structure fondamentale de l'univers.

Ce que cela signifie pour l'avenir

La principale conclusion de ce document est un appel à l'humilité et à la clarté. Les auteurs ne disent pas que l'IA est inutile ou qu'elle n'apprend pas. Ils disent que nous devons être prudents avec nos mots. Lorsque nous voyons deux modèles d'IA s'accorder sur une structure interne, nous ne devrions pas immédiatement sauter à des conclusions métaphysiques sur la nature de la réalité.

Au lieu de cela, nous devons creuser plus profondément. Nous devons nous demander :

1. Quel est le contenu ? Que représente exactement le modèle, et comment savons-nous qu'il ne s'agit pas d'une simple coïncidence ?
2. Quelle est la fonction ? Comment cet état interne aide-t-il le modèle à réussir ou à échouer dans une tâche spécifique ?
3. Qui l'utilise ? Comment les autres parties du système interprètent-elles cette information ?

Le document suggère que pour vraiment comprendre ce que l'IA représente, nous devons aller au-delà de la simple mesure de la similitude de leurs cartes. Nous devons utiliser les outils de la philosophie pour comprendre le rôle que jouent ces cartes. Jusqu'à ce que nous puissions expliquer comment ces modèles fixent le sens de leurs propres états internes, l'idée qu'ils découvrent une « vérité platonicienne » reste une histoire belle, mais non prouvée.

En bref, le document soutient que bien que l'« Hypothèse de la Représentation Platonicienne » soit une idée fascinante, les preuves dont nous disposons jusqu'à présent montrent seulement que les modèles d'IA deviennent meilleurs pour trouver des motifs similaires. Cela ne prouve pas qu'ils trouvent la vérité ultime de l'univers. Pour le savoir, nous devons faire plus que regarder les cartes ; nous devons comprendre le voyage que les modèles ont parcouru pour les dessiner.