Imaginez que vous essayez d'apprendre à un robot à reconnaître des animaux. Vous lui montrez des milliers d'images de chats, de chiens et d'oiseaux. Au début, le cerveau du robot est un chaos de chiffres ; il voit un chat et un chien comme un simple amas de pixels sans aucune différence réelle. Mais à mesure qu'il continue d'apprendre, quelque chose de magique se produit à l'intérieur de son cerveau numérique. Les chiffres commencent à s'organiser. Les chiffres du « chat » s'éloignent de ceux du « chien », formant des îles nettes et séparées dans un vaste océan de données. Ce domaine d'étude s'appelle l'apprentissage automatique (machine learning), et plus précisément, il examine comment les « Vision Transformers » (un type d'IA super intelligente qui regarde des images) modifient leurs schémas de pensée internes au fur et à mesure qu'ils apprennent. Les scientifiques s'y intéressent parce que si nous comprenons comment ces robots organisent leurs pensées, nous pouvons construire une IA meilleure et plus fiable qui ne se contente pas de deviner, mais qui comprend réellement le monde.

Le document que vous allez lire, intitulé « TGO-III: Semantic Geometry Observatory », est comme un microscope de haute technologie pour ce cerveau numérique. Les auteurs, Kaustubh Kapil et Kishor Upla, voulaient répondre à une grande question : à mesure que l'IA apprend, devient-elle simplement plus aléatoire et complexe, ou commence-t-elle réellement à trier les choses par sens ? Ils ont utilisé un nouvel ensemble d'outils pour observer le « cerveau » de l'IA (plus précisément un modèle appelé ViT-Small/16) pendant qu'elle s'entraînait sur 100 types différents d'images (un ensemble de données appelé ImageNet-100) pendant 100 jours (époques).

Voici l'histoire de ce qu'ils ont trouvé, racontée à travers le prisme d'une ville en pleine croissance.

La Cité des Idées

Imaginez le monde interne de l'IA comme une immense ville vide. Lorsque l'entraînement commence, cette ville est une plaine plate et boueuse. Toutes les idées (comme « chat », « chien », « voiture ») sont écrasées ensemble au même endroit. L'IA ne peut pas les distinguer.

À mesure que l'IA commence son entraînement, la ville commence à s'étendre. Dans des études précédentes (TGO-I et TGO-II), les scientifiques avaient remarqué que la ville devenait plus grande et plus complexe, comme une ville faisant surgir de nouveaux gratte-ciel et des routes sinueuses. Ils appelaient cela l'« Expansion de la Variété » (Manifold Expansion). Mais ils ne savaient pas pourquoi la ville grandissait. Est-ce qu'elle devenait simplement désordonnée ? Ou était-elle en train de construire un meilleur plan de quartier ?

TGO-III est le nouvel urbaniste qui intervient pour répondre à cette question. Ils n'ont pas seulement regardé la taille de la ville ; ils ont regardé comment les différents quartiers (les classes sémantiques) s'organisaient.

Les Quatre Outils de l'Observatoire

Pour comprendre l'aménagement de la ville, les auteurs ont utilisé quatre outils de mesure spéciaux :

1. La Sonde Linéaire (Le Test Simple) : Imaginez demander à un robot très simple : « Est-ce un chat ou un chien ? ». Si le cerveau de l'IA est désordonné, le robot simple se trompera souvent. Mais si l'IA a bien organisé ses pensées, le robot simple pourra tracer une ligne droite sur une carte et dire : « Tout ce qui est à gauche est un chat, tout ce qui est à droite est un chien ». Les auteurs ont découvert qu'au fil de l'entraînement, ce robot simple devenait de plus en plus performant. Cela signifie que l'IA rend ses idées plus faciles à séparer.
2. Le Ratio de Fisher (Le Compteur de Foule) : Cet outil mesure à quel point un groupe d'amis (comme tous les « chats ») reste soudé par rapport à la distance qui le sépare d'autres groupes (comme les « chiens »). Un score élevé signifie que les chats sont regroupés en un cercle serré, et que ce cercle est loin des chiens. Les auteurs ont observé que ce score augmentait, ce qui signifie que les groupes devenaient plus compacts et plus éloignés les uns des autres.
3. Distances des Centroïdes (La Marche sur la Carte) : Cela mesure la distance entre le « centre de gravité » de chaque groupe. Si vous vous tenez au milieu du quartier des chats et que vous marchez vers le milieu du quartier des chiens, quelle distance parcourez-vous ? Les auteurs ont constaté qu'au fur et à mesure de la progression de l'entraînement, ces quartiers s'éloignaient de plus en plus, créant une immense ville ouverte où aucun groupe ne se confond avec un autre.
4. Rang PCA Local (La Taille de la Pièce) : C'est le plus intéressant. Il demande : « Combien de dimensions un quartier spécifique nécessite-t-il pour exister ? ». Au début, le quartier des « chats » était un fouillis tentaculaire et désordonné qui nécessitait un immense entrepôt en 3D pour contenir toutes ses variations. Mais à mesure que l'IA apprenait, le quartier des « chats » devenait plus organisé. Il n'avait plus besoin d'un immense entrepôt ; il pouvait tenir dans une pièce nette et compacte. Les auteurs ont découvert que si la ville entière devenait plus grande, les quartiers individuels devenaient plus petits et plus efficaces.

La Grande Découverte : L'Expansion Sémantique

La chose la plus excitante que les auteurs ont découverte est ce qu'ils appellent l'Hypothèse de l'Expansion Sémantique.

Avant ce papier, certains pensaient que l'IA devenait simplement plus aléatoire et complexe à mesure qu'elle apprenait. Mais TGO-III suggère quelque chose de beaucoup plus intentionnel. L'IA ne fait pas que créer un plus grand désordre ; elle construit activement une meilleure carte.

Pensez-y de cette façon : quand vous apprenez à dessiner, votre carnet de croquis est rempli de gribouillis. À mesure que vous pratiquez, vous ne faites pas seulement plus de gribouillis ; vous commencez à dessiner des formes distinctes. Vous apprenez qu'un cercle sert pour une tête et une ligne pour un corps. Les « gribouillis » (l'extra de complexité) sont en réalité utilisés pour créer des catégories plus claires et plus distinctes.

Les auteurs ont observé qu'au fur et à mesure que l'IA s'entraînait, les idées de « chat » et de « chien » ne dérivaient pas simplement de manière aléatoire. Elles s'organisaient en une structure où elles étaient faciles à distinguer. La « ville » s'est étendue pour faire de la place à toutes ces nouvelles distinctions claires.

La Surprise de la « Zone de Transition »

Le papier a également examiné où, dans le cerveau de l'IA, cette organisation se produit. L'IA est construite comme une pile de couches, comme un immeuble à plusieurs étages. Les auteurs ont découvert que les étages inférieurs (les premières couches) étaient encore un peu désordonnés. La vraie magie opérait sur les étages supérieurs.

Ils ont confirmé une théorie appelée la Hypothèse de la Zone de Transition, mais avec une nuance. Ils ont découvert que le « milieu » de l'immeuble est l'endroit où la géométrie commence à changer, mais que les derniers étages sont ceux où le véritable tri s'opère. Les couches supérieures sont l'endroit où les « chats » et les « chiens » se séparent réellement et deviennent cristallins. C'est comme si les étages inférieurs étaient le chantier de construction, et les étages supérieurs les appartements finis et polis où les résidents vivent en paix.

Ce que cela signifie (Et ce que cela ne signifie pas)

Les auteurs prennent soin de dire qu'ils ont observé ce comportement et que les preuves soutiennent leur idée. Ils n'ont pas « résolu » le mystère de l'IA, mais ils ont fourni une carte très solide de son fonctionnement.

Ils ont écarté l'idée que l'IA devient simplement plus aléatoire ou qu'elle mémorise les images de manière chaotique. Au lieu de cela, ils suggèrent que l'IA organise activement ses connaissances en groupes nets, séparés et efficaces.

En fin de compte, TGO-III nous dit que lorsqu'un Vision Transformer apprend, il ne fait pas que grandir ; il devient plus intelligent. Il prend un nuage de données chaotique et le transforme en une ville bien organisée où chaque idée a sa place, loin des autres, prête à être reconnue instantanément. C'est un bel exemple de la façon dont l'ordre peut émerger du chaos, même à l'intérieur d'une machine.