Imaginez que vous essayez de comprendre la forme d'un nuage massif et invisible fait de pure pensée. C'est le monde de l'Intelligence Artificielle, et plus précisément du « cerveau » d'un grand modèle de langage (LLM). Ces modèles ne se contentent pas de stocker des mots ; ils transforment chaque phrase qu'ils lisent en une carte multidimensionnelle complexe. Pour déterminer à quel point ces cartes sont compliquées, les scientifiques utilisent un outil appelé Dimensionnalité Intrinsèque (DI). Considérez la DI comme un moyen de mesurer à quel point les données sont « étalées » ou « encombrées ». Si un groupe d'idées est très simple, elles peuvent toutes se regrouper dans un cercle plat et serré (DI faible). Si elles sont incroyablement complexes et diverses, elles peuvent s'étendre en une jungle tentaculaire et de haute dimension (DI élevée). Les scientifiques adorent utiliser la DI pour deviner l'intelligence d'un modèle ou la difficulté d'une tâche, en supposant qu'un nombre plus élevé signifie une structure plus riche et plus complexe. Mais voici le piège : et si le nombre ne nous renseignait pas du tout sur les idées, mais simplement sur la façon dont nous les avons comptées ?

C'est le puzzle abordé par Arwa Osman, Marco Baroni et Iuri Macocco dans leur article, « Local and Global Regimes of Geometric Complexity in Language Model Representations ». Ils ont découvert que le « score de complexité » (DI) du cerveau d'un modèle de langage n'est pas une vérité fixe. Au contraire, il bascule comme un interrupteur selon le nombre de mots différents que vous lui soumettez par rapport au nombre de fois où vous les répétez. Ils ont découvert que si vous avez une petite foule de mots uniques, le modèle semble étonnamment complexe. Mais si vous avez une immense foule de mots uniques, le modèle semble encore plus complexe — mais pour une raison totalement différente. La partie la plus surprenante ? Si vous comparez deux types de mots (comme des « noms » et des « prépositions ») sans contrôler le nombre de mots uniques présents dans chaque groupe, vous pourriez obtenir la réponse inversée. Il s'avère que la « complexité » que nous voyons pourrait n'être qu'une illusion d'optique causée par la taille du vocabulaire, et non par la difficulté réelle des mots eux-mêmes.

Le Grand Changangement de Vocabulaire

Pour comprendre cela, imaginons le cerveau d'un modèle de langage comme une immense piste de danse magique. Chaque fois que le modèle voit un mot, il envoie un danseur sur la piste pour prendre une pose. Si le modèle voit le mot « chat » mille fois, il envoie mille danseurs « chat ». Même s'il s'agit de mille danseurs « chat », ils peuvent poser de manières légèrement différentes selon la phrase dans laquelle ils se trouvent (par exemple, « Le chat dort » contre « Le chat saute »).

Les chercheurs voulaient savoir : comment le nombre de mots différents (diversité lexicale) modifie-t-il la forme de cette piste de danse ?

Ils ont mis en place une expérience massive utilisant un ensemble de données de 10 000 échantillons. Ils ont créé 11 scénarios différents. Dans un scénario, ils n'ont utilisé qu'1 nom unique (comme « chat ») répété 10 000 fois. Dans un autre, ils ont utilisé 10 000 noms uniques (comme « chat », « chien », « éléphant », etc.), chaque mot n'apparaissant qu'une seule fois. Ils ont ensuite mesuré la Dimensionnalité Intrinsèque (DI) des poses des danseurs en utilisant une règle spéciale appelée GRIDE.

Les Deux Régimes : Le Local vs Le Global

Les résultats ont été stupéfiants. La relation entre le nombre de mots uniques et le score de complexité ne faisait pas que monter ou descendre ; elle s'est inversée selon l'échelle de la mesure.

1. Le Régime Local (L'effet « Chambre Encombrée »)
Lorsque les chercheurs utilisaient une petite échelle de mesure (en regardant seulement quelques voisins à la fois) et avaient une faible diversité lexicale (peu de mots uniques, beaucoup de répétitions), quelque chose d'étrange se produisait. Moins il y avait de mots uniques, plus le score de complexité était élevé.

• L'analogie : Imaginez une piste de danse avec un seul type de danseur (disons, des « chats »). Si vous avez 10 000 chats, ils sont tous entassés les uns contre les autres. Mais parce qu'ils sont si nombreux, ils sont contraints de trouver chaque manière infime et subtile de poser différemment pour éviter de se cogner les uns aux autres. L'aire « locale » autour de n'importe quel chat est remplie de variations. La règle voit cette variation dense et encombrée et dit : « Wow, c'est un espace très complexe et de haute dimension ! »
• Le résultat : Moins de mots uniques = DI plus élevée (dans cette vue locale spécifique).

2. Le Régime Global (L'effet « Grande Parade »)
Lorsqu'ils ont changé pour une échelle de mesure plus large ou augmenté le nombre de mots uniques, la règle s'est inversée. Désormais, avoir plus de mots uniques entraînait un score de complexité plus élevé.

• L'analogie : Imaginez maintenant une parade avec 10 000 types différents de danseurs (chats, chiens, éléphants, astronautes, etc.). Chaque type a sa propre place distincte sur la piste de danse. L'aire « locale » autour de n'importe quel danseur est vide car il n'y a pas d'autres « chats » à proximité pour l'encombrer. Au lieu de cela, la règle regarde l'ensemble de la parade et voit que les danseurs sont dispersés à travers tout l'univers des possibilités. L'espace est immense parce qu'il y a tellement de types de choses différents.
• Le résultat : Plus de mots uniques = DI plus élevée (dans cette vue globale).

Le Point de Bascule Magique

La partie la plus passionnante de l'article est que les auteurs n'ont pas seulement observé ce basculement ; ils ont prédit exactement où il se produirait.

Ils ont dérivé une formule simple et parfaite pour le « point de rupture » où la règle passe de « moins de mots = DI plus élevée » à « plus de mots = DI plus élevée ». Le basculement se produit lorsque le nombre de mots uniques ($n$) est égal au nombre total d'échantillons ($N$) divisé par l'échelle de mesure ($k$).

• La Formule : $n = N / k$
• Ce que cela signifie : Si vous regardez un voisinage de 128 danseurs ($k=128$) et que vous avez 10 000 échantillons au total ($N=10 000$), le basculement se produit quand vous avez exactement 78 mots uniques ($10 000 / 128 \approx 78$).
• La Preuve : Ils ont testé cela sur deux modèles d'IA géants différents (Qwen3-8B et Meta-Llama-3-8B) et ont constaté que le basculement se produisait exactement à ce nombre prédit à chaque fois. Ce n'était pas une supposition ; c'était une certitude mathématique basée sur la façon dont les données sont organisées.

Pourquoi Cela Importe (Et Pourquoi Nous Nous Sommes Trompés)

Cette découverte est un énorme avertissement pour les scientifiques qui utilisent ces outils. L'article montre que si vous comparez deux groupes de mots sans contrôler le nombre de mots uniques dans chacun d'eux, vous pourriez obtenir la réponse complètement inversée.

Le Piège « Nom vs Préposition » :
Les auteurs présentent un exemple classique. Dans un texte naturel, les « noms » (comme chien, maison, idée) sont des milliers de mots uniques, tandis que les « prépositions » (comme dans, sur, à) ne sont qu'une dizaine ou une vingtaine.

• La Vue Standard : Si vous mesurez simplement la complexité des noms par rapport aux prépositions, les noms semblent habiter un espace beaucoup plus complexe et de haute dimension. Vous pourriez penser : « Les noms sont si riches et variés ! »
• La Réalité : Les auteurs ont apparié les deux groupes pour qu'ils aient tous deux exactement 25 mots uniques. Soudain, le résultat s'est inversé ! Les prépositions paraissaient désormais plus complexes que les noms.
• La Leçon : La différence initiale n'était pas due au fait que les noms étaient « meilleurs » ou « plus complexes ». C'était un artéfact (un bug) causé par le fait que les noms comprenaient des milliers de types uniques et les prépositions seulement quelques dizaines. L'outil de mesure réagissait simplement au comptage des mots uniques, et non à la nature des mots.

Ce qu'il faut retenir

Cet article nous enseigne que lorsque nous observons la « forme » du cerveau d'une IA, nous devons être très prudents quant à ce que nous mesurons réellement.

• Si vous regardez un petit groupe de mots répétés, le score de complexité vous indique à quel point le modèle varie sa pose pour ce seul mot dans différents contextes.
• Si vous regardez un immense groupe de mots uniques, le score de complexité vous indique à quel point l'ensemble du vocabulaire est étalé.

Ce sont deux choses différentes. On ne peut pas les comparer directement sans réaliser que l'on mesure deux régimes différents. Les auteurs ont trouvé une règle mathématique précise pour vous dire dans quel régime vous vous trouvez. C'est un rappel que dans le monde de l'IA, parfois les chiffres qui semblent les plus « complexes » ne sont que le reflet de la façon dont nous avons configuré l'expérience, et non un secret profond de l'esprit de la machine. La « vérité » de la géométrie du modèle dépend entièrement de l'échelle à laquelle vous choisissez de regarder.