Dans le vaste paysage de l'intelligence artificielle, les outils les plus puissants sont les grands modèles de langage, souvent appelés transformeurs. Ces systèmes apprennent en lisant des quantités massives de texte et en ajustant des milliards de nombres internes, appelés poids, pour faire de meilleures prédictions sur ce qui vient ensuite. Pendant des années, les chercheurs ont traité ces nombres internes comme une boîte noire : ils savent que les nombres changent pendant l'entraînement, mais ils ont eu du mal à comprendre exactement comment la nature du texte lu façonne ces changements. Une question clé est restée sans réponse : la prévisibilité du texte lui-même dicte-t-elle l'ampleur de la croissance ou du déplacement des nombres internes du modèle ? Si un modèle lit une histoire hautement structurée et prévisible par rapport à un méli-mélo de mots chaotique et aléatoire, cette différence se manifeste-t-elle dans la taille des nombres à l'intérieur de la machine ?

Une nouvelle étude menée par le chercheur indépendant Tiexin Ding répond à cette question avec un degré de précision surprenant. Le chercheur a découvert que la croissance de ces nombres internes suit un schéma strict et prévisible basé entièrement sur une seule propriété du texte : la facilité avec laquelle on peut deviner le mot suivant à partir du précédent. En analysant un type spécifique de corruption de texte, l'étude a révélé que plus le texte est prévisible, plus les nombres internes du modèle s'étendent d'une manière spécifique et mesurable. Cette relation reste vraie quel que soit la vitesse d'apprentissage utilisée pendant l'entraînement, suggérant une loi fondamentale qui relie les données brutes à la structure interne de la machine.

La recherche a commencé par une observation simple sur la forme des nombres à l'intérieur d'un modèle entraîné. Lorsque les chercheurs ont examiné la taille de ces nombres à travers les différentes couches du modèle, ils ont constaté qu'ils suivaient un schéma cohérent connu sous le nom de distribution de Weibull. Ce schéma est défini par deux valeurs : un facteur de forme qui reste remarquablement stable, et un facteur d'échelle qui change à mesure que le modèle apprend. La forme stable signifie que la structure interne du modèle reste cohérente, tandis que le facteur d'échelle changeant agit comme un cadran qui tourne vers le haut ou vers le bas selon l'entraînement. L'étude s'est concentrée sur ce facteur d'échelle, en se demandant ce qui le pousse à croître.

Pour trouver la réponse, le cherchenaire a conçu une expérience contrôlée utilisant un ensemble de données textuelles standard. Au lieu de s'entraîner sur différents livres ou sujets, le chercheur a gardé le même texte mais l'a systématiquement brouillé. Il a pris une fraction du texte et a mélangé l'ordre des mots, créant ainsi un spectre de jeux de données allant de parfaitement ordonnés à complètement chaotiques. Avant d'entraîner tout modèle, il a mesuré une statistique spécifique pour chaque version du texte : la difficulté moyenne de deviner le mot suivant étant donné le précédent. Dans le texte propre, le mot suivant était facile à prédire ; dans le texte brouillé, il était presque impossible à prédire.

Les résultats ont révélé une relation mathématique claire entre cette prévisibilité et la croissance des nombres internes du modèle. L'étude a montré que la croissance du facteur d'échelle n'était pas aléatoire mais suivait une courbe spécifique basée sur la différence entre la prévisibilité du texte et une base de référence de hasard total. Crucialement, cette relation n'était pas une simple supposition ; elle a été dérivée de deux faits distincts et mesurés indépendamment. Premièrement, la croissance des nombres a été trouvée directement proportionnelle à la quantité de structure restant dans le texte. Deuxièmement, la difficulté de prédire le mot suivant dans le texte brouillé suivait un motif de saturation courbe spécifique à mesure que le texte devenait plus brouillé. En combinant ces deux faits, ils ont forcé la croissance des nombres à suivre une courbe convexe précise. Cela signifie que la forme de la courbe n'a pas été ajustée aux données par hasard, mais était une conséquence nécessaire de l'interaction entre la structure du texte et le processus d'apprentissage.

L'étude a testé cette loi à travers différentes vitesses d'apprentissage, qui contrôlent la rapidité avec laquelle le modèle met à jour ses nombres. Lorsque le chercheur a ajusté ces vitesses, tous les différents entraînements se sont regroupés sur une seule ligne unifiée. Cet effondrement a prouvé que la relation est une propriété fondamentale du système, et non un artefact d'un paramètre spécifique. Le chercheur a ensuite effectué un test rigoureux pour voir si la loi pouvait prédire l'avenir. En utilisant uniquement la mesure de prévisibilité du texte avant l'entraînement, il a prédit l'ampleur de la croissance des nombres internes dans une nouvelle version inédite du texte brouillé. La prédiction était exacte avec une marge d'erreur très faible, confirmant que les propriétés du texte sont suffisantes pour prévoir la croissance interne du modèle.

Cependant, l'étude a également tracé une limite claire sur l'application de cette loi. Lorsque le chercheur a testé le modèle sur du code informatique, la prédiction a échoué. Le code possède une faible prévisibilité, ce qui devrait théoriquement conduire à une croissance élevée selon la loi, mais les nombres du modèle ont beaucoup moins crû que prévu. Le chercheur a identifié que le code repose lourdement sur la répétition et les modèles plutôt que sur la riche cartographie contextuelle présente dans le langage naturel. Cela suggère que si la prévisibilité est un moteur majeur, un second facteur — la redondance — joue également un rôle. La loi fonctionne parfaitement pour le texte où le mot suivant dépend du contexte, mais elle échoue pour le texte où le mot suivant est prévisible simplement parce qu'il répète un motif.

Les conclusions ont également tenu bon lorsque le chercheur a regardé à l'intérieur du modèle, au niveau des couches individuelles. La même relation entre la prévisibilité du texte et la croissance des nombres est apparue dans chaque partie du modèle, bien que la force de l'effet varie. Les couches responsables du traitement du flux d'informations ont montré la réponse la plus forte, tandis que d'autres parties étaient moins sensibles. Cela a permis au chercheur de cartographier précisément où, dans le réseau, la structure du texte est inscrite dans les nombres. De plus, l'étude a testé deux architectures de modèles différentes et, bien que les chiffres spécifiques aient changé, la forme sous-jacente de la relation est restée la même. Cela indique que la loi est une caractéristique robuste de la façon dont ces modèles apprennent, quel que soit le design spécifique de la machine.

En fin de compte, ce travail fournit un outil clair et prospectif pour comprendre l'intelligence artificielle. Il démontre que l'on peut observer un ensemble de données avant même qu'un modèle ne soit entraîné et prédire avec précision comment les nombres internes du modèle évolueront. Cela ferme une boucle de longue date entre les données et la machine, montrant que la structure du texte n'est pas seulement un apport passif, mais un moteur actif de la dynamique interne du modèle. Bien que la loi ait des limites, particulièrement avec des données hautement répétitives comme le code, elle offre une nouvelle façon puissante de mesurer la qualité et la structure des données d'entraînement, transformant un processus complexe et invisible en quelque chose qui peut être mesuré, prédit et compris avec des outils simples et concrets.