🤖 machine learning

Inferring the Size of Large Language Models From Popular Text Memorization

Cet article présente une méthode en boîte noire qui infère des bornes inférieures conservatrices sur les nombres de paramètres des grands modèles de langage en analysant leur précision de mémorisation de textes populaires, permettant ainsi de classer les tailles des modèles et de révéler des stratégies industrielles d'échelle cachées, même pour les systèmes à poids fermés.

Auteurs originaux : Ivica Nikolic

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ivica Nikolic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entriez dans une pièce où plusieurs personnes récitent des histoires célèbres comme Alice au pays des merveilles ou la Bible. Vous ne pouvez pas les voir, vous ne pouvez pas leur demander la taille de leur cerveau, et vous ne pouvez pas jeter un coup d'œil à leurs notes. Vous ne pouvez qu'écouter ce qu'ils disent ensuite lorsque vous les interrompez au milieu d'une phrase.

C'est exactement le problème auquel les chercheurs sont confrontés avec les modèles d'IA modernes (Grands Modèles de Langage). Les grandes entreprises technologiques construisent ces IA puissantes mais gardent leurs « plans » secrets. Elles ne vous diront pas combien de « neurones » (paramètres) l'IA possède, ce qui est la méthode standard pour mesurer l'intelligence ou le coût d'un modèle.

Ce papier présente une méthode de détective « boîte noire » astucieuse pour deviner la taille de ces cerveaux d'IA secrets simplement en écoutant la qualité avec laquelle ils terminent les phrases.

L'idée centrale : Le « test de mémoire »

Les chercheurs ont réalisé que presque chaque grande IA est entraînée sur le même tas massif de textes internet. Cela signifie qu'elles ont toutes lu les mêmes livres populaires, textes religieux et documents célèbres.

Pensez-y comme à un concours de mémoire. Si vous demandez à une personne de terminer une phrase tirée d'un livre qu'elle a mémorisé, une personne avec un cerveau plus grand (plus de paramètres) obtiendra généralement la bonne réponse plus souvent qu'une personne avec un cerveau plus petit.

Les chercheurs ont testé cela en :

Sélectionnant 37 textes célèbres du domaine public (comme Hamlet, la Bible et la Constitution américaine).
Les découpant en milliers de petits fragments.
Demandant à différents modèles d'IA de prédire le tout prochain mot dans ces fragments.

Ils ont découvert un motif clair : Plus l'IA est grande, mieux elle devine le mot suivant dans ces histoires célèbres. Même si d'autres facteurs (comme la façon dont l'IA a été enseignée) comptent, la taille du cerveau était le principal moteur du succès.

Les deux outils de détective

Pour transformer ces « scores de mémoire » en une estimation de taille, l'équipe a construit deux outils différents :

1. La « loi d'échelle » (La carte)
Imaginez que vous avez un groupe de personnes connues (des IA open-source) dont vous connaissez la taille du cerveau. Vous tracez leurs scores de mémoire par rapport à leurs tailles connues et dessinez une courbe lisse reliant les points. Cela ressemble à une échelle : à mesure que le score augmente, la taille augmente de manière exponentielle.

Comment cela fonctionne : Lorsqu'une IA secrète passe le test, vous voyez où elle se situe sur l'échelle. Si elle obtient un score comparable à un modèle de 100 milliards de paramètres, vous estimez qu'elle est à peu près de cette taille.
Le hic : Comme l'IA secrète pourrait être construite différemment (comme un modèle « Mixture of Experts » où seule une partie du cerveau est active à la fois), les chercheurs ont décidé d'être très prudents. Ils ne devinent pas la taille exacte ; ils devinent un plancher minimum. Ils disent : « Cette IA fait au moins cette taille. »

2. Le test « face à face » (La course)
Parfois, vous n'avez pas besoin d'un nombre exact ; vous avez juste besoin de savoir qui est le plus grand.

Comment cela fonctionne : Les chercheurs mettent deux IA secrètes en compétition lors du même test de mémoire. Ils utilisent une « course » statistique pour voir si une IA est systématiquement meilleure pour terminer les phrases que l'autre.
Le résultat : Si l'IA A bat l'IA B dans la course, ils peuvent affirmer avec confiance : « L'IA A est définitivement plus grande que l'IA B », même sans connaître les chiffres exacts.

Ce qu'ils ont découvert

L'équipe a testé sa méthode sur 19 modèles open-source (où ils connaissaient les réponses) et a eu raison dans 95 % des cas. Ensuite, ils ont tourné leur attention vers les modèles « secrets » d'entreprises comme OpenAI, Google, Anthropic et Alibaba.

Voici ce que le travail de « détective » a révélé sur les stratégies cachées de l'industrie :

La stratégie du « gros cerveau » (Google et Anthropic) : Ces entreprises semblent construire des modèles avec des nombres de paramètres massifs. Par exemple, leurs modèles haut de gamme ont montré des signes de centaines de milliards de paramètres, suggérant qu'ils deviennent de plus en plus grands à chaque nouvelle génération.
La stratégie de « l'efficacité » (OpenAI et Alibaba) : De manière surprenante, les chercheurs ont constaté que les nouveaux modèles d'OpenAI (comme GPT-4o et les variantes GPT-5) ne semblaient pas devenir significativement plus grands en termes de nombre brut de paramètres par rapport à leurs versions plus anciennes. Ils semblent atteindre un « plafond de taille ». Au lieu d'agrandir le cerveau, ils semblent rendre le cerveau existant plus intelligent grâce à un meilleur entraînement ou à des algorithmes plus intelligents.
La vérification de la hiérarchie : La méthode a correctement identifié le classement interne des produits. Par exemple, elle a correctement deviné que le modèle « Opus » d'Anthropic est plus grand que son modèle « Sonnet », qui est plus grand que son modèle « Haiku », sans qu'on lui ait indiqué cet ordre à l'avance.

Les limites (Les petites caractères)

Le papier est très honnête sur ce qu'il ne peut pas faire :

C'est une borne inférieure : La méthode est conçue pour être sûre. Elle vous dira que l'IA fait au moins la taille X, mais la taille réelle pourrait être beaucoup plus grande. C'est comme dire : « Cette boîte pèse au moins 10 livres », alors qu'elle pourrait en réalité peser 50.
Le problème du « MoE » : Certaines IA modernes utilisent une architecture « Mixture of Experts ». Imaginez une bibliothèque où seuls quelques bibliothécaires spécifiques sont appelés pour répondre à une question, plutôt que tout le personnel. Comme les chercheurs ne peuvent pas voir combien de bibliothécaires il y a au total par rapport à combien sont actifs, ils ne peuvent pas obtenir un décompte total exact pour ces modèles, seulement un minimum conservateur.
Pas de triche : La méthode suppose que l'IA n'essaie pas de les tromper. Si une entreprise programme intentionnellement son IA pour oublier les livres célèbres afin de cacher sa taille, cette méthode échouerait.

La conclusion

Ce papier prouve que vous n'avez pas besoin des plans secrets d'une entreprise pour avoir une bonne idée de la taille de son IA. En testant simplement la qualité avec laquelle une IA se souvient d'histoires célèbres, vous pouvez déduire une « taille minimale » fiable et découvrir si une entreprise fait grandir ses modèles en les rendant plus grands ou en les rendant plus intelligents. Cela transforme la « boîte noire » de l'IA en quelque chose que nous pouvons entrevoir, même si nous ne pouvons pas tout voir.

Résumé Technique : Inférence de la Taille des Grands Modèles de Langage à Partir de la Mémorisation de Textes Populaires

1. Formulation du Problème

Le nombre total de paramètres ( $|f|$ ) d'un Grand Modèle de Langage (LLM) est une métrique primordiale pour interpréter les capacités, les coûts et les comparaisons de performances. Cependant, pour les modèles les plus avancés à poids fermés développés par les grandes entreprises technologiques (par exemple, OpenAI, Google, Anthropic), cette métrique est presque toujours tenue secrète. Cette opacité crée une ambiguïté dans la comparaison des modèles fermés et ouverts et obscurcit les moteurs économiques de la tarification des API et de la latence.

L'article traite de deux problèmes d'inférence spécifiques sous des contraintes strictes de boîte noire (l'accès se limite à la soumission d'invites et à l'observation des sorties textuelles, sans accès aux logits, aux poids ou aux états cachés) :

Inférence de la Taille Absolue : Estimer le nombre de paramètres $|f|$ d'un modèle inconnu $f$ .
Inférence de la Taille Relative : Déterminer si $|f| > (1 + \tau)|g|$ pour un seuil $\tau > 0$ , établissant ainsi si un modèle est significativement plus grand qu'un autre.

Le défi central consiste à isoler le signal de la taille du modèle des variables de confusion telles que la distribution des données d'entraînement, le réglage par instructions et les choix architecturaux, qui influencent également la qualité de la génération de texte.

2. Méthodologie

L'approche proposée repose sur l'observation que les textes populaires et largement diffusés (par exemple, la littérature classique, les textes religieux, les documents fondateurs) sont présents dans pratiquement tous les corpus de préentraînement à grande échelle. Les auteurs émettent l'hypothèse que la capacité d'un modèle à prédire avec précision le token suivant dans ces textes mémorisés est fondamentalement limitée par son nombre total de paramètres.

Collecte de Données et Extraction du Signal :

Textes Sources : Un ensemble diversifié de 37 textes populaires du domaine public (par exemple, Alice au pays des merveilles, La Bible) et 4 textes de base obscures sont utilisés.
Métriques de Précision : Pour un modèle $M$ , un texte $T$ et une longueur de préfixe $l$ , les auteurs calculent la précision brute ( $\hat{\alpha}_r$ ) et la précision relevée ( $\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$ , où $\hat{\beta}$ est la précision de base sur les textes obscurs).
Profil de Précision : En échantillonnant plusieurs longueurs de préfixe et textes, la méthode construit un vecteur de profil de précision de haute dimension ( $A_{T,L}(M) \in \mathbb{R}^{2KL}$ ) pour chaque modèle, agrégeant les performances à travers divers contextes.

Cadre d'Inférence :
L'article introduit deux méthodes complémentaires pour traduire ces profils de précision en estimations de taille :

Estimateur par Loi d'Échelle (Inférence Absolue) :
- Projection PCA : L'Analyse en Composantes Principales (PCA) est appliquée aux profils de précision des modèles à poids ouverts connus pour extraire un indice de taille latent unidimensionnel ( $z_M$ ). Cet indice capture la variance dominante dans les performances, supposée être pilotée par le nombre de paramètres.
- Échelle Exponentielle : Basée sur les lois d'échelle neuronales, la relation entre l'indice latent $z$ et le nombre de paramètres $\theta$ est modélisée comme exponentielle : $\hat{\theta}(z) = A \cdot e^{B \cdot z}$ . Cette courbe est calibrée à l'aide de modèles à poids ouverts dont les tailles sont connues.
- Limite Conservatrice : Pour les modèles fermés, l'estimation est dérivée de cette courbe mais ajustée par un facteur de 0,5 (basé sur les marges d'erreur de validation croisée) pour produire une limite inférieure conservatrice.
Test Statistique par Paires (Inférence Relative) :
- Test de Permutation de Signes Bloqué : Pour comparer deux modèles $f$ et $g$ , la méthode calcule la différence de leurs profils de précision. Étant donné que les mesures au sein d'un même texte sont corrélées, le test traite chaque texte source comme un « bloc ».
- Test d'Hypothèse : Un test de permutation de signes bloqué unilatéral évalue si les différences de précision favorisent systématiquement un modèle par rapport à l'autre. L'hypothèse nulle ( $H_0$ ) suppose aucun avantage systématique. Le rejet de $H_0$ indique que le modèle supérieur est probablement plus grand.
- Seuillage : Le test détermine si $|f| > (1+\tau)|g|$ avec un taux de faux positifs contrôlé.

Portée et Limites :
La méthode suppose des modèles à usage général entraînés sur des corpus standards à l'échelle d'Internet. Elle est explicitement circonscrite pour exclure les modèles souffrant d'oubli catastrophique dû à un réglage fin spécialisé (par exemple, modèles uniquement axés sur le code) ou ceux employant une évasion stratégique (par exemple, désapprentissage intentionnel de textes publics). Pour les architectures à Mélange d'Experts (MoE), la méthode fournit une limite inférieure conservatrice du nombre total de paramètres, car les paramètres actifs lors de l'inférence constituent un sous-ensemble du total.

3. Contributions Clés

Signal de Taille Basé sur la Mémorisation : L'article démontre que l'agrégation de la précision de prédiction du token suivant sur des textes populaires produit un signal robuste et de haute dimension fortement corrélé à la taille du modèle, même en l'absence d'accès interne au modèle.
Cadre Dual de Limites Inférieures : Il propose une approche à double méthode combinant un estimateur par loi d'échelle piloté par la PCA et un test statistique rigoureux par paires. L'inférence finale pour tout modèle cible est le maximum des limites produites par ces deux méthodes.
Validation et Application : Le cadre est validé sur 19 modèles denses à poids ouverts (atteignant un $R^2 = 0,95$ pour l'estimation absolue et environ 90 % de précision/rappel pour le test relatif), 16 modèles MoE à poids ouverts, et 21 modèles à poids fermés populaires.

4. Résultats

Modèles Denses à Poids Ouverts : L'estimateur par loi d'échelle a atteint un $R^2$ de 0,9504 sur l'ensemble de calibration et de 0,9387 en validation croisée leave-one-out. Toutes les prédictions sont tombées dans une bande d'erreur d'un facteur deux.
Modèles MoE à Poids Ouverts : Le cadre a établi avec succès des limites inférieures valides pour les 16 modèles MoE évalués. Bien que la « justesse » (rapport entre la limite et la taille réelle) ait varié considérablement (par exemple, 86 % pour WizardLM-2-8x22b contre 11 % pour Mimo-v2-pro), les limites ont été systématiquement conservatrices (ne dépassant jamais la taille réelle).
Modèles à Poids Fermés : Appliqué à 21 modèles d'Anthropic, Google, OpenAI et Alibaba, le cadre :
- A correctement récupéré les hiérarchies de produits internes (par exemple, Opus > Sonnet > Haiku pour Anthropic).
- A révélé des stratégies d'échelle industrielles divergentes :
  - Google et Anthropic : Ont montré une mise à l'échelle générationnelle significative, avec des limites inférieures dépassant 400 milliards de paramètres pour les modèles phares (par exemple, Claude Opus 4.6 à 433 milliards, Gemini 3 Flash à 405 milliards).
  - OpenAI et Alibaba : Ont opéré sous des plafonds de paramètres stricts. Les modèles phares comme GPT-4o et Qwen3.6-Max ont été bornés près de 110 milliards, suggérant que les gains de performance sont pilotés par l'optimisation algorithmique ou la qualité des données plutôt que par une expansion massive des paramètres.
- A identifié des limites spécifiques pour des variantes plus petites (par exemple, GPT-5.4-nano à 2 milliards, Claude Haiku 4.5 à 49 milliards).

5. Signification et Revendications

L'article revendique de fournir la première méthodologie systématique en boîte noire pour sonder les choix de conception cachés des LLM fermés. En démontrant que la taille du modèle laisse une « empreinte digitale » détectable dans la mémorisation de textes du domaine public, les auteurs montrent que :

Transparence : Il est possible d'inférer des limites inférieures conservatrices sur la taille du modèle sans accès aux poids ou aux logits.
Insight Stratégique : La méthode révèle que l'industrie n'est pas monolithique ; certains fournisseurs augmentent les paramètres de manière agressive, tandis que d'autres semblent avoir atteint un plafond de paramètres, s'appuyant sur d'autres leviers pour les améliorations de capacités.
Robustesse : L'approche est robuste face aux variations des données d'entraînement et de l'architecture pour les modèles à usage général, à condition que le signal de mémorisation ne soit pas intentionnellement supprimé.

Les auteurs restent modestes, reconnaissant que les limites sont conservatrices par construction et que la récupération du nombre exact de paramètres pour les architectures MoE ou les modèles avec évasion stratégique reste un défi ouvert. Le travail ne prétend pas remplacer les métriques internes mais offre une sonde externe rigoureuse pour la « boîte noire » du développement de l'IA moderne.