🤖 machine learning

Inferring the Size of Large Language Models From Popular Text Memorization

Dit artikel introduceert een black-box-methode die conservatieve ondergrenzen voor het aantal parameters van grote taalmodellen afleidt door hun memorisatie-accuraatheid van populaire teksten te analyseren, waardoor het rangschikken van modelgroottes mogelijk wordt en verborgen schaalstrategieën van de industrie worden onthuld, zelfs voor systemen met gesloten gewichten.

Oorspronkelijke auteurs: Ivica Nikolic

Gepubliceerd 2026-05-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ivica Nikolic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kamer binnenloopt waar meerdere mensen beroemde verhalen voordragen, zoals Alice in Wonderland of de Bijbel. Je kunt ze niet zien, je kunt hen niet vragen hoe groot hun hersenen zijn, en je kunt niet in hun aantekeningen kijken. Je kunt alleen luisteren naar wat ze als volgende zeggen wanneer je hen halverwege een zin onderbreekt.

Dit is precies het probleem waar onderzoekers mee geconfronteerd werden bij moderne AI-modellen (Grote Taalmodellen). Grote technologiebedrijven bouwen deze krachtige AI's, maar houden hun "blauwdrukken" geheim. Ze vertellen je niet hoeveel "neuronen" (parameters) de AI heeft, wat de standaardmethode is om te meten hoe slim of duur een model is.

Dit artikel introduceert een slimme "black-box"-detectivemethode om de grootte van deze geheime AI-hersenen te raden, puur door te luisteren naar hoe goed ze zinnen afmaken.

Het Kernidee: De "Geheugentest"

De onderzoekers beseften dat bijna elke grote AI getraind is op dezelfde enorme hoop internettekst. Dit betekent dat ze allemaal dezelfde populaire boeken, religieuze teksten en beroemde documenten hebben gelezen.

Denk er als een geheugentoernooi over. Als je iemand vraagt een zin uit een boek dat ze uit het hoofd kennen af te maken, zal een persoon met een groter brein (meer parameters) dit over het algemeen vaker goed doen dan iemand met een kleiner brein.

De onderzoekers testten dit door:

37 beroemde teksten uit het publieke domein te kiezen (zoals Hamlet, de Bijbel en de Amerikaanse Grondwet).
Deze op te splitsen in duizenden kleine fragmenten.
Verschillende AI-modellen te vragen het zeer volgende woord in die fragmenten te voorspellen.

Ze vonden een duidelijk patroon: Hoe groter de AI, hoe beter ze was in het raden van het volgende woord in deze beroemde verhalen. Hoewel andere factoren (zoals hoe de AI werd onderwezen) van belang zijn, was de grootte van het brein de grootste drijvende kracht achter succes.

De Twee Detectivemiddelen

Om deze "geheugenscores" om te zetten in een schatting van de grootte, bouwde het team twee verschillende hulpmiddelen:

1. De "Schaalwet" (De Kaart)
Stel je een groep bekende mensen (open-source AI's) voor waarvan je de hersengrootte wel kent. Je plot hun geheugenscores tegen hun bekende grootte en trekt een gladde curve die de punten verbindt. Het lijkt op een ladder: naarmate de score omhoog gaat, gaat de grootte exponentieel omhoog.

Hoe het werkt: Wanneer een geheime AI de test doet, zie je waar hij op de ladder landt. Als hij scoort als een model met 100 miljard parameters, schat je dat hij ongeveer die grootte heeft.
De Haken: Omdat de geheime AI anders kan zijn gebouwd (zoals een "Mixture of Experts"-model waarbij slechts een deel van het brein tegelijk actief is), besloten de onderzoekers zeer conservatief te zijn. Ze raden niet de exacte grootte; ze raden een minimale ondergrens. Ze zeggen: "Deze AI is minimaal zo groot."

2. De "Kop-tot-Kop"-Test (De Race)
Soms heb je geen exact getal nodig; je moet gewoon weten wie groter is.

Hoe het werkt: De onderzoekers zetten twee geheime AI's tegen elkaar op in dezelfde geheugentest. Ze gebruiken een statistische "race" om te zien of de ene AI consequent beter is in het afmaken van zinnen dan de andere.
Het Resultaat: Als AI A AI B verslaat in de race, kunnen ze met vertrouwen zeggen: "AI A is zeker groter dan AI B", zelfs als ze de exacte aantallen niet kennen.

Wat Ze Ontdekten

Het team testte hun methode op 19 open-source modellen (waarbij ze de antwoorden kenden) en had het 95% van de tijd goed. Vervolgens richtten ze hun blik op de "geheime" modellen van bedrijven zoals OpenAI, Google, Anthropic en Alibaba.

Hier is wat het "detectivewerk" onthulde over de verborgen strategieën van de industrie:

De "Groot Brein"-Strategie (Google & Anthropic): Deze bedrijven lijken modellen te bouwen met enorme parameteraantallen. Bijvoorbeeld, hun topmodellen vertoonden tekenen van honderden miljarden parameters, wat suggereert dat ze met elke nieuwe generatie groter en groter worden.
De "Efficiëntie"-Strategie (OpenAI & Alibaba): Verrassend genoeg ontdekten de onderzoekers dat de nieuwere modellen van OpenAI (zoals GPT-4o en GPT-5-varianten) niet significant groter leken te worden in termen van ruw parameteraantal vergeleken met hun oudere versies. Ze lijken een "grootteplafond" te bereiken. In plaats van het brein groter te maken, lijken ze het bestaande brein slimmer te maken door betere training of slimmere algoritmen.
De Hiërarchiecontrole: De methode identificeerde correct de interne rangschikking van producten. Bijvoorbeeld, het raadde correct dat Anthropic's "Opus"-model groter is dan zijn "Sonnet"-model, dat weer groter is dan zijn "Haiku"-model, zonder dat deze volgorde van tevoren bekend was.

De Beperkingen (De Kleine Lettertjes)

Het artikel is zeer eerlijk over wat het niet kan doen:

Het is een Ondergrens: De methode is ontworpen om veilig te zijn. Het zal je vertellen dat de AI minimaal X grootte heeft, maar de werkelijke grootte kan veel groter zijn. Het is als zeggen: "Deze doos weegt minimaal 10 pond", terwijl hij eigenlijk 50 pond kan wegen.
Het "MoE"-Probleem: Sommige moderne AI's gebruiken een "Mixture of Experts"-architectuur. Stel je een bibliotheek voor waar slechts een paar specifieke bibliothecarissen worden geroepen om een vraag te beantwoorden, in plaats van het hele personeel. Omdat de onderzoekers niet kunnen zien hoeveel bibliothecarissen er totaal zijn versus hoeveel er actief zijn, kunnen ze geen exact totaalgetal krijgen voor deze modellen, alleen een conservatieve ondergrens.
Geen Valsspelen: De methode gaat ervan uit dat de AI niet probeert hen te bedriegen. Als een bedrijf hun AI bewust zo heeft geprogrammeerd dat ze beroemde boeken vergeet om hun grootte te verbergen, zou deze methode falen.

De Conclusie

Dit artikel bewijst dat je de geheime blauwdrukken van een bedrijf niet nodig hebt om een goed idee te krijgen van hoe groot hun AI is. Door simpelweg te testen hoe goed een AI beroemde verhalen onthoudt, kun je een betrouwbare "minimale grootte" afleiden en ontdekken of een bedrijf zijn modellen laat groeien door ze groter te maken of door ze slimmer te maken. Het maakt de "black box" van AI iets waar we een glimp van kunnen opvangen, zelfs als we niet alles kunnen zien.

Technische Samenvatting: Het Afleiden van de Grootte van Grootte Taalmodellen uit Populaire Tekstmemorisatie

1. Probleemformulering

Het totale aantal parameters ( $|f|$ ) van een Groot Taalmodel (LLM) is een primaire maatstaf voor het interpreteren van capaciteiten, kosten en prestatievergelijkingen. Voor de meest geavanceerde modellen met gesloten gewichten die door grote technologiebedrijven (zoals OpenAI, Google, Anthropic) worden ontwikkeld, wordt deze maatstaf echter bijna altijd geheimgehouden. Deze gebrek aan transparantie creëert ambiguïteit bij het vergelijken van gesloten en open modellen en verduistert de economische drijfveren achter API-prijzen en latentie.

Het artikel adresseert twee specifieke inferentieproblemen onder strikte black-box-beperkingen (toegang beperkt tot het indienen van prompts en het observeren van tekstuitvoer, zonder toegang tot logits, gewichten of verborgen toestanden):

Absolute Grootte-inferentie: Het schatten van het aantal parameters $|f|$ van een onbekend model $f$ .
Relatieve Grootte-inferentie: Het bepalen of $|f| > (1 + \tau)|g|$ voor een drempelwaarde $\tau > 0$ , om vast te stellen of één model significant groter is dan een ander.

De kernuitdaging ligt in het isoleren van het signaal van modelgrootte van verstorende variabelen zoals de verdeling van trainingsdata, instructie-tuning en architecturale keuzes, die ook van invloed zijn op de kwaliteit van tekstgeneratie.

2. Methodologie

De voorgestelde aanpak berust op de observatie dat populaire, wijdverspreide teksten (bijvoorbeeld klassieke literatuur, religieuze teksten, fundamentele documenten) aanwezig zijn in vrijwel elk pretrainingscorpus op grote schaal. De auteurs veronderstellen dat het vermogen van een model om de volgende token in deze gememoriseerde teksten nauwkeurig te voorspellen fundamenteel wordt beperkt door het totale aantal parameters.

Dataverzameling en Signaalextractie:

Bronteksten: Een diverse set van 37 populaire teksten in het publiek domein (bijvoorbeeld Alice in Wonderland, De Bijbel) en 4 obscure basisteksten worden gebruikt.
Nauwkeurigheidsmetrieken: Voor een model $M$ , tekst $T$ en prefixlengte $l$ , berekenen de auteurs de ruwe nauwkeurigheid ( $\hat{\alpha}_r$ ) en de opgeheven nauwkeurigheid ( $\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$ , waarbij $\hat{\beta}$ de basalnauwkeurigheid op obscure teksten is).
Nauwkeurigheidsprofiel: Door meerdere prefixlengtes en teksten te bemonsteren, construeert de methode een hoogdimensionale vector van nauwkeurigheidsprofielen ( $A_{T,L}(M) \in \mathbb{R}^{2KL}$ ) voor elk model, waarbij prestaties over wisselende contexten worden geaggregeerd.

Inferentiekader:
Het artikel introduceert twee complementaire methoden om deze nauwkeurigheidsprofielen om te zetten in grootteschattingen:

Schalingswets-schatter (Absolute Inferentie):
- PCA-projectie: Principal Component Analysis (PCA) wordt toegepast op de nauwkeurigheidsprofielen van bekende open-weight modellen om een eendimensionale latente grootte-index ( $z_M$ ) te extraheren. Deze index vangt de dominante variantie in prestaties op, die wordt verondersteld te worden gedreven door het aantal parameters.
- Exponentiële schaling: Gebaseerd op neurale schalingswetten wordt de relatie tussen de latente index $z$ en het aantal parameters $\theta$ gemodelleerd als exponentieel: $\hat{\theta}(z) = A \cdot e^{B \cdot z}$ . Deze curve wordt gekalibreerd met open-weight modellen met bekende groottes.
- Conservatieve ondergrens: Voor gesloten modellen wordt de schatting afgeleid uit deze curve, maar aangepast met een factor van 0,5 (gebaseerd op foutmarges bij cross-validatie) om een conservatieve ondergrens te produceren.
Paarsgewijze statistische test (Relatieve Inferentie):
- Geblokkeerde teken-permutatietest: Om twee modellen $f$ en $g$ te vergelijken, berekent de methode het verschil in hun nauwkeurigheidsprofielen. Omdat metingen binnen dezelfde tekst gecorreleerd zijn, behandelt de test elke brontekst als een "blok".
- Hypothese-toetsing: Een eenzijdige geblokkeerde teken-permutatietest evalueert of de nauwkeurigheidsverschillen systematisch één model ten gunste van het ander bevoordelen. De nulhypothese ( $H_0$ ) veronderstelt geen systematisch voordeel. Verwerping van $H_0$ geeft aan dat het superieure model waarschijnlijk groter is.
- Drempelwaarde: De test bepaalt of $|f| > (1+\tau)|g|$ met een gecontroleerde vals-positieve rate.

Scope en Beperkingen:
De methode veronderstelt algemeen doelgerichte modellen die zijn getraind op standaard internet-schaal corpora. De scope is expliciet beperkt tot het uitsluiten van modellen met catastrofale vergetelheid door gespecialiseerde fine-tuning (bijvoorbeeld code-only modellen) of die strategische ontwijking toepassen (bijvoorbeeld intentioneel vergeten van publieke teksten). Voor Mixture-of-Experts (MoE)-architecturen biedt de methode een conservatieve ondergrens voor het totale aantal parameters, aangezien de actieve parameters tijdens inferentie een subset vormen van het totaal.

3. Belangrijkste Bijdragen

Memorisatie-gebaseerd grootte-signaal: Het artikel toont aan dat het aggregeren van de nauwkeurigheid van de volgende token op populaire teksten een robuust, hoogdimensionaal signaal oplevert dat sterk gecorreleerd is met de modelgrootte, zelfs bij afwezigheid van interne modeltoegang.
Dubbel ondergrens-kader: Het stelt een tweeledige aanpak voor die een PCA-gedreven schalingswets-schatter combineert met een rigoureuze paarsgewijze statistische test. De uiteindelijke inferentie voor elk doelmodel is het maximum van de ondergrenzen die door deze twee methoden worden geproduceerd.
Validatie en Toepassing: Het kader wordt gevalideerd op 19 open-weight dichte modellen (met een $R^2$ van 0,95 voor absolute schatting en ~90% precisie/recall voor relatieve toetsing), 16 open-weight MoE-modellen en 21 populaire gesloten-weight modellen.

4. Resultaten

Open-weight dichte modellen: De schalingswets-schatter behaalde een $R^2$ van 0,9504 op de kalibratieset en 0,9387 bij leave-one-out cross-validatie. Alle voorspellingen vielen binnen een foutband van een factor twee.
Open-weight MoE-modellen: Het kader slaagde erin geldige ondergrenzen te stellen voor alle 16 geëvalueerde MoE-modellen. Hoewel de "strakheid" (ratio van ondergrens tot ware grootte) aanzienlijk varieerde (bijvoorbeeld 86% voor WizardLM-2-8x22b versus 11% voor Mimo-v2-pro), waren de ondergrenzen consequent conservatief (nooit de ware grootte overschrijdend).
Gesloten-weight modellen: Toegepast op 21 modellen van Anthropic, Google, OpenAI en Alibaba, onthulde het kader:
- De interne producthiërarchieën correct te hebben hersteld (bijvoorbeeld Opus > Sonnet > Haiku voor Anthropic).
- Divergerende industriële schalingsstrategieën:
  - Google en Anthropic: Toonden significante generatieschalering, met ondergrenzen die voor vlaggenschepen meer dan 400 miljard parameters bedragen (bijvoorbeeld Claude Opus 4.6 op 433B, Gemini 3 Flash op 405B).
  - OpenAI en Alibaba: Werkten onder strikte parameterplafonds. Vlaggenschepen zoals GPT-4o en Qwen3.6-Max werden begrensd rond de 110B, wat suggereert dat prestatiewinst wordt gedreven door algoritmische optimalisatie of datakwaliteit in plaats van massale parameteruitbreiding.
- Specifieke ondergrenzen geïdentificeerd voor kleinere varianten (bijvoorbeeld GPT-5.4-nano op 2B, Claude Haiku 4.5 op 49B).

5. Betekenis en Claims

Het artikel claimt de eerste systematische, black-box-methodologie te bieden om de verbouwde ontwerpkeuzes van gesloten LLM's te onderzoeken. Door aan te tonen dat modelgrootte een detecteerbaar "vingerafdruk" achterlaat in de memorisatie van teksten in het publiek domein, tonen de auteurs aan dat:

Transparantie: Het mogelijk is om conservatieve ondergrenzen voor modelgrootte af te leiden zonder toegang tot gewichten of logits.
Strategisch inzicht: De methode onthult dat de industrie niet monolithisch is; sommige providers schalen parameters agressief, terwijl anderen lijken te hebben gestuit op een parameterplafond en vertrouwen op andere hefbomen voor capaciteitsverbeteringen.
Robuustheid: De aanpak is robuust tegen variaties in trainingsdata en architectuur voor algemeen doelgerichte modellen, mits het memorisatiesignaal niet intentioneel wordt onderdrukt.

De auteurs blijven bescheiden, erkennen dat de ondergrenzen per constructie conservatief zijn en dat het terugvinden van het exacte aantal parameters voor MoE-architecturen of modellen met strategische ontwijking een open uitdaging blijft. Het werk claimt interne metrieken niet te vervangen, maar biedt een rigoureuze externe sonde voor de "black box" van moderne AI-ontwikkeling.