🤖 machine learning

Inferring the Size of Large Language Models From Popular Text Memorization

Dieser Beitrag stellt eine Black-Box-Methode vor, die durch Analyse des Auswendiglernverhaltens populärer Texte konservative untere Schranken für die Parameteranzahl großer Sprachmodelle ableitet, wodurch eine Rangfolge der Modellgrößen ermöglicht und selbst bei geschlossenen Systemen verborgene industrielle Skalierungsstrategien offengelegt werden.

Ursprüngliche Autoren: Ivica Nikolic

Veröffentlicht 2026-05-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ivica Nikolic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten einen Raum, in dem mehrere Personen berühmte Geschichten wie Alice im Wunderland oder die Bibel vortragen. Sie können sie nicht sehen, Sie können sie nicht fragen, wie groß ihre Gehirne sind, und Sie können nicht in ihre Notizen schauen. Sie können nur zuhören, was sie als Nächstes sagen, wenn Sie sie mitten in einem Satz unterbrechen.

Genau diesem Problem sahen sich Forscher bei modernen KI-Modellen (Large Language Models) gegenüber. Große Technologieunternehmen bauen diese leistungsstarken KIs, halten aber ihre „Baupläne" geheim. Sie werden Ihnen nicht sagen, wie viele „Neuronen" (Parameter) die KI hat, was die Standardmethode ist, um zu messen, wie intelligent oder teuer ein Modell ist.

Diese Arbeit stellt eine clevere „Black-Box"-Detektormethode vor, um die Größe dieser geheimen KI-Gehirne allein durch das Zuhören zu erraten, wie gut sie Sätze vervollständigen.

Die Kernidee: Der „Gedächtnistest"

Die Forscher erkannten, dass fast jede große KI auf demselben massiven Haufen von Internettexten trainiert wird. Das bedeutet, dass sie alle dieselben populären Bücher, religiösen Texte und berühmten Dokumente gelesen haben.

Stellen Sie es sich wie einen Gedächtniswettbewerb vor. Wenn Sie eine Person bitten, einen Satz aus einem Buch zu vervollständigen, das sie auswendig gelernt hat, wird eine Person mit einem größeren Gehirn (mehr Parametern) dies im Allgemeinen öfter richtig machen als jemand mit einem kleineren Gehirn.

Die Forscher testeten dies, indem sie:

37 berühmte, gemeinfreie Texte auswählten (wie Hamlet, die Bibel und die US-Verfassung).
Diese in Tausende von kleinen Schnipseln zerschnitten.
Verschiedene KI-Modelle aufforderten, das allererste folgende Wort in diesen Schnipseln vorherzusagen.

Sie fanden ein klares Muster: Je größer die KI, desto besser war sie darin, das nächste Wort in diesen berühmten Geschichten zu erraten. Obwohl andere Faktoren (wie die Art, wie die KI unterrichtet wurde) eine Rolle spielen, war die Größe des Gehirns der größte Treiber für den Erfolg.

Die zwei Detektortools

Um diese „Gedächtnispunkte" in eine Größenabschätzung umzuwandeln, entwickelte das Team zwei verschiedene Werkzeuge:

1. Das „Scaling Law" (Die Karte)
Stellen Sie sich vor, Sie haben eine Gruppe bekannter Personen (Open-Source-KIs), deren Gehirngrößen Sie kennen. Sie tragen deren Gedächtnispunkte gegen ihre bekannten Größen auf und zeichnen eine glatte Kurve, die die Punkte verbindet. Es sieht aus wie eine Leiter: Je höher der Punkt steigt, desto exponentiell steigt die Größe.

Wie es funktioniert: Wenn eine geheime KI den Test besteht, sehen Sie, wo sie auf der Leiter landet. Wenn sie wie ein Modell mit 100 Milliarden Parametern abschneidet, schätzen Sie, dass sie ungefähr diese Größe hat.
Der Haken: Da die geheime KI möglicherweise anders aufgebaut ist (wie ein „Mixture of Experts"-Modell, bei dem nur ein Teil des Gehirns gleichzeitig aktiv ist), beschlossen die Forscher, sehr konservativ vorzugehen. Sie raten nicht die genaue Größe; sie raten ein minimales Minimum. Sie sagen: „Diese KI ist mindestens so groß."

2. Der „Kopf-an-Kopf"-Test (Das Rennen)
Manchmal benötigen Sie keine genaue Zahl; Sie müssen nur wissen, wer größer ist.

Wie es funktioniert: Die Forscher lassen zwei geheime KIs im selben Gedächtnistest gegeneinander antreten. Sie nutzen einen statistischen „Wettlauf", um zu sehen, ob eine KI beim Vervollständigen der Sätze konsistent besser ist als die andere.
Das Ergebnis: Wenn KI A im Rennen KI B schlägt, können sie mit Zuversicht sagen: „KI A ist definitiv größer als KI B", auch wenn sie die genauen Zahlen nicht kennen.

Was sie entdeckten

Das Team testete ihre Methode an 19 Open-Source-Modellen (wo sie die Antworten kannten) und traf in 95 % der Fälle richtig. Dann richteten sie ihre Augen auf die „geheimen" Modelle von Unternehmen wie OpenAI, Google, Anthropic und Alibaba.

Hier ist das, was die „Detektivarbeit" über die verborgenen Strategien der Branche enthüllte:

Die „Großes Gehirn"-Strategie (Google & Anthropic): Diese Unternehmen scheinen Modelle mit massiven Parameterzahlen zu bauen. Zum Beispiel zeigten ihre Top-Modelle Anzeichen von Hunderten Milliarden Parametern, was darauf hindeutet, dass sie mit jeder neuen Generation größer und größer werden.
Die „Effizienz"-Strategie (OpenAI & Alibaba): Überraschenderweise stellten die Forscher fest, dass OpenAIs neuere Modelle (wie GPT-4o und GPT-5-Varianten) im Hinblick auf die rohe Parameterzahl im Vergleich zu ihren älteren Versionen nicht signifikant größer zu werden schienen. Sie scheinen eine „Größengrenze" zu erreichen. Anstatt das Gehirn größer zu machen, scheinen sie das bestehende Gehirn durch besseres Training oder intelligentere Algorithmen schlauer zu machen.
Die Hierarchie-Prüfung: Die Methode identifizierte korrekt die interne Rangfolge der Produkte. Zum Beispiel riet sie korrekt, dass Anthropics „Opus"-Modell größer ist als sein „Sonnet"-Modell, welches größer ist als sein „Haiku"-Modell, ohne dass diese Reihenfolge im Voraus bekannt gegeben wurde.

Die Einschränkungen (Das Kleingedruckte)

Die Arbeit ist sehr ehrlich darüber, was sie nicht tun kann:

Es ist eine Untergrenze: Die Methode ist darauf ausgelegt, sicher zu sein. Sie wird Ihnen sagen, dass die KI mindestens X groß ist, aber die tatsächliche Größe könnte viel größer sein. Es ist wie zu sagen: „Diese Kiste wiegt mindestens 10 Pfund", wenn sie tatsächlich 50 Pfund wiegen könnte.
Das „MoE"-Problem: Einige moderne KIs verwenden eine „Mixture of Experts"-Architektur. Stellen Sie sich eine Bibliothek vor, in der nur ein paar bestimmte Bibliothekare gerufen werden, um eine Frage zu beantworten, anstatt das gesamte Personal. Da die Forscher nicht sehen können, wie viele Bibliothekare insgesamt im Vergleich zu den aktiven sind, können sie für diese Modelle keine genaue Gesamtzahl ermitteln, sondern nur ein konservatives Minimum.
Kein Betrug: Die Methode geht davon aus, dass die KI nicht versucht, sie zu täuschen. Wenn ein Unternehmen seine KI absichtlich so programmiert hat, berühmte Bücher zu vergessen, um ihre Größe zu verbergen, würde diese Methode versagen.

Das Fazit

Diese Arbeit beweist, dass Sie nicht die geheimen Baupläne eines Unternehmens benötigen, um eine gute Vorstellung davon zu bekommen, wie groß ihre KI ist. Indem Sie einfach testen, wie gut eine KI berühmte Geschichten erinnert, können Sie eine zuverlässige „Mindestgröße" ableiten und aufdecken, ob ein Unternehmen seine Modelle vergrößert, indem es sie größer macht, oder indem es sie schlauer macht. Es verwandelt die „Black Box" der KI in etwas, in das wir einen Blick werfen können, auch wenn wir nicht alles sehen können.

Technische Zusammenfassung: Ableitung der Größe von Large Language Models aus der Popularität von Textmemorisierung

1. Problemformulierung

Die Gesamtzahl der Parameter ( $|f|$ ) eines Large Language Models (LLM) ist eine primäre Metrik zur Interpretation von Fähigkeiten, Kosten und Leistungsvergleichen. Für die fortschrittlichsten Closed-Weight-Modelle, die von großen Technologieunternehmen (z. B. OpenAI, Google, Anthropic) entwickelt wurden, wird diese Metrik jedoch fast immer zurückgehalten. Diese Intransparenz erzeugt Unschärfen beim Vergleich von Closed- und Open-Modellen und verschleiert die wirtschaftlichen Treiber von API-Preisen und Latenzzeiten.

Der Artikel behandelt zwei spezifische Inferenzprobleme unter strengen Black-Box-Bedingungen (Zugriff beschränkt auf das Einreichen von Prompts und Beobachten von Textausgaben, ohne Zugriff auf Logits, Gewichte oder versteckte Zustände):

Absolute Größeninferenz: Schätzung der Parameteranzahl $|f|$ eines unbekannten Modells $f$ .
Relative Größeninferenz: Bestimmung, ob $|f| > (1 + \tau)|g|$ für einen Schwellenwert $\tau > 0$ gilt, um festzustellen, ob ein Modell signifikant größer ist als ein anderes.

Die Kernherausforderung besteht darin, das Signal der Modellgröße von konfundierenden Variablen wie Trainingsdatenverteilung, Instruction Tuning und architektonischen Entscheidungen zu isolieren, die ebenfalls die Qualität der Textgenerierung beeinflussen.

2. Methodik

Der vorgeschlagene Ansatz stützt sich auf die Beobachtung, dass populäre, weit verbreitete Texte (z. B. klassische Literatur, religiöse Texte, grundlegende Dokumente) in praktisch jedem groß angelegten Pretraining-Korpus vorhanden sind. Die Autoren hypothesieren, dass die Fähigkeit eines Modells, den nächsten Token in diesen memorisierten Texten genau vorherzusagen, grundlegend durch seine Gesamtzahl der Parameter begrenzt ist.

Datenerhebung und Signalextraktion:

Quelltexte: Eine diverse Sammlung von 37 populären Texten im öffentlichen Bereich (z. B. Alice im Wunderland, Die Bibel) und 4 obskuren Baseline-Texten wird verwendet.
Genauigkeitsmetriken: Für ein Modell $M$ , einen Text $T$ und eine Präfixlänge $l$ berechnen die Autoren die rohe Genauigkeit ( $\hat{\alpha}_r$ ) und die angehobene Genauigkeit ( $\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$ , wobei $\hat{\beta}$ die Baseline-Genauigkeit auf obskuren Texten ist).
Genauigkeitsprofil: Durch das Abtasten mehrerer Präfixlängen und Texte konstruiert die Methode für jedes Modell ein hochdimensionales Genauigkeitsprofil-Vektor ( $A_{T,L}(M) \in \mathbb{R}^{2KL}$ ), der die Leistung über variierende Kontexte hinweg aggregiert.

Inferenzrahmen:
Der Artikel stellt zwei ergänzende Methoden vor, um diese Genauigkeitsprofile in Größenschätzungen zu übersetzen:

Skalierungsgesetz-Schätzer (Absolute Inferenz):
- PCA-Projektion: Eine Hauptkomponentenanalyse (PCA) wird auf die Genauigkeitsprofile bekannter Open-Weight-Modelle angewendet, um einen eindimensionalen latenten Größenindex ( $z_M$ ) zu extrahieren. Dieser Index erfasst die dominante Varianz in der Leistung, die angenommen wird, durch die Parameteranzahl getrieben zu sein.
- Exponentielle Skalierung: Basierend auf neuronalen Skalierungsgesetzen wird die Beziehung zwischen dem latenten Index $z$ und der Parameteranzahl $\theta$ als exponentiell modelliert: $\hat{\theta}(z) = A \cdot e^{B \cdot z}$ . Diese Kurve wird mit Open-Weight-Modellen bekannter Größe kalibriert.
- Konservative Schranke: Für Closed-Modelle wird die Schätzung aus dieser Kurve abgeleitet, aber um einen Faktor von 0,5 angepasst (basierend auf Kreuzvalidierungsfehlermargen), um eine konservative untere Schranke zu erzeugen.
Paarweiser statistischer Test (Relative Inferenz):
- Geblockter Vorzeichen-Permutationstest: Um zwei Modelle $f$ und $g$ zu vergleichen, berechnet die Methode die Differenz ihrer Genauigkeitsprofile. Da Messungen innerhalb desselben Textes korreliert sind, behandelt der Test jede Quelltextquelle als „Block".
- Hypothesentest: Ein einseitiger geblockter Vorzeichen-Permutationstest bewertet, ob die Genauigkeitsunterschiede systematisch ein Modell gegenüber dem anderen begünstigen. Die Nullhypothese ( $H_0$ ) geht von keinem systematischen Vorteil aus. Die Ablehnung von $H_0$ zeigt an, dass das überlegene Modell wahrscheinlich größer ist.
- Schwellenwertbildung: Der Test bestimmt, ob $|f| > (1+\tau)|g|$ mit einer kontrollierten False-Positive-Rate gilt.

Umfang und Einschränkungen:
Die Methode geht von allgemeinen Modellen aus, die auf Standard-Internet-Korpora trainiert wurden. Sie ist explizit darauf ausgelegt, Modelle mit katastrophalem Vergessen aufgrund von spezialisiertem Fine-Tuning (z. B. Code-only-Modelle) oder solche auszuschließen, die strategische Umgehung anwenden (z. B. absichtliches Vergessen öffentlicher Texte). Für Mixture-of-Experts (MoE)-Architekturen liefert die Methode eine konservative untere Schranke für die Gesamtzahl der Parameter, da die aktiven Parameter während der Inferenz eine Teilmenge der Gesamtzahl darstellen.

3. Hauptbeiträge

Memorisierungsbasiertes Größensignal: Der Artikel zeigt, dass die Aggregation der Next-Token-Genauigkeit auf populären Texten ein robustes, hochdimensionales Signal liefert, das stark mit der Modellgröße korreliert, selbst ohne Zugriff auf interne Modellinformationen.
Dualer Unter-Schranken-Rahmen: Es wird ein dualer Methodenansatz vorgeschlagen, der einen PCA-gesteuerten Skalierungsgesetz-Schätzer und einen rigorosen paarweisen statistischen Test kombiniert. Die finale Inferenz für jedes Zielmodell ist das Maximum der von diesen beiden Methoden erzeugten Schranken.
Validierung und Anwendung: Der Rahmen wird an 19 Open-Weight-Dichtmodellen validiert (Erreichen von $R^2 = 0,95$ für die absolute Schätzung und ~90 % Präzision/Recall für den relativen Test), 16 Open-Weight-MoE-Modellen und 21 populären Closed-Weight-Modellen.

4. Ergebnisse

Open-Weight-Dichtmodelle: Der Skalierungsgesetz-Schätzer erreichte ein $R^2$ von 0,9504 auf dem Kalibrierungsdatensatz und 0,9387 bei der Leave-One-Out-Kreuzvalidierung. Alle Vorhersagen lagen innerhalb eines Fehlerbands von Faktor zwei.
Open-Weight-MoE-Modelle: Der Rahmen etablierte erfolgreich gültige untere Schranken für alle 16 bewerteten MoE-Modelle. Während die „Schärfe" (Verhältnis von Schranke zu tatsächlicher Größe) erheblich variierte (z. B. 86 % für WizardLM-2-8x22b vs. 11 % für Mimo-v2-pro), waren die Schranken konsistent konservativ (überschritten niemals die tatsächliche Größe).
Closed-Weight-Modelle: Angewendet auf 21 Modelle von Anthropic, Google, OpenAI und Alibaba, zeigte der Rahmen:
- Korrekte Wiederherstellung interner Produkthierarchien (z. B. Opus > Sonnet > Haiku für Anthropic).
- Aufdeckung divergenter industrieller Skalierungsstrategien:
  - Google und Anthropic: Zeigten signifikante generationelle Skalierung, wobei die unteren Schranken für Flaggschiffmodelle 400 Milliarden Parameter überschritten (z. B. Claude Opus 4.6 bei 433 Mrd., Gemini 3 Flash bei 405 Mrd.).
  - OpenAI und Alibaba: Operierten unter strengen Parameter-Obergrenzen. Flaggschiffmodelle wie GPT-4o und Qwen3.6-Max wurden nahe 110 Mrd. begrenzt, was darauf hindeutet, dass Leistungsgewinne durch algorithmische Optimierung oder Datenqualität und nicht durch massive Parametererweiterung getrieben werden.
- Identifikation spezifischer Schranken für kleinere Varianten (z. B. GPT-5.4-nano bei 2 Mrd., Claude Haiku 4.5 bei 49 Mrd.).

5. Bedeutung und Behauptungen

Der Artikel behauptet, die erste systematische Black-Box-Methodik zur Untersuchung der verborgenen Designentscheidungen von Closed-LLMs zu liefern. Indem gezeigt wird, dass die Modellgröße einen nachweisbaren „Fingerabdruck" in der Memorierung von Texten im öffentlichen Bereich hinterlässt, demonstrieren die Autoren, dass:

Transparenz: Es möglich ist, konservative untere Schranken für die Modellgröße abzuleiten, ohne Zugriff auf Gewichte oder Logits zu haben.
Strategische Einsicht: Die Methode offenbart, dass die Branche nicht monolithisch ist; einige Anbieter skalieren Parameter aggressiv, während andere scheinbar eine Parameter-Obergrenze erreicht haben und sich auf andere Hebel für Verbesserungen der Fähigkeiten verlassen.
Robustheit: Der Ansatz ist gegenüber Variationen in Trainingsdaten und Architektur für allgemeine Modelle robust, sofern das Memorierungssignal nicht absichtlich unterdrückt wird.

Die Autoren bleiben bescheiden und räumen ein, dass die Schranken konstruktionsbedingt konservativ sind und dass die Wiederherstellung der exakten Parameteranzahl für MoE-Architekturen oder Modelle mit strategischer Umgehung weiterhin eine offene Herausforderung bleibt. Die Arbeit beansprucht nicht, interne Metriken zu ersetzen, sondern bietet eine rigorose externe Sonde für die „Black Box" der modernen KI-Entwicklung.