💬 NLP

InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition

Das Papier stellt InfoLaw vor, ein neuartiges datenbewusstes Skalierungsframework, das das Pretraining als Informationsakkumulation modelliert, um die Leistung von LLMs über verschiedene Datenmischungen, Qualitätsgewichte und Wiederholungsniveaus hinweg präzise vorherzusagen und damit die optimale Auswahl von Datenrezepten auch in übertrainierten oder datenlimitierten Regimen zu ermöglichen.

Ursprüngliche Autoren: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Zu viel vom Guten?

Stellen Sie sich vor, Sie versuchen, einen Schüler (die KI) zu unterrichten, gut zu schreiben. Sie haben eine riesige Bibliothek voller Bücher, aber nur wenige davon sind wahre Hochwertklassiker. Der Rest ist mittelmäßig oder gerade noch in Ordnung.

In der Vergangenheit dachten Forscher, die beste Strategie sei, dem Schüler nur die hochwertigen Klassiker zu geben. Doch es gibt einen Haken: Es gibt nicht genug Klassiker, um den gesamten Lernplan des Schülers zu füllen. Wenn Sie den Schüler zwingen, dieselben 100 Klassiker immer wieder zu lesen, um die Zeit zu füllen, wird er schließlich gelangweilt, beginnt, dieselben Phrasen zu wiederholen, und seine Leistung verschlechtert sich tatsächlich. Dies wird als „Wiederholung" bezeichnet.

Auf der anderen Seite, wenn Sie einige Bücher geringerer Qualität einmischen, um die Zeit zu füllen, lernt der Schüler mehr Vielfalt, aber er könnte sich einige schlechte Angewohnheiten aneignen.

Die große Frage lautet: Wie viel von den hochwertigen Büchern sollten wir wiederholen, und wie viel von den Büchern geringerer Qualität sollten wir einmischen?

Der alte Weg: Raten mit einer kaputten Karte

Früher nutzten Wissenschaftler „Skalierungsgesetze", um vorherzusagen, wie gut eine KI abschneiden würde. Stellen Sie sich diese Gesetze als eine Karte vor, die besagt: „Wenn Sie 10 Stunden lernen, erhalten Sie eine B; wenn Sie 100 Stunden lernen, erhalten Sie eine A."

Das Papier argumentiert jedoch, dass diese alte Karte zusammenbricht, wenn Sie beginnen, dieselben hochwertigen Daten zu wiederholen.

Der Fehler: Die alte Karte geht davon aus, dass mehr Lernzeit immer bessere Noten bedeutet. Sie berücksichtigt nicht, dass das Lesen desselben Buches 50 Mal nach den ersten 5 Malen nicht mehr hilft.
Das Ergebnis: Als Forscher versuchten, die alte Karte zu nutzen, um vorherzusagen, wie eine riesige KI abschneiden würde, war die Karte zu optimistisch. Sie sagte voraus, dass die KI perfekte Noten erhalten würde, aber in Wirklichkeit geriet die KI in Verwirrung und performte schlecht, weil sie in einer Schleife der Wiederholung stecken blieb.

Die neue Lösung: „InfoLaw" (Das Informationsthermometer)

Die Autoren stellen einen neuen Rahmen vor, der InfoLaw heißt. Anstatt nur zu zählen, „wie viele Stunden" die KI gelernt hat (oder wie viele Tokens sie gesehen hat), misst InfoLaw, „wie viel neue Information" die KI tatsächlich gelernt hat.

So haben sie es entwickelt:

Die Bibliothekseimer: Sie sortierten ihre riesige Textbibliothek in 6 Eimer basierend auf Qualität (von „Gold" bis „Müll").
Das Mischrezept: Sie erstellten verschiedene „Rezepte" für das Training. Einige Rezepte bestanden zu 80 % aus Gold-Büchern (mit viel Wiederholung), andere waren eine Mischung aus Gold- und Silber-Büchern (weniger Wiederholung).
Die Entdeckung: Sie stellten fest, dass das Lernen der KI einem spezifischen Muster folgt:
- Qualitätsdichte: Hochwertige Bücher liefern beim ersten Lesen einen enormen „Informations-Boost".
- Der abnehmende Ertrag: Jedes Mal, wenn Sie ein Buch erneut lesen, wird der Boost immer kleiner, wie eine entladende Batterie. Schließlich fügt das erneute Lesen fast keinen Wert mehr hinzu.
- Die Formel: Sie erstellten eine mathematische Formel, die die gesamte „Information" berechnet, die die KI absorbiert hat, indem sie die Qualität der Bücher und die Anzahl der Wiederholungen kombiniert.

Das magische Ergebnis: Eine gerade Linie

Der beeindruckendste Teil des Papiers ist, was passierte, als sie ihre Ergebnisse mit dieser neuen „Informations"-Metrik statt nur mit der „verbrachten Zeit" darstellten.

Davor: Als sie die Ergebnisse basierend auf der Zeit darstellten, waren die Datenpunkte überall verstreut. Ein Rezept mit hoher Wiederholung sah völlig anders aus als ein Rezept mit niedriger Wiederholung.
Danach: Als sie die Ergebnisse basierend auf Information darstellten, kollabierten alle verstreuten Punkte zu einer einzigen, perfekten geraden Linie.

Das bedeutet, dass Sie, egal welches „Rezept" Sie verwenden (hohe Qualität mit Wiederholung oder gemischte Qualität), wenn Sie die gesamte „Information" kennen, die die KI absorbiert hat, genau vorhersagen können, wie gut sie abschneiden wird.

Was können wir damit anfangen?

Da sie diese perfekte gerade Linie (das InfoLaw) haben, können sie jetzt zwei sehr nützliche Dinge tun, ohne Millionen von Dollar ausgeben zu müssen, um zuerst riesige Modelle zu trainieren:

Die Zukunft vorhersagen: Sie können ein winziges, billiges Modell (wie ein Modell mit 250 Millionen Parametern) mit einem bestimmten Rezept trainieren. Mithilfe des InfoLaw können sie genau vorhersagen, wie ein massives Modell mit 7 Milliarden Parametern mit demselben Rezept abschneiden würde.
Das perfekte Rezept finden: Sie können die Formel nutzen, um die „optimale Mischung" zu berechnen. Sie stellten fest, dass:
- Kleine Modelle (oder kleine Budgets) sich stark auf die höchstwertigen Daten konzentrieren sollten, auch wenn dies bedeutet, sie ein wenig zu wiederholen.
- Große Modelle (oder große Budgets) mehr von der Vielfalt profitieren. Sie sollten mehr Daten geringerer Qualität einmischen, um die „Langeweile" der Wiederholung zu vermeiden.

Zusammenfassende Analogie

Stellen Sie sich das Trainieren einer KI wie das Kochen eines Eintopfs vor.

Alte Methode: Sie messen nur, wie lange der Topf köchelt. Sie gehen davon aus, dass 10 Stunden immer besser sind als 1 Stunde. Aber wenn Sie immer wieder dieselben 3 Kartoffeln hinzufügen, wird der Eintopf seltsam und salzig (Wiederholung schadet).
InfoLaw: Diese Methode misst den tatsächlichen Geschmack, der aus den Zutaten extrahiert wird. Sie weiß, dass die erste Stunde des Köchelns 90 % des Kartoffelgeschmacks extrahiert, aber die 10. Stunde fast nichts mehr.
Der Vorteil: Jetzt können Sie, anstatt zu raten, wie viel Salz und wie viele Kartoffeln Sie für einen riesigen Topf Eintopf hinzufügen sollen, die „Geschmacksformel" nutzen, um das perfekte Rezept sofort zu berechnen, was Ihnen das Verschwenden von Zutaten und Zeit erspart.

Das Fazit: Das Papier beweist, dass wir für das Training besserer KIs nicht nur darauf schauen sollten, wie viel Daten wir verwenden, sondern wie viel neue Information diese Daten liefern, insbesondere wenn wir gezwungen sind, hochwertige Daten zu wiederholen. Dies ermöglicht uns, die Leistung genau vorherzusagen und die beste Datenmischung für jede KI-Größe zu wählen.

Technische Zusammenfassung: InfoLaw

Problemstellung

Das Training von Large Language Models (LLMs) wird zunehmend durch die Knappheit hochwertiger Daten eingeschränkt. Während eine Gewichtung hochwertiger Daten beim Pretraining die Leistung im Allgemeinen verbessert, erfordern datenbeschränkte Regime die Wiederholung dieser Stichproben. Die bestehende Literatur zeigt, dass übermäßige Wiederholung zu abnehmenden Grenzerträgen und potenzieller Leistungsverschlechterung führt. Darüber hinaus versagen herkömmliche Skalierungsgesetze, die typischerweise den Modellverlust mit Rechenleistung oder Tokenanzahl in Beziehung setzen, zuverlässig bei der Extrapolation über verschiedene Datenmischrezepte oder unter Bedingungen der Wiederholung. Dieses Versagen macht die Auswahl optimaler Datenrezepte im großen Maßstab unterbestimmt und erfordert oft kostspielige Gittersuche über Datenkonfigurationen.

Methodik

Die Arbeit stellt InfoLaw (Information Scaling Laws) vor, ein datenbewusstes Skalierungsframework, das entwickelt wurde, um den Modellverlust basierend auf verbrauchten Tokens, Modellgröße, Gewichten der Datenmischung und Wiederholungsgraden vorherzusagen. Die zentrale theoretische Prämisse besteht darin, das Pretraining als Informationsakkumulationsprozess zu modellieren, bei dem:

Qualität die Informationsdichte steuert: Höherwertige Daten tragen mehr Information pro Token bei.
Wiederholung skalenabhängige abnehmende Grenzerträge induziert: Wiederholte Exposition führt zu progressiv kleineren Informationsgewinnen.

Das InfoLaw-Framework

Das Framework definiert eine Metrik namens Information ($info$), die das aus einem Trainingskorpus gelernte Wissen aggregiert. Die Berechnung umfasst:

Qualitätsdichte ( $f_d$ ): Eine parametrisierte Funktion, bei der höherwertigen Buckets (niedrigerer Index $d$ ) eine höhere Informationsdichte zugewiesen wird. Die Arbeit passt eine exponentielle Abklingfunktion $f_d(\theta) = e^{-\theta \cdot d}$ an.
Lernraten-Abklingung ( $\lambda(N)$ ): Ein Ratenparameter, der von den nicht-embedding FLOPs pro Token des Modells ( $N$ ) abhängt. Die Arbeit modelliert diese Beziehung als logarithmische Funktion $\lambda(N) = a \cdot \ln(N) + b$ , die die Sättigung der Lernfähigkeit mit zunehmender Modellskalierung erfasst.
Wiederholungsfaktor ( $R_d$ ): Die durchschnittliche Anzahl der Sichtungen von Tokens aus einem bestimmten Qualitätsbucket, berechnet basierend auf der Ziel-Tokenanzahl ( $K$ ), der Quell-Tokenanzahl ( $S$ ) und den Mischgewichten ( $w$ ).

Die gesamte gelernte Information wird wie folgt formuliert:
$info = \sum_{d} f_d M_d \log(K) \left(1 - e^{-\lambda(N) R_d / \log(K)}\right)$
wobei $M_d$ die Anzahl der eindeutigen Tokens im Bucket $d$ ist.

Schließlich stellt das Framework eine Potenzgesetz-Beziehung zwischen dem Validierungsverlust des Modells ( $L$ ) und der berechneten Information her:
$L = \alpha \cdot info^{-\beta}$

Experimenteller Aufbau

Um die Parameter von InfoLaw anzupassen, konstruierten die Autoren einen Datensatz, der entlang drei Achsen variierte: Skalierung, Qualitätsverteilung und Wiederholungsgrad.

Datenquelle: 3,7 Billionen englische Tokens aus Common Crawl, unterteilt in sechs Qualitätsbuckets basierend auf Klassifizierer-Scores.
Sampling: Eine „LayerMix"-Sampling-Funktion wurde verwendet, um Trainingssets mit variierenden Mischgewichten ( $w$ ) und Wiederholungsgraden zu konstruieren (durch Anpassung der Quellgröße $S$ relativ zur Zielgröße $K$ ).
Training: 9 Modelle mit 252 Millionen bis 1,2 Milliarden Parametern wurden von Grund auf unter einem 3,6-fachen Overtraining-Verhältnis trainiert.
Evaluation: Die Leistung wurde als durchschnittliche Perplexität über fünf nachgelagerte Aufgaben gemessen (HellaSwag, ARC-E/ARC-C, MMLU, TriviaQA).

Hauptbeiträge

Identifikation des Versagens von Skalierungsgesetzen: Die Arbeit zeigt, dass traditionelle Skalierungsgesetze (Verlust vs. Rechenleistung) unter Datenwiederholung systematisch falsch extrapolieren und zu übermäßig optimistischen Vorhersagen für größere Modelle führen.
Die InfoLaw-Formulierung: Ein neuartiges Framework, das diverse Datenrezepte und Modellskalen auf eine einzige Potenzgesetz-Kurve vereint, indem es „Rechenleistung" durch eine „Qualitäts- und Wiederholungs-bewusste Informations"-Metrik ersetzt.
Parameteranpassung und Validierung: Die Autoren passen die Parameter für Qualitätsdichte und Lernabklingung mittels Experimenten im kleinen Maßstab (252M–1,2B) an und validieren die Fähigkeit des Frameworks, die Leistung auf unbekannten Datenrezepten und größeren Modellskalen (bis zu 7B-Modellen, trainiert auf 425B Tokens) vorherzusagen.

Ergebnisse

Vorhersagegenauigkeit: InfoLaw sagt den Validierungsverlust bei unbekannten Datenrezepten und größeren Skalen (bis zu 7B-Modellen) mit einem mittleren absoluten Fehler von 0,15 % und einem maximalen absoluten Fehler von 0,96 % voraus.
Extrapolationsfähigkeiten:
- Unbekannte Rezepte: Das Modell sagt den Verlust für während des Trainings nicht gesehene Mischgewichte (z. B. MLQ, MHQ) genau voraus.
- Größere Skalen: Die Vorhersagen gelten für Modelle bis zu 7 Milliarden Parametern und übertreffen traditionelle Skalierungsgesetze, die bei höheren Rechenbudgets divergieren, signifikant.
- Höheres Overtraining: Das Framework extrapoliert erfolgreich auf ein 25-faches Overtraining-Regime, wobei der Grad des Overtraining primär den Achsenabschnitt der Kurve verschiebt, anstatt ihre Form zu verändern.
Optimierung: Unter Verwendung des angepassten InfoLaw suchten die Autoren nach einem optimalen Datenrezept für ein 2,5B-Modell ohne zusätzliche Trainingsläufe. Das identifizierte Rezept übertraf vier zufällig gesampelte Baselines.
Allgemeine Trends: Die Analyse zeigt, dass kleinere Modelle oder kleinere Trainingsbudgets hochwertige Daten priorisieren, während größere Modelle oder größere Budgets mehr von Datenvielfalt profitieren (Zuweisung eines kleineren Anteils an den höchstwertigen Bucket).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass InfoLaw ein zuverlässiges Werkzeug zur Auswahl von Datenrezepten unter variierenden Rechenbudgets bietet und den Bedarf an umfangreichen Trial-and-Error-Experimenten eliminiert. Durch die genaue Modellierung des Zusammenspiels zwischen Datenqualität, Wiederholung und Modellskalierung ermöglicht das Framework effiziente Pretraining-Strategien in datenbeschränkten Regimen. Die Autoren behaupten, dass ihre Methode eine robustere Alternative zu traditionellen Skalierungsgesetzen für die Vorhersage der Leistung in Szenarien mit gewichteten Qualitätsmischungen und Wiederholung bietet und die Entdeckung optimaler Datenkonfigurationen für Modelle im Bereich von Hunderten Millionen bis Milliarden Parametern erleichtert.

Die Arbeit schließt damit, dass, obwohl die aktuelle Bucketing von Daten auf empirischen Heuristiken beruht und die theoretische Erklärung für Verschiebungen durch Overtraining eine offene Frage bleibt, InfoLaw effektiv die fundamentalen Trade-offs beim LLM-Scaling erfasst und einen praktischen Weg zu einer effizienteren Datennutzung bietet.