💬 NLP

InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition

Het artikel introduceert InfoLaw, een nieuw datagevoelig schaalingskader dat pretraining modelleert als informatieverzameling om de prestaties van LLM's nauwkeurig te voorspellen bij variërende datamengsels, kwaliteitsgewichten en herhalingsniveaus, waardoor een optimale selectie van data-recepten mogelijk wordt, zelfs in regimes met overtraining of beperkte data.

Oorspronkelijke auteurs: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

Gepubliceerd 2026-05-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Te Veel van een Goede Zake?

Stel je voor dat je een student (de AI) probeert te leren goed te schrijven. Je hebt een enorme bibliotheek met boeken, maar slechts een paar daarvan zijn echt hoogwaardige klassiekers. De rest is middelmatig of gewoon oké.

Vroeger dachten onderzoekers dat de beste strategie was om de student alleen de hoogwaardige klassiekers te geven. Maar daar zit een addertje onder het gras: er zijn niet genoeg klassiekers om het volledige studieprogramma van de student te vullen. Als je de student dwingt om dezelfde 100 klassiekers keer op keer te lezen om de tijd te vullen, raakt hij of zij uiteindelijk verveeld, begint dezelfde zinnen te herhalen en wordt de prestatie zelfs slechter. Dit heet "herhaling".

Aan de andere kant, als je wat boeken van mindere kwaliteit toevoegt om de tijd te vullen, leert de student meer variatie, maar kan hij of zij ook slechte gewoonten overnemen.

De grote vraag is: Hoeveel van de hoogwaardige boeken moeten we herhalen, en hoeveel van de boeken van mindere kwaliteit moeten we erbij mengen?

De Oude Manier: Gissen met een Gebroken Kaart

Vroeger gebruikten wetenschappers "Scaling Laws" (Schaalwetten) om te voorspellen hoe goed een AI zou presteren. Denk aan deze wetten als een kaart die zegt: "Als je 10 uur studeert, haal je een voldoende; als je 100 uur studeert, haal je een excellentie."

Het paper stelt echter dat deze oude kaart niet meer werkt zodra je begint met het herhalen van dezelfde hoogwaardige data.

De Tekortkoming: De oude kaart gaat ervan uit dat meer studietijd altijd leidt tot betere cijfers. Het houdt geen rekening met het feit dat het lezen van hetzelfde boek 50 keer na de eerste 5 keer niet meer helpt.
Het Resultaat: Toen onderzoekers probeerden de oude kaart te gebruiken om te voorspellen hoe een gigantische AI zou presteren, was de kaart te optimistisch. Het voorspelde dat de AI perfecte scores zou halen, maar in werkelijkheid raakte de AI in de war en presteerde slecht omdat het vastzat in een lus van herhaling.

De Nieuwe Oplossing: "InfoLaw" (De Informatiethermometer)

De auteurs introduceren een nieuw kader genaamd InfoLaw. In plaats van alleen te tellen "hoeveel uur" de AI heeft gestudeerd (of hoeveel tokens het heeft gezien), meet InfoLaw "hoeveel nieuwe informatie" de AI daadwerkelijk heeft geleerd.

Zo hebben ze het opgebouwd:

De Bibliotheek-emmers: Ze hebben hun enorme bibliotheek met tekst verdeeld in 6 emmers op basis van kwaliteit (van "Goud" tot "Sloop").
Het Mengrecept: Ze hebben verschillende "recepten" voor training gemaakt. Sommige recepten bestonden voor 80% uit Gouden boeken (met veel herhaling), en andere waren een mix van Gouden en Zilveren boeken (minder herhaling).
De Ontdekking: Ze ontdekten dat het leren van de AI een specifiek patroon volgt:
- Kwaliteitsdichtheid: Hoogwaardige boeken geven een enorme "informatieboost" de eerste keer dat je ze leest.
- De Afnemende Meeropbrengst: Elke keer dat je een boek opnieuw leest, wordt de boost kleiner en kleiner, net als een batterij die leegloopt. Uiteindelijk voegt het opnieuw lezen bijna geen waarde meer toe.
- De Formule: Ze hebben een wiskundige formule gemaakt die de totale "Informatie" berekent die de AI heeft opgenomen door de kwaliteit van de boeken te combineren met het aantal keren dat ze zijn herhaald.

Het Magische Resultaat: Één Rechte Lijn

Het meest indrukwekkende deel van het paper is wat er gebeurde toen ze hun resultaten plotten met deze nieuwe "Informatie"-metriek in plaats van alleen "Bestede Tijd".

Voorheen: Toen ze resultaten plotten op basis van tijd, waren de datapunten overal verspreid. Een recept met hoge herhaling zag er totaal anders uit dan een recept met lage herhaling.
Daarna: Toen ze resultaten plotten op basis van Informatie, stortten alle verspreide punten in tot één enkele, perfecte rechte lijn.

Dit betekent dat ongeacht welk "recept" je gebruikt (hoge kwaliteit met herhaling, of gemengde kwaliteit), als je de totale "Informatie" kent die de AI heeft opgenomen, je perfect kunt voorspellen hoe goed het zal presteren.

Wat Kunnen We Hiermee?

Omdat ze deze perfecte rechte lijn hebben (de InfoLaw), kunnen ze nu twee zeer nuttige dingen doen zonder eerst miljoenen dollars te hoeven uitgeven aan het trainen van gigantische modellen:

De Toekomst Voorspellen: Ze kunnen een klein, goedkoop model (zoals een model met 250 miljoen parameters) trainen met een specifiek recept. Met behulp van de InfoLaw kunnen ze nauwkeurig voorspellen hoe een massief model met 7 miljard parameters zou presteren met datzelfde recept.
Het Perfecte Recept Vinden: Ze kunnen de formule gebruiken om de "optimale mix" te berekenen. Ze ontdekten dat:
- Kleine modellen (of kleine budgetten) zich sterk moeten richten op de hoogste kwaliteit data, zelfs als dat betekent dat ze het een beetje moeten herhalen.
- Grote modellen (of grote budgetten) meer baat hebben bij variatie. Ze moeten meer data van mindere kwaliteit erbij mengen om de "verveling" van herhaling te voorkomen.

Samenvattende Analogie

Stel je het trainen van een AI voor als het koken van een stoofpot.

Oude Methode: Je meet alleen hoe lang de pot zachtjes kookt. Je gaat ervan uit dat 10 uur altijd beter is dan 1 uur. Maar als je steeds dezelfde 3 aardappelen blijft toevoegen, wordt de stoofpot raar en zout (herhaling doet pijn).
InfoLaw: Deze methode meet de daadwerkelijke smaak die uit de ingrediënten wordt gehaald. Het weet dat het eerste uur koken 90% van de aardappelssmaak vrijmaakt, maar dat het tiende uur bijna niets meer oplevert.
Het Voordeel: Nu kun je, in plaats van te raden hoeveel zout en hoeveel aardappelen je moet toevoegen voor een gigantische pan stoofpot, de "Smaakformule" gebruiken om het perfecte recept direct te berekenen. Dit bespaart je het verspillen van ingrediënten en tijd.

De Conclusie: Het paper bewijst dat we om betere AI te trainen niet alleen moeten kijken naar hoeveel data we gebruiken, maar naar hoeveel nieuwe informatie die data biedt, vooral wanneer we gedwongen zijn hoogwaardige data te herhalen. Dit stelt ons in staat om prestaties nauwkeurig te voorspellen en de beste data-mix te kiezen voor elke grootte van AI.

Technische Samenvatting: InfoLaw

Probleemstelling

Het trainen van Large Language Models (LLM's) wordt steeds meer beperkt door de schaarste aan hoogwaardige data. Hoewel het opwaarderen van hoogwaardige data tijdens pretraining over het algemeen de prestaties verbetert, vereisen regimes met beperkte data herhaling van deze steekproeven. Bestaande literatuur geeft aan dat overmatige herhaling leidt tot afnemende meeropbrengst en potentiële verslechtering van de prestaties. Bovendien falen standaard schaalwetten, die doorgaans modelverlies relateren aan rekenkracht of tokenaantal, om betrouwbaar te extrapoleren over verschillende data-mengsels of onder omstandigheden van herhaling. Dit falen maakt de selectie van optimale data-mengsels op grote schaal onderbepaald, wat vaak kostbare roosterzoeken over data-configuraties vereist.

Methodologie

Het artikel introduceert InfoLaw (Information Scaling Laws), een data-bewust schaalingskader dat is ontworpen om modelverlies te voorspellen op basis van verbruikte tokens, modelgrootte, gewichten van data-mengsels en niveaus van herhaling. De theoretische kernpremiss is om pretraining te modelleren als een proces van informatieverzameling waarbij:

Kwaliteit de informatiedichtheid regelt: Hogerwaardige data draagt meer informatie per token bij.
Herhaling schaalafhankelijke afnemende meeropbrengst induceert: Herhaalde blootstelling levert progressief kleinere informatiewinsten op.

Het InfoLaw-kader

Het kader definieert een metriek genaamd Informatie ($info$), die de kennis samenvat die is geleerd uit een trainingscorpus. De berekening omvat:

Kwaliteitsdichtheid ( $f_d$ ): Een geparametriseerde functie waarbij hogere kwaliteitsbuckets (lagere index $d$ ) een hogere informatiedichtheid toegewezen krijgen. Het artikel past een exponentiële afnamefunctie aan $f_d(\theta) = e^{-\theta \cdot d}$ .
Afname van het leertempo ( $\lambda(N)$ ): Een rate-parameter afhankelijk van de non-embedding FLOPs per token ( $N$ ) van het model. Het artikel modelleert deze relatie als een logaritmische functie $\lambda(N) = a \cdot \ln(N) + b$ , wat de verzadiging van leercapaciteit vastlegt naarmate de modelschaal toeneemt.
Herhalingsfactor ( $R_d$ ): Het gemiddelde aantal keren dat tokens uit een specifieke kwaliteitsbucket worden gezien, berekend op basis van het doel-tokenaantal ( $K$ ), het bron-tokenaantal ( $S$ ) en mengselgewichten ( $w$ ).

De totale geleerde informatie wordt geformuleerd als:
$info = \sum_{d} f_d M_d \log(K) \left(1 - e^{-\lambda(N) R_d / \log(K)}\right)$
waarbij $M_d$ het aantal unieke tokens in bucket $d$ is.

Tot slot stelt het kader een power-law-relatie vast tussen het validatieverlies van het model ( $L$ ) en de berekende Informatie:
$L = \alpha \cdot info^{-\beta}$

Experimentele Opzet

Om de parameters van InfoLaw te fitten, construeerden de auteurs een dataset die varieerde langs drie assen: schaal, kwaliteitsverdeling en herhalingsniveau.

Data-bron: 3,7 biljoen Engelse tokens van Common Crawl, onderverdeeld in zes kwaliteitsbuckets op basis van classifier-scores.
Sampling: Een "LayerMix"-samplingfunctie werd gebruikt om trainingssets te construeren met variërende mengselgewichten ( $w$ ) en herhalingsniveaus (door de brongrootte $S$ aan te passen ten opzichte van de doelgrootte $K$ ).
Training: 9 modellen variërend van 252 miljoen tot 1,2 miljard parameters werden vanaf nul getraind onder een overtrainingsratio van 3,6x.
Evaluatie: Prestaties werden gemeten als gemiddelde perplexiteit over vijf downstream-taken (HellaSwag, ARC-E/ARC-C, MMLU, TriviaQA).

Belangrijkste Bijdragen

Identificatie van Schaalwettensfalen: Het artikel demonstreert dat traditionele schaalwetten (Verlies vs. Rekenkracht) systematisch verkeerd extrapoleren onder data-herhaling, wat te optimistische voorspellingen oplevert voor grotere modellen.
De InfoLaw-formulering: Een nieuw kader dat diverse data-mengsels en modelschalen verenigt op één power-law-curve door "Rekenkracht" te vervangen door een "Kwaliteits- en Herhaling-bewuste Informatie"-metriek.
Parameterfitting en Validatie: De auteurs fitten de kwaliteitsdichtheids- en leerafnameparameters met behulp van experimenten op kleine schaal (252M–1,2B) en valideren het vermogen van het kader om prestaties te voorspellen op ongezette data-mengsels en grotere modelschalen (tot 7B-modellen getraind op 425B tokens).

Resultaten

Voorspellingsnauwkeurigheid: InfoLaw voorspelt validatieverlies op ongezette data-mengsels en grotere schalen (tot 7B-modellen) met een gemiddelde absolute fout van 0,15% en een maximale absolute fout van 0,96%.
Extrapolatievermogen:
- Ongezette Mengsels: Het model voorspelt nauwkeurig het verlies voor mengselgewichten die niet tijdens de training zijn gezien (bijv. MLQ, MHQ).
- Grotere Schalen: Voorspellingen houden stand voor modellen tot 7 miljard parameters, wat aanzienlijk beter presteert dan traditionele schaalwetten die divergeren bij hogere rekenkrachtbudgetten.
- Hogere Overtraining: Het kader extrapoleert succesvol naar een overtrainingsregime van 25x, waarbij de mate van overtraining voornamelijk het snijpunt van de curve verschuift in plaats van de vorm ervan te veranderen.
Optimalisatie: Met behulp van het gefitte InfoLaw zochten de auteurs naar een optimale data-mengsel voor een 2,5B-model zonder aanvullende trainingsruns. Het geïdentificeerde mengsel presteerde beter dan vier willekeurig gesamplede baselines.
Algemene Trends: De analyse onthult dat kleinere modellen of kleinere trainingsbudgetten prioriteit geven aan hoogwaardige data, terwijl grotere modellen of grotere budgetten meer profiteren van data-diversiteit (toewijzing van een kleiner aandeel aan de hoogste kwaliteitsbucket).

Betekenis en Claims

Het artikel beweert dat InfoLaw een betrouwbaar hulpmiddel biedt voor het selecteren van data-mengsels onder variërende rekenkrachtbudgetten, waardoor de noodzaak voor uitgebreide trial-and-error-experimenten wordt geëlimineerd. Door het samenspel tussen datakwaliteit, herhaling en modelschaal nauwkeurig te modelleren, stelt het kader efficiënte pretrainingstrategieën mogelijk in regimes met beperkte data. De auteurs stellen dat hun methode een robuuster alternatief biedt voor traditionele schaalwetten bij het voorspellen van prestaties in scenario's met gewogen-kwaliteitsmengsels en herhaling, wat de ontdekking van optimale data-configuraties voor modellen variërend van honderden miljoenen tot miljarden parameters faciliteert.

Het artikel concludeert dat, hoewel de huidige bucketing van data berust op empirische heuristieken en de theoretische verklaring voor verschuivingen door overtraining een open vraag blijft, InfoLaw effectief de fundamentele trade-offs in LLM-schaalering vastlegt en een praktische weg biedt naar efficiënter data-gebruik.