🤖 AI

Demystifying Data Organization for Enhanced LLM Training

Dit artikel behandelt het onderbelichte gebied van strategische data-organisatie voor het trainen van Large Language Models door vier richtlijnen te formaliseren en twee nieuwe ordeningsmethoden, STR en SAW, te introduceren die gebruikmaken van vooraf berekende steekproefscores om trainingsstabiliteit en prestaties te verbeteren met minimale rekenkundige overhead.

Oorspronkelijke auteurs: Yalun Dai, Yangyu Huang, Tongshen Yang, Yonghan Wang, Xin Zhang, Wenshan Wu, Qihao Zhao, Hao Li, Yuanyuan Gao, Kim-Hui Yap, Scarlett Li

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yalun Dai, Yangyu Huang, Tongshen Yang, Yonghan Wang, Xin Zhang, Wenshan Wu, Qihao Zhao, Hao Li, Yuanyuan Gao, Kim-Hui Yap, Scarlett Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante maar zeer snelle student te leren hoe hij een meesterkok kan worden. Je hebt een enorme bibliotheek met 10.000 recepten.

De meeste onderzoekers richten zich op welke recepten in de bibliotheek moeten (de beste selecteren). Maar dit artikel stelt een andere vraag: In welke volgorde moet de student ze lezen?

De auteurs betogen dat als je de student zomaar een willekeurige stapel recepten geeft, of zelfs een stapel die strikt van "makkelijkst" naar "moeilijkst" is gesorteerd, ze misschien in de war raken, de basis vergeten of uitbranden. In plaats daarvan stellen ze een specifiek "leesrooster" voor dat de student sneller en beter laat leren, met dezelfde data maar anders georganiseerd.

Hier is de uiteenzetting van hun ideeën met eenvoudige analogieën:

Het Probleem: De "Eén-Pass"-Uitdaging

Stel je voor dat de student alleen de tijd heeft om de hele bibliotheek een keer te lezen (of misschien twee keer). In de echte wereld is het trainen van grote AI-modellen zo: ze zien een enorme hoeveelheid data, maar krijgen slechts één of twee "doorgangen" door die data.

Als je ze eerst de moeilijkste recepten geeft, raken ze overweldigd. Als je ze eerst de makkelijkste geeft en dan plotseling overschakelt naar de moeilijkste, kunnen ze de basis vergeten. Als je ze 100 makkelijke recepten achter elkaar geeft, worden ze saai en stoppen ze met opletten.

De Oplossing: Vier Regels voor een Beter Rooster

De auteurs ontdekten vier "gouden regels" voor het organiseren van de data om het leren te laten blijven hangen. Ze hoefden geen nieuwe getallen te berekenen; ze hergebruikten gewoon scores die al waren berekend om de beste recepten te selecteren.

1. Grensscherping (De "Opwarmen en Afkoelen"-Regel)

Het Idee: Begin met simpele, makkelijke recepten om de student op zijn gemak te stellen. Eindig met de meest complexe, hoogwaardige recepten om ze naar hun piekprestatie te duwen.
De Analogie: Denk aan een hardloper. Je begint een marathon niet met een sprint op volle snelheid (dan stort je in), en je eindigt niet met langzaam lopen (dan verlies je je momentum). Je begint met een jog om op te warmen en eindigt met een sterke sprint om sterk te finishen.

2. Cyclisch Rooster (De "Herhalingssessie"-Regel)

Het Idee: Ga niet alleen van makkelijk naar moeilijk en kijk nooit meer terug. Meng periodiek wat makkelijke, fundamentele recepten in, zelfs als je geavanceerde onderwerpen leert.
De Analogie: Stel je een muziekleraar voor. Als die je alleen een moeilijk concerto leert en je nooit meer een simpele toonladder laat spelen, kun je vergeten hoe je de strijkstok vasthoudt. Deze regel zegt: "Elke paar dagen, laten we weer een simpele toonladder spelen om zeker te weten dat je de basis niet bent vergeten."

3. Leerplancontinuïteit (De "Vlotte Helling"-Regel)

Het Idee: Spring niet abrupt van een heel makkelijk recept naar een heel moeilijk. De moeilijkheidsgraad moet vloeiend veranderen, zoals een helling, niet als een trap.
De Analogie: Als je een heuvel oprijdt, wil je een zachte helling. Als de weg plotseling verandert in een verticale klif, zal je auto (de AI) stallen of crasht. Deze regel zorgt ervoor dat de overgang tussen makkelijke en moeilijke data vloeiend is, zodat het leren niet "geschokt" raakt.

4. Lokale Diversiteit (De "Saladmix"-Regel)

Het Idee: Zelfs binnen een kleine groep recepten (een "mini-batch" die de student in één keer ziet), geef ze niet 10 recepten die precies hetzelfde zijn. Meng ze!
De Analogie: Als je een week lang elke dag alleen kip voor lunch eet, raak je er verzadigd van en mis je andere voedingsstoffen. Als je een salade hebt met kip, wortels, sla en kaas, krijg je een gebalanceerde maaltijd. Het mengen van verschillende soorten data in één trainingssessie helpt de AI om algemene regels te leren in plaats van slechts één specifiek patroon te memoriseren.

De Nieuwe Methoden: "Stair" en "Saw"

Op basis van deze vier regels creëerden de auteurs twee nieuwe manieren om de data te organiseren:

STR (Stair Ordering): Deze methode volgt de "Opwarmen", "Herhaling" en "Saladmix"-regels. Het creëert een rooster dat in moeilijkheid toeneemt, maar af en toe terugstapt om eerdere concepten te herhalen, waardoor het leren stabiel blijft.
SAW (Saw Ordering): Dit is de "super-gekraste" versie. Het voegt de "Vlotte Helling"-regel toe aan de mix. In plaats van alleen op en neer te stappen, creëert het een glad, golfvormig patroon (zoals een zaagblad) dat ervoor zorgt dat de moeilijkheid nooit te scherp springt.

De Resultaten

De auteurs testten deze methoden op verschillende maten van AI-modellen (van klein tot groot) en op verschillende taken (zoals wiskunde en coderen).

Het Resultaat: De modellen die met deze nieuwe roosters (STR en SAW) werden getraind, presteerden beter dan modellen die met willekeurige volgorde of standaard "makkelijk-naar-moeilijk"-volgorde werden getraind.
De Efficiëntie: Ze hoefden geen extra tijd of geld te besteden aan het berekenen van nieuwe datascores. Ze namen gewoon de scores die ze al hadden en herschikten de data. Het is alsof je een deck kaarten dat al op nummer is gesorteerd, neemt en ze in een specifiek patroon schudt om het spel te winnen.

Samenvatting

Dit artikel introduceert geen nieuw type data of een nieuw AI-model. In plaats daarvan fungeert het als een slimme bibliothecaris. Het laat zien dat als je de boeken op de plank in een specifieke, doordachte volgorde plaatst – de lezer opwarmen, oude concepten herhalen, de overgangen gladstrijken en de onderwerpen mengen – de lezer (de AI) veel sneller leert en slimmer wordt, allemaal zonder extra middelen nodig te hebben.

Technische Samenvatting: Data-organisatie voor verbeterde LLM-training ontrafeld

Probleemstelling

Hoewel Large Language Models (LLM's) velden variërend van coderen tot gezondheidszorg hebben gerevolutioneerd, blijft hun trainingsefficiëntie zwaar afhankelijk van effectieve data-curatie. Uitgebreid onderzoek heeft zich gericht op data-selectie (acquisitie, filtering, deduplicatie en scoring), maar de strategische organisatie van deze geselecteerde steekproeven binnen een dataset blijft onderbelicht.

Huidige LLM-trainingparadigma's omvatten vaak training op enorme corpora voor slechts één of enkele epoches. In dit "single-pass"-regime wordt de temporele volgorde waarin steekproeven worden gepresenteerd een eerste-orde factor die de leertraject vormgeeft. Bestaande benaderingen zoals Curriculum Learning (CL) of specifieke vouwstrategieën (bijv. DELT) bieden inzichten, maar missen een systematisch kader voor data-ordering dat is toegespitst op moderne LLM-beperkingen. Bovendien worden de aanzienlijke rekenkrachten die worden besteed aan het berekenen van scores op steekproefniveau (voor kwaliteit, moeilijkheidsgraad of leervaardigheid) doorgaans na de initiële selectiefase weggegooid, wat een gemiste kans voor efficiëntie vertegenwoordigt.

Methodologie

Kerninnovatie: Hergebruik van vooraf berekende scores

Het artikel stelt een kader voor dat vooraf berekende scores op steekproefniveau (oorspronkelijk gegenereerd voor taken gericht op data-efficiëntie) hergebruikt om trainingsdata te organiseren. Deze aanpak veroorzaakt minimale tot geen extra rekenkosten, aangezien de scoringsfunctie $g$ al wordt uitgevoerd tijdens de data-selectiefase.

Het proces wordt in drie fasen geformaliseerd:

Data-scoring: Een scoringsfunctie $g$ koppelt de ruwe dataset $D$ aan een scorevector $\gamma$ die metrieken zoals kwaliteit of moeilijkheidsgraad vertegenwoordigt.
Data-selectie: Een selectiefunctie filtert $D$ naar een subset $D_{sub}$ op basis van $\gamma$ .
Data-organisatie: Een permutatiefunctie $\pi$ , afgeleid van $\gamma$ , herschikt $D_{sub}$ in een geoptimaliseerde volgorde $D_{ord}$ zonder de datasetgrootte te wijzigen.

Vier leidende principes

Door middel van systematische analyse identificeren en formaliseren de auteurs vier leidende principes voor het optimaliseren van data-organisatie:

Verscherping van grenzen (G1): Training moet beginnen met data met lage scores (eenvoudig) om vroege optimalisatie te stabiliseren en eindigen met data met hoge scores (complex) om de uiteindelijke prestaties te maximaliseren. Dit adresseert de gevoeligheid van optimalisatiegrenzen voor data-distributie.
Cyclische planning (G2): In plaats van een strikt monotoon verloop van makkelijk naar moeilijk (wat bij single-pass training het risico op catastrofaal vergeten van fundamentele kennis met zich meebrengt), introduceert de methode periodiek een mix van data-distributies. Dit zorgt ervoor dat het model vroege concepten behoudt terwijl het complexe steekproeven aanpakt.
Continuïteit van het curriculum (G3): Abrupte overgangen tussen data-attributen (bijv. springen van steekproeven met hoge scores naar die met lage scores) kunnen de optimizer schokken, wat leidt tot gradientvariatie en instabiliteit. Vlotte overgangen tussen score-distributies zijn vereist om optimalisatiemomentum te behouden.
Lokale diversiteit (G4): Het strikt sorteren van data op score kan de gradientdiversiteit binnen mini-batches verminderen, wat leidt tot overfitting op specifieke patronen. Het injecteren van lokale heterogeniteit (shuffelen binnen kleine vensters) behoudt gradentruis en bevordert het leren van generaliseerbare kenmerken.

Voorgestelde ordeningsstrategieën

De auteurs concretiseren deze principes in twee nieuwe ordeningsalgoritmen:

STR (Stair Ordering): Combineert G1, G2 en G4. Het partitioneert de gesorteerde dataset in stabiele regio's (monotone volgorde) en overgangsregio's. Overgangsregio's passen een Folding Ordering (FO)-mechanisme toe om periodieke herhaling van eerdere concepten te faciliteren, terwijl lokale diversiteit wordt ingebracht via Jittering Ordering (JIT).
SAW (Saw Ordering): Generaliseert STR door G3 (Curriculum Continuity) op te nemen. Het vervangt het vouwmechanisme in overgangsregio's door Zig-zag Ordering (ZIG). ZIG keert de volgorde van steekproeven in afwisselende cycli om, zodat aangrenzende cycli verbinden op punten met vergelijkbare scores, waardoor een soepelere, driehoeksgolf-achtige traject wordt gecreëerd die abrupte attributenverschuivingen mitigeert.

Belangrijkste resultaten

De effectiviteit van deze principes en strategieën werd gevalideerd door uitgebreide experimenten over verschillende modelgroottes (160M tot 1,7B parameters), datagroottes (1B tot 50B tokens) en trainingsfasen (Pre-training en Supervised Fine-Tuning).

Prestatiewinst: Zowel STR als SAW presteerden consistent beter dan random sampling en standaard Curriculum Learning (CL) over diverse benchmarks, waaronder algemeen redeneren (ARC, PIQA, SciQ), wiskunde (AIME, MATH) en codegeneratie (HumanEval, MBPP).
- Bij pre-training op FineWeb-Edu bereikte SAW een gemiddelde nauwkeurigheid van 38,78% vergeleken met 37,09% voor Random en 37,61% voor CL.
- Bij SFT op DeepMath-103K bereikte SAW 2,53% nauwkeurigheid op AIME24, beter dan CL (1,78%) en Random (1,30%).
Stabiliteit en robuustheid:
- Mitigatie van vergeten: Perplexiteitsanalyse op data met lage scores ( $D_e$ ) toonde aan dat terwijl CL te lijden had van een scherpe terugslag in perplexiteit (wat vergeten aangeeft) bij de overgang naar data met hoge scores, FO en SAW een lage perplexiteit behielden, wat effectieve kennisretentie bevestigt.
- Optimalisatiestabiliteit: Analyse van gradientnormen onthulde dat FO scherpe pieken vertoonde bij cyclusranden, terwijl ZIG (gebruikt in SAW) stabiele gradientmagnitudes behield, wat het belang van Curriculum Continuity valideert.
- Generalisatie: Analyse van gewichtsperturbaties toonde aan dat modellen getraind met Lokale Diversiteit (JIT) een vlakkere loss-landschap vertoonden en een hogere robuustheid tegen ruis hadden vergeleken met strikt gesorteerde baselines.
Schaalwetten: Extrapolatie met behulp van de Chinchilla Scaling Law gaf aan dat de prestatiewinsten door data-organisatie blijven bestaan en consistent blijven, zelfs wanneer geprojecteerd naar grotere modelgroottes (bijv. GPT-3 175B, Llama 3.1 405B).

Betekenis en claims

Het artikel claimt de eerste systematische verkenning te bieden van data-organisatie die specifiek is toegespitst op LLM-training, verdergaand dan de traditionele focus op data-selectie.

Efficiëntie: De primaire betekenis ligt in het vermogen om modelprestaties en trainingstabiliteit te verbeteren door bestaande scores te hergebruiken, met bijna geen extra rekenkosten.
Systematisch kader: Door vier distincte principes te formaliseren, biedt het werk een gestructureerde aanpak voor data-ordering die specifieke faalmodi van huidige trainingsparadigma's adresseert (bijv. vergeten, optimalisatieschokken en overfitting).
Praktische impact: De voorgestelde STR- en SAW-methoden blijken robuust te zijn over variërende modelcapaciteiten en datavolumes, wat suggereert dat data-organisatie een kritieke, maar vaak over het hoofd geziene hefboom is voor het verbeteren van de LLM-effectiviteit in het tijdperk van single-pass training.

De auteurs erkennen beperkingen, met de opmerking dat de effectiviteit van hun strategieën afhankelijk is van de kwaliteit en relevantie van de bestaande scores die voor organisatie worden gebruikt. Zij benadrukken ook dat hun werk zich richt op taalmodaliteiten, met toekomstig werk nodig voor onbevooroordeelde evaluatie in andere modaliteiten.