💻 computer science

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

Dit artikel presenteert L20-Edu-135M, een controleerbare casestudy van een taalmodel met 135 miljoen parameters dat volledig is getraind op een enkele NVIDIA L20 GPU met 13 miljard tokens, waarmee wordt aangetoond dat het, hoewel het achterblijft bij grotere modellen zoals SmolLM2, een concurrerende prestatie levert in verhouding tot zijn minimale tokenbudget en specifieke faalmodi van RLVR in middelenbeperkte omgevingen belicht.

Oorspronkelijke auteurs: Yin Li

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yin Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Eén Chef, Eén Keuken, Eén Recept

Stel je de wereld van Kunstmatige Intelligentie (AI) voor als een enorme culinaire wedstrijd. Meestal zijn de winnaars enorme restaurants met 64 topchefs (GPU's) en onbeperkte ingrediënten (data), die miljoenen uren lang koken. Zij creëren "Small Language Models" (kleine AI-breinen) die ongelooflijk slim zijn.

Dit paper stelt een andere vraag: "Kan één enkele, standaard chef in één enkele, bescheiden keuken een concurrerend klein AI-brein creëren, en wat gebeurt er als we dat proberen?"

De auteur, Yin Li, nam deze uitdaging aan met slechts één NVIDIA L20 grafische kaart (een krachtige maar enkele computerchip). Het resultaat is een model genaamd L20-Edu-135M. Het is een "135-miljoen-parameter" brein, wat klein is in de AI-wereld, maar het doel was om te zien hoe ver je kunt komen met beperkte middelen.

De Ingrediënten: Koken met Zorg

In de AI-wereld is "data" het voedsel. De meeste grote modellen eten biljoenen woorden. Dit model at slechts ongeveer 13 miljard woorden. Om dit te compenseren voor de kleinere portie, was de chef extreem kieskeurig over de kwaliteit van het voedsel.

Het Menu: Het model werd gevoed met een specifieke mix van "FineWeb-Edu" (hoogwaardige educatieve webtekst) en een speciale "mix" van wiskunde, code en logische puzzels.
De Kwaliteitscontrole (De Zeef): Voordat er gekookt werd, moest de chef slechte ingrediënten eruit filteren. Ze gebruikten een digitale zeef om het volgende te verwijderen:
- Duplicaten: Als dezelfde zin in drie verschillende boeken voorkwam, hielden ze er slechts één over.
- Afval: Tekst die te kort was, vol cijfers stond of gewoon onzin was.
- Contaminatie: Ze zorgten ervoor dat het model niet per ongeluk de testvragen die het later beoordeeld zou krijgen, "uit het hoofd leerde".
- Analogie: Stel je voor dat je een soep maakt. In plaats van een hele oceaan aan water erin te dumpen, selecteer je zorgvuldig de beste groenten, wast je ze grondig en verwijdert je alles wat rot is of lijkt op de garnering die je later wilt gebruiken.

Het Kookproces: Drie Fasen

De training vond plaats in drie duidelde fasen:

De Basiscursus (Pretraining): Het model las 10 miljard woorden aan educatieve tekst om te leren hoe taal werkt. Dit duurde ongeveer 72 uur op de enkele chip.
De Gespecialiseerde Cursus (Continued Pretraining): Het model las nog eens 3 miljard woorden, specifelijk gericht op wiskunde, coderen en redeneren, om zijn vaardigheden aan te scherpen.
De Laatste Afwerking (Instruction Tuning): Het model werd geleerd hoe het instructies moet opvolgen (zoals een chatbot). De auteur merkte echter op dat het aanleren van de chat-vaardigheid de oorspronkelijke taalvaardigheid iets verslechterde.
- De Oplossing: Ze gebruikten een techniek genaamd Weight Interpolation. Stel je voor dat je een "pure taalexpert" en een "chatexpert" neemt en hun breinen samenvoegt. Ze ontdekten dat het behouden van 87,5% van de taalexpert en 12,5% van de chatexpert de beste balans creëerde.

De Resultaten: Hoe Ging het?

Het model werd getest op zes verschillende puzzels (zoals leesvaardigheid en logische problemen).

De Score: Het scoorde 0,4150 (op een schaal van 1,0).
De Vergelijking:
- Het versloeg oudere, vergelijkbare modellen van enkele jaren geleden.
- Het versloeg de moderne "Super Modellen" (SmolLM-135M en SmolLM2-135M) niet, welke getraind zijn door teams met 64 supercomputers.
- De Kanttekening: De Super Modellen aten 46 tot 154 keer meer data dan dit model op één chip.
- De Les: Dit model op één chip bereikte 87% van de prestaties van de Super Modellen terwijl het slechts 2% van hun databudget gebruikte. Het is niet de winnaar van de wedstrijd, maar het is een zeer indrukwekkende tweede plaats voor een solo-chef.

Het "Oeps"-Moment: Het Wiskunde-experiment

De auteur probeerde het model beter te maken in wiskunde (specifiek de GSM8K test) met behulp van een techniek genaamd RLVR (Reinforcement Learning from Verifiable Rewards).

Het Idee: Geef het model een beloning elke keer dat het een wiskundig antwoord goed heeft, in de hoop dat het leert dieper na te denken.
Het Resultaat: Het faalde. Het model werd zelfs slechter in wiskunde.
Waarom? Het model was al zo slecht in wiskunde dat het zelden een "beloning" kreeg. Zonder positieve feedback raakte het simpelweg in de war.
Analogie: Proberen een peuter wiskunde te leren door alleen een gouden ster te geven wanneer ze het goed hebben. Als ze het nooit goed doen, krijgen ze nooit een gouden ster, en stoppen ze met proberen of raken ze gefrustreerd. Het paper concludeert dat voor kleine modellen een "opwarming" (betere initiële vaardigheden) nodig is voordat je deze geavanceerde trainingsmethode kunt gebruiken.

Waarom Is Dit Belangrijk?

Dit paper beweert niet de slimste AI ter wereld te hebben gebouwd. In plaats daarvan is het een transparantieverslag en een bewijs van concept.

Het is Controleerbaar: Omdat het op één machine met één persoon is gedaan, weten we precies wat er is gebeurd. We kennen de data, de instellingen en de fouten.
Het is Toegankelijk: Het bewijst dat onafhankelijke onderzoekers geen miljardenbudget nodig hebben om serieus onderzoek naar kleine modellen te doen. Je kunt het doen op een enkele krachtige laptop of server.
Het Stelt Grenzen: Het laat ons precies zien waar de grenzen liggen. Het vertelt ons: "Je kunt dit ver komen met één GPU, maar als je verder wilt gaan, heb je wel meer data en meer rekenkracht nodig."

Samenvatting

Beschouw L20-Edu-135M als een zeer goed georganiseerde, zeer efficiënte zelfgemaakte maaltijd. Het zal geen Michelinster winnen van een banket met 64 chefs, maar het bewijst dat je met de juiste ingrediënten, zorgvuldige reiniging en slimme technieken, als een enkel persoon een maaltijd kunt bereiden die verrassend lekker en voedzaam is vergeleken met wat een paar jaar geleden mogelijk was. Het is een overwinning voor efficiëntie en eerlijkheid in AI-onderzoek.

Technische Samenvatting: L20-Edu-135M

Probleemstelling
Hoewel kleine taalmodellen (SLM's) aantrekkelijk zijn voor lokale implementatie vanwege de lage inferentiekosten, vereist het bereiken van competitieve prestaties in de 135M-parameterklasse doorgaans enorme computationele middelen. State-of-the-art modellen zoals SmolLM en SmolLM2 maken gebruik van honderden miljarden tot biljoenen tokens die getraind zijn op grote GPU-clusters (bijv. 64 H100's), waardoor hun trainingspipelines ontoegankelijk zijn voor onafhankelijke onderzoekers. Dit artikel behandelt een specifieke, door middelen beperkte vraag: Kan een volledige, auditeerbare en competitieve 135M-klasse pretraining- en post-trainingloop worden uitgevoerd op een enkele commodity data-center GPU (NVIDIA L20), en wat zijn de specifieke faalmodi en trade-offs in een dergelijk regime?

Methodologie
De studie centreert zich rond L20-Edu-135M, een 134,5M-parameter decoder-only Transformer die vanaf nul is getraind op een enkele NVIDIA L20 (48GB). De methodologie is gestructureerd rond drie onderzoeksvragen met betrekking tot haalbaarheid, regressiecontrole en kleinschalige reinforcement learning.

Architectuur: Het model hanteert een "deep-thin" Llama-stijl ontwerp (30 lagen, 576 verborgen grootte, 9 query/3 key-value koppen) met gebonden embeddings en Grouped-Query Attention (GQA), wat verschilt van oudere shallow-wide baselines.
Trainingspipeline:
- Fase 1 (Pretraining): Getraind op ~10 miljard tokens van FineWeb-Edu met een piek leersnelheid van $4 \times 10^{-4}$ , bfloat16 precisie en PyTorch SDPA.
- Fase 4 (Continued Pretraining): Een gecureerde mix van 3 miljard tokens gericht op educatie, code, wiskunde en redeneren. De bronnen omvatten DCLM, Dolmino en FineMath.
- Data Governance: Er werd een strikte "Fase 4 data gate" geïmplementeerd, bestaande uit cross-source MinHash/LSH nabij-deduplicatie, segment-niveau opschoning, kwaliteitsfiltering en benchmark-contaminatiecontroles (met behulp van 13-gram matching en LCS overlap rejectie) tegen standaard benchmarks (ARC, HellaSwag, etc.).
- Post-Training: Het model onderging Supervised Fine-Tuning (SFT) op instructiedata. Om prestatie-regressie op base-benchmarks te mitigeren, gebruikten de auteurs gewicht-interpolatie tussen de Fase 4 base en de SFT-checkpoint ( $\theta_\alpha = (1-\alpha)\theta_{base} + \alpha\theta_{SFT}$ ).
- RLVR: Een direct experiment met Reinforcement Learning from Verifiable Rewards (RLVR) met GRPO-stijl optimalisatie werd uitgevoerd op GSM8K.

Belangrijkste Bijdragen
Het artikel levert vijf concrete bijdragen, geframed als een systeem- en data-efficiëntie casestudy in plaats van een state-of-the-art claim:

Single-GPU Recept: Documentatie van een volledige trainingloop voor een 135M model op één L20 GPU, waarbij een throughput van ~49k tokens/seconde werd bereikt met geoptimaliseerde configuraties.
Strikte Data Gates: Implementatie van een rigoureuze Fase 4 gate die cross-source deduplicatie, segment-opschoning en expliciete benchmark-decontaminatie combineert, inclusclusief het loggen van rejection counts voor auditeerbaarheid.
Regressiecontrole via Interpolatie: Evaluatie van SFT-gewicht-interpolatie als een mechanisme om de base-model prestaties te behouden. De geselecteerde release gebruikt een interpolatiefactor van $\alpha=0,875$ (87,5% SFT-gewichten, 12,5% base-gewichten).
Gecontroleerde Benchmarking: Zero-shot evaluatie op een zes-taken harness (ARC-Challenge/Easy, HellaSwag, LAMBADA, PIQA, WinoGrande) met hetzelfde protocol voor alle modellen om een eerlijke vergelijking te garanderen.
Negatief RLVR Resultaat: Een gedocumenteerd faalgeval waarbij directe GRPO-stijl RLVR op GSM8K de exact-match nauwkeurigheid voor het 135M model verlaagde, wat suggereert dat verifiable rewards alleen onvoldoende zijn zonder sterkere cold-start capaciteiten.

Resultaten

Benchmark Prestaties: L20-Edu-135M behaalde een gemiddelde score van 0,4150 op de zes-taken harness. Dit presteert beter dan oudere 100M–160M baselines (bijv. GPT-2 Small, OPT-125M, Pythia-160M) maar blijft aanzienlijk achter bij moderne data-centrische modellen: SmolLM-135M (0,4767) en SmolLM2-135M (0,4917).
Token Efficiëntie Context: Het model bereikte 87,1% van de prestaties van SmolLM-135M met slechts 13B tokens, wat ongeveer 2,17% is van het gerapporteerde token-budget voor SmolLM-135M (600B tokens). De auteurs merken op dat deze ratio beschrijvend is, en geen bewijs voor een superieure scaling law.
Interpolatie Effectiviteit: Volledige SFT degradeerde de base benchmark mean licht (0,4137 vs. 0,4141). Interpolatie bij $\alpha=0,875$ herstelde de mean naar 0,4150, wat dient als een praktische regressiecontrole.
RLVR Uitkomst: Directe RLVR op GSM8K verminderde de exact-match nauwkeurigheid van een baseline van 1,82% naar 1,59% (192-token completions) en 1,21% (320-token completions). De auteurs schrijven dit toe aan een sparse-reward cold-start probleem waarbij het model niet over voldoende initiële redeneercapaciteit beschikt om te profiteren van group-relative rewards.

Significantie en Claims
Het artikel positioneert L20-Edu-135M expliciet als een auditeerbare, door middelen beperkte casestudy, en niet als een state-of-the-art prestatie. De primaire significantie ligt in:

Demonstratie van Haalbaarheid: Het bewijzen dat een volledige, competitieve SLM-onderzoekscyclus (pretraining, curatie, SFT, evaluatie) uitvoerbaar is op een enkele 48GB GPU.
Data Hygiëne op Kleine Schaal: Het benadrukken dat voor kleine token-budgets rigoureuze deduplicatie en contaminatiecontrole cruciaal zijn om verspilling van beperkte leer-signalen te voorkomen.
Post-Training Trade-offs: Het aantonen dat instructie-tuning op kleine modellen regressie-gegate strategieën (zoals interpolatie) vereist om de base-capaciteiten te behouden.
RLVR Beperkingen: Het bieden van een concreet "stop/go" criterium dat aangeeft dat directe RLVR waarschijnlijk ineffectief is voor 135M modellen zonder sterkere cold-start data of grotere modelcapaciteit.

De auteurs concluderen dat hoewel het model moderne 135M systemen die getraind zijn met 46x tot 154x meer tokens niet evenaart, het een betekenisvol operationeel punt vestigt voor onderzoekers die gericht zijn op marginale winsten per toegankbare GPU-uur, waarbij het onderscheid maakt tussen wat haalbaar is door zorgvuldige engineering en wat strikt schaal vereist.