Stel je de wereld van kunstmatige intelligentie voor als een enorme, bruisende bibliotheek waar reusachtige robots proberen te leren hoe ze elke taal in het bestaan moeten spreken. Lange tijd moesten deze robots in enorme, supergekoelde datacenters wonen, ver weg, verbonden met het internet als een levenslijn. Ze waren als briljante geleerden die alleen konden denken als ze aangesloten waren op een massaal stroomnet. Maar wat als je een geleerde wilde die direct in je broekzak kon wonen, op je telefoon, werkend zelfs wanneer je in een grot bent zonder signaal? Dit is de droom van "on-device" AI. Om dit mogelijk te maken, proberen wetenschappers deze reusachtige hersenen te verkleinen zodat ze in kleine ruimtes passen zonder hun slimheid te verliezen. De grote uitdaging is dat kleinere hersenen meestal dummere robots betekenen, tenzij je ze ongelooflijk goed kunt onderwijzen met zeer specifieke, hoogwaardige lessen.

Maak kennis met ELMOD, een nieuw project van onderzoekers van het Fraunhofer Instituut die besloten een klein, superintelligent taalmodel te bouwen dat specifiek voor de Duitse taal is. Denk aan taalmodellen als studenten die leren door miljarden boeken te lezen. Normaal gesproken, om een student een genie te laten worden, gooi je een berg boeken naar hen toe. Maar de makers van ELMOD wilden kijken of ze een student net zo slim konden maken door veel zorgvuldiger te zijn over welke boeken zij lazen. Ze pakten niet zomaar willekeurige pagina's van het internet; ze gedroegen zich als strikte bibliothecarissen, die de ruis eruit filterden, de grammatica herstelden en zelfs saaie delen herschreven om ze meer educatief te maken. Hun doel was om een model van 2,7 miljard parameters (een maatstaf voor de grootte van de hersenen) te creëren dat efficiënt op mobiele apparaten kan draaien, ter bewijzing dat je geen supercomputer nodig hebt om een slimme Duitssprekende assistent te hebben.

Het Recept voor een Genie in de Broekzak

Het verhaal van ELMOD begint met een eenvoudige vraag: Kunnen we een Duitssprekende AI bouwen die klein genoeg is om in een telefoon te passen, maar slim genoeg om te concurreren met veel grotere modellen? De onderzoekers begonnen met een enorme stapel data, zoals een chaotische vuilnisbelt van tekst van het internet. Ze hadden 4,83 biljoen woorden om mee te werken, maar het grootste deel was troep—advertenties, kapotte links en repetitieve onzin.

Stap 1: De Grote Schoonmaak
Eerst moesten ze de data opschonen. Stel je voor dat je een gastronomisch diner probeert te koken, maar je ingrediënten zitten gemengd met stenen en plastic verpakkingen. Het team gebruikte een reeks filters om de "stenen" te verwijzen. Ze gooiden pagina's weg die alleen uit lijsten met cijfers bestonden, verwijderden tekst die voornamelijk in het Engels was terwijl ze het Duits wilden, en filterden zelfs woorden die te grof of ongepast waren. Ze gebruikten ook een slimme truc genaamd "deduplicatie", wat is als het vinden en verwijderen van exact hetzelfde receptenkaartje dat iemand duizend keer in het kookboek heeft geplakt. Dit proces was cruciaal omdat het hen voorkwam dat ze tijd en energie verspilden aan het herhaaldelijk lezen van dezelfde saaie zaken.

Stap 2: De Kwaliteitscontrole
Toen de troep eenmaal weg was, werden ze geconfronteerd met een nieuw probleem: niet alle resterende boeken waren goed voor het leren. Sommige waren slechts nieuwsberichten, andere waren diepgaande wetenschappelijke artikelen. De onderzoekers wilden dat hun AI leerde van de "beste" boeken. Ze gebruikten een slimme AI-rechter (een groter model) om de tekst te beoordelen op een schaal van 0 tot 5, gebaseerd op hoe educatief het was. Ze ontdekten dat trainen op de hoogste kwaliteit boeken (score 2 en hoger) het model slimmer maakte, maar dat nog hoger gaan (score 3 en hoger) geen extra boost meer gaf. Maar hier komt het slimme deel: ze realiseerden zich dat zelfs boeken met een "gemiddelde" score (rond de 1,5 tot 2) konden worden opgegradeerd.

Stap 3: De Magie van het Herschrijven
Dit is waar de magie gebeurde. Het team nam de teksten van "gemiddelde kwaliteit" en vroeg een andere AI om ze te herschrijven. Ze zeiden tegen de AI: "Neem deze saaie blogpost en herschrijf het alsof het een hoofdstuk is uit een tekstboek voor experts, of een leuk verhaal voor kinderen, of een professionele blog." Door dit te doen, veranderden ze gemiddelde data in hoogwaardige lessen. Het was alsof je een ruwe versie van een verhaal neemt en het polijst totdat het glanst. Ze genereerden op deze manier ongeveer 73 miljard nieuwe tokens (tekstblokken), waardoor ze hun bibliotheek effectief upgradeerden zonder nieuwe boeken te hoeven vinden.

Stap 4: De Training
Met hun schoongemaakte en geüpgradede bibliotheek gereed, begonnen ze met het trainen van het model. Ze hadden een strikt budget: ze konden slechts 55.000 uur aan krachtige H100 GPU's (de motoren die AI-training aandrijven) gebruiken. Om hier het meeste uit te halen, experimenteerden ze met hoe het model leerde. Ze probeerden verschillende manieren om met getallen om te gaan en verschillende mengsels van Duits, Engels en code. Ze ontdekten dat een specifieke mix—50% Engels, 40% Duits en 10% code—het beste werkte. Ze ontdekten ook dat het vertragen van het leerproces aan het einde (een techniek genaamd "annealing") hielp om het model zijn kennis beter te laten laten bezinken, vergelijkbaar met hoe een student rustig zijn aantekeningen doorneemt voor een grote toets.

De Resultaten: Klein maar Krachtig

Toen ze klaar waren, hadden ze ELMOD-2.7B, een model met 2,7 miljard parameters. Om dit in perspectief te plaatsen: het is klein vergeleken met de reuzen die normaal gesproken het veld domineren. Maar toen ze het testten op Duitse taaluitdagingen, waren de resultaten verrassend.

ELMOD deed het niet alleen goed; het was de sterkste performer in zijn grootteklasse (onder de 3 miljard parameters) en presteerde op gelijke voet met modellen die bijna drie keer zo groot zijn (7 miljard parameters), specifiek op Duitse benchmarks. Het was als een compacte sportwagen die net zo snel kon racen als een enorme vrachtwagen. De onderzoekers testten het op diverse taken, van het beantwoorden van lastige logische vragen tot het begrijpen van complexe verhalen, en het hield stand tegen veel grotere modellen die getraind waren op tweemaal de hoeveelheid data.

Ze zorgden er ook voor dat het model veilig en klaar was voor het echte leven. Ze verwijderden persoonlijke informatie zoals e-mailadressen en creditcardnummers uit de trainingsdata, om te garanderen dat de AI niet per ongeluk privédetails zou onthouden. Ten slotte bewezen ze dat het daadwerkelijk op een telefoon kan draaien. Ze bouwden een demo-app die het model op verschillende Android-telefoons en zelfs op een MacBook Pro liet draaien, waarmee ze lieten zien dat het model tekst snel genoeg kon verwerken om nuttig te zijn voor een menselijke gebruiker, zelfs zonder een supercomputer in de buurt.

Waarom dit ertoe doet

Het paper laat zien dat je geen gigantisch technologiebedrijf met onbeperkt geld nodig hebt om een geweldige AI te bouwen. Door slim te zijn over de kwaliteit van de data—het wegfilteren van de ruis, het upgraden van de gemiddelde zaken en voorzichtig te zijn in hoe je het model onderwijst—kun je een krachtig hulpmiddel bouwen dat in je broekzak past. ELMOD bewijst dat voor de Duitse taal een klein, efficiënt model net zo capabel kan zijn als de grote, dure modellen, wat de deur opent naar privacyvriendelijke, offline AI-assistenten die overal en altijd werken.