Stel je voor dat je een enorme, superintelligente robot probeert te leren praten. Je wilt dat hij ongelooflijk deskundig is, maar ook snel en efficiënt. Om dit te doen, gebruiken wetenschappers een slimme truc die een "Mixture of Experts" (MoE) wordt genoemd. Denk hierbij niet aan één gigantisch brein, maar aan een team van specialisten. Wanneer de robot een vraag moet beantwoorden, vraagt hij niet aan het hele team; hij wekt slechts één specifieke expert die het beste is in dat onderwerp. Dit bespaart energie en zorgt ervoor dat de robot enorm kan zijn zonder traag te worden.

Er is echter een groot probleem bij het trainen van deze teams. Wanneer je ze steeds nieuwe dingen leert, beginnen de specialisten vaak precies hetzelfde te denken. Ze leren allemaal dezelfde saaie feiten en beginnen als klonen op elkaar te klinken. Dit doet het hele doel van een team teniet; je kunt net zo goed één persoon hebben. Bovendien, terwijl ze nieuwe dingen leren, vergeten ze soms zelfs hoe ze fatsoenlijk moeten praten en beginnen ze onzin uit te kramen. Dit artikel behandelt de rommelige zaak van het uniek en scherp houden van deze AI-specialisten zonder dat er een tweede, nog grotere robot nodig is om op hen te passen.

---

Het drieledige team dat de dag redt

De onderzoekers achter deze studie, onder leiding van Zhang Qingjun, ontdekten dat om deze "kloon"- en "vergetelheidsproblemen" op te lossen, je geen complexe wiskundige straffen of een docent-robot nodig hebt. In plaats daarvan bouwden ze een drieslagig systeem dat werkt als een goed geoliede machine. Ze testten dit op een klein maar krachtig model genaamd Qwen2.5-0.5B, dat 24 lagen heeft en 4 experts per laag. Hier is hoe hun drie ingrediënten werken, uitgelegd met enkele alledaagse metaforen.

1. FrozenPath: Het onbeweeglijke anker

Stel je voor dat je een groep kunstenaars probeert te leren om nieuwe stijlen te schilderen. Als je ze de vrije hand laat zonder enige begeleiding, kunnen ze vergeten hoe ze een rechte lijn tekenen of hoe ze basiskleuren mengen. Ze kunnen beginnen met het schilderen van wartaal.

De FrozenPath is als een meesterkunstenaar die in de hoek van de kamer staat, volledig bevroren in de tijd. Deze meester verandert nooit van schilderstijl. Tijdens de training krijgen de nieuwe kunstenaars (de "trainable experts") de kans om te schilderen, maar hun uiteindelijke schilderij is een mix van hun eigen werk en het onveranderlijke werk van de meester. Het paper vond dat deze "bevroren" kopie absoluut cruciaal is. Het fungeert als een vangnet.

In hun tests, toen ze dit bevroren anker verwijderden, werd het model niet alleen iets slechter; het stortte volledig in. De "Perplexity" (een score die meet hoe verward het model is, waarbij lager beter is) explodeerde van een geweldige score van 20 naar een verschrikkelijke 1318. Het model begon wartaal uit te spugen zoals "the 2|||||...". De auteurs benadrukken dat dit niet zomaar een bonus is; het is een overlevingsvereiste. Zonder dit stort het hele systeem in.

2. Data Shard: De strikte opdracht

Stel je nu voor dat je vier experts in een kamer hebt en je wilt dat ze verschillend van elkaar worden. Als je een gemengde stapel boeken over koken, de ruimte, geschiedenis en sport naar hen allemaal gooit, zullen ze allemaal dezelfde dingen leren en klonen van elkaar worden.

De Data Shard-methode is als een strenge bibliothecaris die de boeken sorteert voordat iemand ze aanraakt. De bibliothecaris snijdt de bibliotheek in vier aparte stapels (shards). Expert A krijgt alleen de kookboeken, Expert B krijgt alleen de boeken over de ruimte, enzovoort. Ze zien de andere stapels nooit. Omdat ze compleet verschillende verhalen lezen, beginnen hun hersenen van nature anders te denken.

Het paper bewees dat dit de enige reden is dat de experts verschillend zijn. Toen ze een versie testten waarbij experts elk boek mochten lezen (random routing), werden de experts weer identieke klonen, met een gelijkenisscore van 1.00 (wat betekent dat ze exact hetzelfde waren). Maar met de "Data Shard"-methode daalde de gelijkenis naar 0.85, wat bewees dat ze hun eigen unieke persoonlijkheden hadden ontwikkeld. Interessant genoeg maakte deze methode het model niet slimmer in de basis (de PPL-score bleef gelijk), maar was het de enige reden waarom de experts stopten met klonen.

3. Dual-Loop: De zelfcontrole

Ten slotte, stel je een expert voor die een specifieke stapel boeken heeft toegewezen gekregen. Hij leest een hoofdstuk, denkt erover na, en leest het vervolgens direct nog een keer om te controleren of hij het echt begrepen heeft. Dit is de Dual-Loop.

In plaats van de informatie slechts één keer door te geven, laat de expert de data twee keer achter elkaar door zijn brein lopen. Het is een zelfcorrectiecyclus. Het paper vond dat dit een kleine maar nuttige boost geeft. Het verbeterde de score van het model met ongeveer 2 punten (het verlagen van de Perplexity van 22 naar 20) en verhoogde een redeneertest genaamd HellaSwag met 2%. Ze ontdekten echter ook een limiet: het drie keer doen van dit proces (een "Triple-Loop") hielp niet veel meer dan het twee keer doen. Twee loops leken het ideale punt te zijn waar je het voordeel krijgt zonder tijd te verspillen.

De resultaten: Een team dat echt werkt

Toen de onderzoekers alle drie de onderdelen samenvoegden, waren de resultaten indrukwekkend. Het volledige systeem (genoemd Configuration E) behaalde een Perplexity van 20, wat veel beter is dan de standaard "dense" model baseline van 143. De experts waren onderscheidend (geen klonen), het model vergat niet hoe het moest praten, en het kon vragen correct beantwoorden.

Bijvoorbeeld, op de vraag "The capital of France is" antwoordde het volledige systeem correct: "Paris. It was founded in 787 AD by Charlemagne..." (Opmerking: de historische datum in het voorbeeld maakt deel uit van de output van het model, die het paper gebruikt om aan te tonen dat het feiten kan herinneren, zelfs als de datum zelf in de echte wereld historisch betwistbaar is).

In contrast hiermee produceerde de versie zonder "FrozenPath" (Configuration C) volledig wartaal. De versie zonder "Data Shards" (Configuration I) produceerde correcte zinnen, maar had experts die 100% identiek waren, wat betekende dat de speciale "sparse" kracht van het model werd verspild.

Waarom dit belangrijk is voor de toekomst

Het paper suggereert dat dit systeem perfect is voor bedrijven die hun AI door willen blijven trainen op nieuwe, specifieke onderwerpen (zoals juridische documenten of medische dossiers) zonder een gigantische docent-model nodig te hebben om toezicht te houden. Het is een "distillatie-vrije" en "auxiliary-loss-vrije" oplossing, wat betekent dat het geen extra complexe wiskunde of enorme referentiemodellen nodig heeft om te werken.

Op praktisch gebied lieten de onderzoekers zien dat dit model op relatief kleine computers kan draaien. Een enkele expert die draait op een standaard grafische kaart (zoals een RTX 4080S) heeft slechts 3,5 GB aan videogeheugen (VRAM) nodig. Dit is klein genoeg om op veel consumentenlaptops of edge-apparaten te draaien. Het systeem bereikte een "Level 4" engineering volwassenheid, wat betekent dat het klaar is voor gebruik in de echte wereld, hoewel de auteurs opmerken dat het opschalen naar veel grotere modellen (zoals 7 miljard parameters) meer testen zal vereisen.

Kortom, het paper bewijst dat door een veiligheidsanker te bevriezen, het leermateriaal strikt te verdelen en de experts hun werk twee keer te laten controleren, je een team van AI-specialisten kunt bouwen die uniek, slim en niet vergeten hoe ze moeten praten.