Stel je de wereld van Kunstmatige Intelligentie voor als een enorme, bruisende bibliotheek waar boeken worden geschreven door gigantische, superintelligente robots. Deze robots, bekend als Large Language Models (LLM's), zijn ongelooflijk goed in het begrijpen van menselijke taal, het schrijven van verhalen en het oplossen van problemen. Maar er is een addertje onder het gras: om zo slim te zijn, dragen deze robots miljarden kleine briefjes in hun zakken, waardoor ze ontzettend zwaar zijn. Het proberen te laten rennen van deze zware robots op een klein apparaatje, zoals een smartphone of een smartwatch, is alsof je een hele bibliotheek in je rugzak probeert te dragen; het is te veel gewicht en de batterij is direct leeg. Wetenschappers proberen al een tijdje uit te vogelen hoe ze deze robots kunnen verkleinen zonder dat ze alles vergeten wat ze hebben geleerd.

Om dit te doen, gebruiken onderzoekers een wiskundige truc genaamd "Singular Value Decomposition" (SVD). Denk aan SVD als een manier om een gigantische, rommelige stapel briefjes te nemen en deze te organiseren in een nette, kleinere stapel die nog steeds hetzelfde verhaal vertelt. Het is als het samenvatten van een roman van 500 pagina's tot een outline van 50 pagina's die alle belangrijke plotpunten behoudt. Een ander idee is "neuron importance" (het belang van neuronen), wat is als vragen: "Welke briefjes in deze stapel doen er echt toe voor het verhaal, en welke kunnen we weggooien?" Tot slot is er de vraag hoe we verschillende delen van de robot moeten verkleinen. Moeten we elk deel met dezelfde hoeveelheid verkleinen, of moeten we slimmer zijn en de delen die minder belangrijk zijn agressiever verkleinen?

Dit artikel introduceert een nieuwe methode genaamd NIDA-SVD die probeert de ultieme bibliothecaris te zijn. In plaats van alleen de briefjes samen te vatten of alleen de "onbelangrijke" ones weg te gooien, combineert het beide ideeën op een slimme manier. De onderzoekers ontdekten dat het simpelweg mengen van oude methoden niet goed werkte, maar dat door te kijken naar hoe de "hersencellen" (neuronen) van de robot op het verhaal reageren, ze het model veel effectiever konden verkleinen. Ze ontdekten ook dat het verkleinen van de robot laag voor laag, gebaseerd op de diepte ervan in de machine, beter werkt dan het groeperen van onderdelen op basis van hun taak. Wanneer ze dit testten op modellen zoals BERT, DistilBERT en TinyBERT, hield hun nieuwe methode de intelligentie van de robot bijna intact, zelfs wanneer ze de grootte met de helft of meer verminderden, waarbij ze eerdere methoden overtroffen, vooral wanneer de modellen heel strak werden samengeperst.

Het Probleem van de Zware Rugzak

Large Language Models zijn de sterren van de moderne AI, in staat om met ons te chatten en onze wereld te begrijpen. Maar om zo slim te zijn, zijn ze gebouwd met miljarden parameters—denk aan deze als de individuele bakstenen in een enorme muur. Het probleem is dat deze muur zo zwaar is dat hij niet op kleine apparaten zoals telefoons of laptops past. Wetenschappers willen deze modellen comprimeren, ze kleiner en sneller maken zonder hun slimheid te verliezen.

De Oude Gereedschappen: Samenvatten en Sorteren

Om deze modellen te verkleinen, hebben onderzoekers twee hoofdinstrumenten gebruikt. De eerste is SVD, een wiskundige methode die fungeert als een superefficiënte samenvatter. Het neemt een gigantische matrix (een rooster van getallen) en breekt deze af in een kleinere versie die nog steeds de belangrijkste informatie bevat, waarbij de rest wordt weggegooid. Het tweede instrument is neuron importance, dat probeert te achterhalen welke specifieke getallen in het rooster de "sterren" van de show zijn. Als een getal niet veel bijdraagt aan het uiteindelijke antwoord, is het een kandidaat voor verwijdering.

Voorheen probeerden wetenschappers deze instrumenten afzonderlijk te gebruiken. Sommigen richtten zich op het samenvatten van de data op basis van hoe het model deze "ziet" (data-aware), terwijl anderen zich richtten op hoe belangrijk elk specifiek getal was voor het uiteindelijke resultaat (parameter importance). De auteurs van dit artikel merkten echter op dat het simpelweg mengen van deze twee oude methoden niet goed werkte; het maakte de modellen zelfs dommer.

De Nieuwe Oplossing: NIDA-SVD

De auteurs stellen een nieuwe aanpak voor genaamd NIDA-SVD (Neuron Importance Driven Data-Aware SVD). In plaats van naar individuele getallen te kijken om te beslissen wat ze moeten houden, kijken ze naar de neuronen (de functionele groepen getallen) en vragen: "Hoe belangrijk is de output van deze neuron voor de uiteindelijke taak?"

Stel je voor dat je een film bewerkt. De oude manier was om naar elk afzonderlijk frame te kijken en te beslissen of het belangrijk was. De nieuwe manier is om naar de scènes te kijken en te vragen: "Drijft deze scène het plot voort?" Als een scène cruciaal is, houd je deze gedetailleerd; als het slechts opvulling is, snijd je het terug. Door te focussen op het belang van de output van de neuron in plaats van alleen op de ruwe getallen, houdt de nieuwe methode de prestaties van het model hoog, zelfs wanneer de grootte drastisch wordt verminderd.

Het Slimme Verkleinen: Dynamische Rangverdeling

Het papier pakt ook een tweede probleem aan: hoe te beslissen hoeveel elk deel van het model moet worden verkleind. In het verleden verkleinden mensen vaak elk deel met dezelfde hoeveelheid (uniforme allocatie) of groepeerden ze onderdelen op basis van hun taak (zoals alle "attention"-onderdelen bij elkaar). De auteurs stellen dat dit te rigide is.

Ze ontdekten dat verschillende lagen van het model verschillende behoeften hebben. Sommige lagen zijn als het fundament van een gebouw; als je ze te veel verkleint, stort het hele bouwwerk in. Andere zijn als de verf op de muren; ze kunnen eenvoudiger worden gemaakt zonder het huis te ruïneren. De auteurs ontwikkelen een dynamische rangverdelingsalgoritme (dynamic rank allocation) dat naar het model kijkt, laag voor laag (gebaseerd op de diepte-index), en aan elke laag een specifieke "verkleiningslimiet" toewijst. Dit zorgt ervoor dat de meest gevoelige lagen meer ruimte krijgen, terwijl de minder gevoelige lagen strakker worden samengeperst.

De Resultaten: Kleiner, Sneller en Slimmer

De onderzoekers testten hun methode op verschillende populaire modellen, waaronder BERT, DistilBERT, MobileBERT en TinyBERT. Ze vergeleken NIDA-SVD met de huidige beste methoden (zoals SVD-LLMv2) over diverse taken, zoals het begrijpen van zinnen en het beantwoorden van vragen.

De resultaten waren indrukwekkend. In 87,5% van de tests op het standaard BERT-model presteerde NIDA-SVD beter dan de vorige state-of-the-art. Het verschil was nog dramatischer bij hoge compressieratio's (wanneer het model veel wordt verkleind). Bijvoorbeeld, wanneer het model met 50% werd gecomprimeerd (slechts de helft van de parameters behouden), verbeterde NIDA-SVD de prestaties op bepaalde taken met wel 6,41% vergeleken met de oude methoden.

Zelfs op de kleinste modellen, zoals TinyBERT, die al zeer compact zijn, hield de nieuwe methode stand. Hoewel TinyBERT zo klein is dat het verkleinen ervan meestal tot falen leidt, slaagde NIDA-SVD erin om het met 30% te comprimeren (van 14,3 miljoen parameters naar 10,0 miljoen) terwijl het nog steeds een sterke prestatie leverde. In feite was de nieuwe methode superieur in 94% van de tests voor TinyBERT.

Efficiëntie Zonder de Kosten

Men zou zich kunnen afvragen of het zo slim zijn vereist extra rekenkracht. De auteurs laten echter zien dat hun methode net zo snel is als de andere. Omdat het totale aantal parameters hetzelfde is (omdat ze streven naar dezelfde compressieratio), is de computationele kosten (gemeten in MFLOPS/token) vrijwel identiek. De "magie" zit niet in het doen van meer werk; het zit in het slimmer verdelen van het werk.

Bijvoorbeeld, bij een DistilBERT-model verminderde het comprimeren met 50% de computationele kosten van 86 MFLOPS/token naar ongeveer 19 MFLOPS/token. Op TinyBERT leidde een reductie van 30% in grootte tot een enorme daling van de computationele kosten van 90%, waardoor het naar minder dan 1 MFLOP/token ging.

Conclusie

Kortom, dit artikel suggelt dat om AI-modellen effectief te verkleinen, we niet alleen naar de ruwe getallen moeten kijken of elk deel van het model hetzelfde moeten behandelen. In plaats daarvan moeten we begrijpen welke "hersencellen" het zware werk doen en het model laag voor laag verkleinen op basis van hoeveel elke laag kan verdragen. De nieuwe methode van de auteurs, NIDA-SVD, bewijst dat deze aanpak ons in staat stelt om deze gigantische, slimme robots in kleinere rugzakken te passen zonder dat ze hun lessen vergeten, wat de weg vrijmaakt voor krachtige AI op onze dagelijkse apparaten.