Grote taalmodellen zijn de motoren achter een nieuwe generatie kunstmatige intelligentie, in staat om verhalen te schrijven, complexe problemen op te lossen en gesprekken te voeren die opmerkelijk menselijk aanvoelen. Toch hebben deze digitale geesten een zware prijs. Om ze te trainen, moeten onderzoekers ze voeden met enorme hoeveelheden data, een proces dat enorme hoeveelheden elektriciteit verbruikt en banken van krachtige computers vereist die miljoenen dollars kosten. Zelfs na de training vereist het draaien van deze modellen om een enkele vraag te beantwoorden, enorme hoeveelheden geheugen en rekenkracht, wat het gebruik ervan vaak beperkt tot grote datacentra in plaats van persoonlijke apparaten. Jarenlang hebben wetenschappers geprobeerd deze modellen kleiner en sneller te maken door drie belangrijke trucs te gebruiken: het verwijderen van onnodige verbindingen, het verminderen van de precisie van de getallen die ze gebruiken, en het vereenvoudigen van hun interne structuur. Echter, het toepassen van deze trucs één voor één liep tegen een muur aan. Wanneer onderzoekers probeerden te veel verbindingen te verwijderen, raakte het model in de war en verloor het zijn intelligentie. Wanneer ze de precisie te veel verminderden, werden de getallen te grof om de kennis van het model vast te houden. Elke methode werkte goed in isolatie, maar faalde wanneer ze tot het uiterste werd gedreven, waardoor de industrie voor een moeilijke keuze kwam te staan tussen een massief, traag model of een klein, defect model.

Een onderzoeker aan de Universiteit van Toronto, onder leiding van Mohammad Mozaffari, heeft een nieuwe weg vooruit voorgesteld die deze drie methoden niet behandelt als afzonderlijke opties, maar als een enkele, verenigde toolkit. Ze noemen deze benadering de "Compression Trinity" (Compressie-Triniteit). In plaats van te kiezen tussen het verwijderen van verbindingen, het vereenvoudigen van getallen of het veranderen van de structuur, laat hun werk zien dat deze drie technieken eigenlijk het beste werken wanneer ze samen worden toegepast. De kern van het idee is dat elke methode de zwakheden van de anderen compenseert. Het verwijderen van verbindingen vermindert de hoeveelheid werk die de computer moet doen, terwijl het vereenvoudigen van de getallen de hoeveelheid data die verplaatst moet worden, vermindert. De derde techniek, die het toevoegen van een kleine, flexibele laag extra informatie inhoudt, fungeert als een vangnet dat de intelligentie herstelt die verloren is gegaan toen de andere twee methoden werden toegepast. Door ze te combineren, ontdekten de onderzoekers dat ze modellen aanzienlijk konden verkleinen zonder ze kapot te maken, en in sommige gevallen zelfs slimmer konden maken dan hun grotere, ongecomprimeerde versies.

De reis naar deze ontdekking begon bij het kijken naar hoe deze modellen worden getraind. Training is de duurste fase, waarbij de computer miljarden getallen moet aanpassen om te leren van data. De onderzoekers realiseerden zich dat de standaardinstrumenten die worden gebruikt om dit leerproces te begeleiden, te zwaar en te traag waren. Ze ontwikkelden een nieuwe methie die de Trinity direct op het trainingsproces zelf toepast. Door de manier waarop de computer zijn volgende stap berekent te vereenvoudigen, waren ze in staat om de training van grote modellen bijna te verdubbelen ten opzichte van de beste bestaande methoden. Ze bereikten dit door een mix te gebruiken van ijle (sparse) berekeningen, vereenvoudigde getallen en een laag-rang benadering (low-rank approximation) die de computer in staat stelde om onnodig werk over te slaan terwijl hij nog steeds het juiste pad naar een oplossing vond. Dit betekende dat de tijd en energie die nodig zijn om deze krachtige modellen te creëren, drastisch kunnen worden verminderd.

Zodima een model is getraind, moet het worden gecomprimeerd voor echt gebruik, waarbij geheugen en snelheid nog kritischer zijn. Hier pakten de onderzoekers het probleem van "gecomponeerde fouten" aan. Wanneer je probeert een model te comprimeren met slechts één methode, stapelen de fouten zich op totdat het model stopt met werken. Het team liet zien dat door de Trinity in een specifieke volgorde toe te passen, ze dit instorten konden voorkomen. Eerst gebruikten ze een wiskundige techniek om de absolute beste manier te vinden om de helft van de verbindingen van het model te verwijderen zonder de prestaties te schaden. Dit creëerde een stabiele, ijle basis. Daarna verminderden ze de precisie van de resterende getallen om ruimte te besparen. Ten slotte voegden ze een kleine, wiskundig afgeleide laag van extra informatie toe om de fouten te herstellen die werden veroorzaakt door de verwijdering en vereenvoudiging. Deze laatste stap was cruciaal; het fungeerde als een reparatieteam dat de gaten opvulde die door de compressie waren achtergelaten, zodat het model zijn vermogen behield om te redeneren en te begrijpen.

De resultaten van deze aanpak waren opmerkelijk. Bij tests op modellen met miljarden parameters produceerde de gecombineerde methode modellen die acht keer kleiner waren dan het origineel, maar even goed of soms zelfs beter presteerden op een breed scala aan taken. In directe vergelijkingen presteerden deze gecomprimeerde modellen aanzienlijk beter dan andere geavanceerde compressietechnieken, waarbij de nauwkeurigheid in sommige gevallen met bijna zes procent verbeterde. Misschien wel het meest verrassend was dat toen de onderzoekers hun gecomprimeerde modellen vergeleken met ongecomprimeerde modellen van dezelfde grootte, de gecomprimeerde versies feitelijk nauwkeuriger waren. Dit suggereert dat het proces van het zorgvuldig verwijderen van de redundante delen van het model en het vervangen daarvan door een slimme, laag-rang correctie, het model er daadwerkelijk toe helpt zich te concentreren op wat het belangrijkst is.

De onderzoekers verkenden ook hoe deze technieken kunnen worden aangepast voor verschillende soorten hardware. Ze ontdekten dat door het model toe te staan sommige delen dicht (dense) en andere ijl (sparse) te houden in een flexibel patroon, ze een continu evenwicht tussen snelheid en nauwkeurigheid konden bereiken. Deze flexibiliteit betekende dat de modellen zo afgesteld konden worden dat ze efficiënt draaien op alles van krachtige datacenter-servers tot consumenten-grafische kaarten. Het werk omvatte ook een nieuwe manier om modellen te trainen die al ijl zijn, waardoor wordt gegarandeerd dat het leerproces vanaf de eerste stap efficiënt is. Deze aanpak betekende dat het model snel kon leren met ijle verbindingen en pas aan het einde van de training de noodzakelijke complexiteit kon toevoegen, wat gedurende het hele proces tijd en energie bespaart.

Hoewel de resultaten veelbelovend zijn, merken de onderzoekers er voorzichtig bij op dat hun methoden momenteel zijn geoptimaliseerd voor specifieke soorten computerchips, met name die van NVIDIA die speciale hardware hebben om ijle data te verwerken. Ze erkennen dat het overbrengen van deze technieken naar andere soorten hardware of algemene processors verdere engineering vereist. Ze wijzen er ook op dat hoewel de modellen goed presteren op standaardtests, er een noodzaak is om te waarborgen dat het compressieproces niet onbedoeld de bekwaamheid van het model schaadt om diverse talen of culturele contexten te begrijpen, aangezien het verwijderen van delen van het model de kennis over ondervertegenwoordigde groepen onevenredig kan beïnvloeden.

Uiteindelijk suggereert dit werk dat de toekomst van efficiënte kunstmatige intelligentie niet ligt in het kiezen tussen één compressiemethode of een andere, maar in het samenweven van deze methoden. De "Compression Trinity" biedt een blauwdruk voor het bouwen van modellen die dicht zijn in kennis, maar ijl in berekening. Door efficiëntie te behandelen als een meerdimensionale balansact in plaats van een enkel optimalisatieprobleem, hebben de onderzoekers aangetoond dat het mogelijk is om kunstmatige intelligentie te creëren die zowel krachtig als praktisch is. Hun bevindingen geven aan dat de barrières voor het inzetten van deze modellen op alledaagse apparaten niet fundamentele limieten van de natuurkunde of wiskunde zijn, maar eerder een kwestie zijn van het vinden van de juiste combinatie van instrumenten. Naarmate het vakgebied vordert, zou deze geïntegreerde aanpak de standaard kunnen worden voor het toegankelijk, duurzaam en klaar voor de echte wereld maken van grote taalmodellen.