FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference

Grote taalmodellen zijn de motoren achter een nieuwe generatie kunstmatige intelligentie, in staat om verhalen te schrijven, problemen op te lossen en gesprekken te voeren met een vloeiendheid die ooit onmogelijk leek. Deze systemen zijn gebouwd op enorme netwerken van wiskundige verbindingen, bekend als parameters, die als getallen in het geheugen van een computer worden opgeslagen. Hoe complexer het model, hoe meer geheugen het nodig heeft om te draaien. Ho wel deze modellen briljant presteren op krachtige datacentra, maakt hun enorme omvang ze moeilijk bruikbaar op alledaagse apparaten zoals laptops of smartphones, die veel minder opslag en rekenkracht hebben. Om dit gat te overbruggen, gebruiken ingenieurs een techniek genaamd kwantisatie. Dit proces vereenvoudigt de getallen binnen het model, waarbij de precisie wordt verminderd om ruimte te besparen. Deze vereenvoudiging is echter een delicaat compromis: als de getallen te agressief worden afgerond, vervaagt de intelligentie van het model en begint het fouten te maken of het vermogen om context te begrijpen te verliezen.

Jarenlang was de standaardaanpak voor dit probleem om elk deel van het model op dezelfde manier te behandelen. Ingenieurs pasten een uniform niveau van vereenvoudiging toe op het hele systeem, vergelijkbaar met het schuren van een houten beeldhouwwerk met dezelfde korrel schuurpapier over het hele oppervlak. Deze methode is eenvoudig, maar negeert een cruciale realiteit: niet alle onderdelen van een taalmodel zijn even belangrijk. Sommige secties van het netwerk zijn zeer gevoelig voor veranderingen, waarbij zelfs een minuscule fout de output kan ruïneren, terwijl andere secties robuust zijn en aanzienlijke vereenvoudiging kunnen verdragen zonder merkbaar kwaliteitsverlies. Recent onderzoek heeft aangetoond dat het toepassen van hetzelfde niveau van compressie op zowel gevoelige als robuuste gebieden dwingt tot een keuze tussen het verspillen van geheugen aan onderdelen die het niet nodig hebben, of het vernietigen van de intelligentie van het model door de onderdelen die dat wel nodig hebben, te veel te comprimeren.

Een team van onderzoekers heeft nu een nieuwe methode ontwikkend genaamd FAMPWQ die dit probleem oplost door elke laag van het model individueel te behandelen. In plaats van één regel voor het hele systeem toe te passen, meet hun aanpak hoe gevoelig elke specifieke laag is voor compressie voordat er wordt besloten hoeveel deze vereenvoudigd moet worden. Hiervoor gebruiken ze een wiskundig concept dat bekend staat als de Fisher-informatie, wat fungeert als een stresstest voor de interne structuur van het model. Ze introduceren een kleine, gesimuleerde verstoring in de getallen van een specifieke laag en observeren hoe de prestaties van het model in reactie daarop verschuiven. Als de prestaties scherp dalen, wordt de laag als gevoelig beschouwd en wordt deze met een hogere precisie behouden. Als de prestaties stabiel blijven, wordt de laag geïdentificeerd als robuust en wordt deze agressiever gecomprimeerd. Dit stelt het systeem in staat om de kritieke, delicate onderdelen van het model te behouden terwijl de redundante onderdelen agressief worden verkleind, waardoor een op maat gemaakte balans voor elk afzonderlijk model ontstaat.

Zodra de onderzoekers de gevoeligheid van elke laag in kaart hebben gebracht, gebruiken ze een leeralgoritme om te bepalen hoeveel bits aan precisie aan elk onderdeel wordt toegewezen. Dit algoritme fungeert als een strategische planner die zoekt naar de perfecte mix van hoge en lage precisie die binnen een strikte geheugenlimiet past, terwijl de intelligentie van het model intact blijft. Het doel is om een configuratie te vinden waarbij het totale geheugengebruik wordt geminimaliseerd, maar het verlies aan nauwkeurigheid zo laag mogelijk wordt gehouden. Door deze adaptieve strategie te gebruiken, waren de onderzoekers in staat om de grenzen van wat mogelijk is met gecomprimeerde modellen te verleggen. In tests op verschillende grote taalmodellen presteerde hun methode consequent beter dan bestaande technieken. Wanneer de modellen werden gecomprimeerd tot een gemiddelde van slechts drie bits per getal, produceerde de nieuwe aanpak resultaten die aanzienlijk nauwkeuriger waren dan die van andere methoden, waarbij sommige tests een vermindering van fouten met bijna 7 procent lieten zien.

De resultaten van dit werk suggereren dat de toekomst van het draaien van krachtige kunstmatige intelligentie op kleinere apparaten ligt in flexibiliteit in plaats van uniformiteit. De onderzoekers ontdekten dat door rekening te houden met de unieke behoeften van elk deel van het netwerk, zij een hoge prestatie konden handhaven, zelfs bij extreem lage geheugenvoetafdrukken. In directe vergelijkingen waarbij de modellen werden gevraagd de kwaliteit van hun eigen antwoorden te beoordelen, won de nieuwe methode tot 76 procent van de gevallen van andere leidende benaderingen. Dit geeft aan dat de modellen een veel dieper begrip van taal en logica behielden dan voorheen mogelijk werd geacht onder dergelijke strikte beperkingen. Hoewel de methode een initiële analyseperiode vereist om de beste instellingen te bepalen, is deze kostenpost een eenmalige uitgave die wordt terugverdiend door de mogelijkheid om deze geavanceerde modellen te draaien op hardware die voorheen te beperkt was om ze te ondersteunen. Het werk demonstreert dat door de kwetsbaarheid van de componenten van een systeem zorgvuldig te meten, we het veel effectiever kunnen comprimeren dan door een een-maat-past-iedereen-oplossing toe te passen.