VQ-bench: A Composable Vector Quantization Framework

Stel je voor dat je een enorme bibliotheek met boeken probeert te proppen in een piepkleine rugzak. Je kunt niet de hele bibliotheek meenemen, dus moet je slim zijn. Je zou elk boek kunnen samenvatten in één zin, of misschien alleen een lijst van de belangrijkste trefwoorden bijhouden. In de wereld van kunstmatige intelligentie wordt dit "rugzakprobleem" vectorquantisatie genoemd. In plaats van boeken hebben AI-systemen het over "vectoren"—lange lijsten met getallen die dingen vertegenwoordigen zoals de betekenis van een zin, een gezicht op een foto, of de herinnering aan een gesprek. Deze lijsten zijn enorm groot en nemen veel ruimte in beslag. Om AI sneller en goedkoper te maken, proberen wetenschappers deze lijsten te verkleinen tot minuscule codes, zoals het omzetten van een roman van 1.000 pagina's in een telefoonnummer van 10 cijfers.

Het lastige deel is dat wanneer je iets verkleint, je meestal wat detail verliest. Het doel is om iets zo veel mogelijk te verkleinen zonder het vermogen te verliezen om vragen correct te beantwoorden. Als je bijvoorbeeld een AI vraagt: "Wat is het meest vergelijkbare verhaal met dit ene?", moet de AI het juiste antwoord kunnen vinden, zelfs als hij alleen naar de kleine, ingekrompen codes kijkt. Decennialang hebben onderzoekers verschillende manieren uitgevonden om dit te verkleinen, maar ze spraken allemaal verschillende talen. Sommigen meten succes op basis van hoe goed het verhaal wordt herinnerd, anderen op basis van hoe snel de zoekopdracht is, en ze testen allemaal op verschillende bibliotheken. Het is also': de snelheid van een Ferrari, een fiets en een raket vergelijken wanneer ze allemaal op verschillende banen rijden met verschillende finishlijnen.

Hier komt het nieuwe artikel, VQ-bench, kijken om orde te scheppen in de chaos. De auteurs, Ashwin Padaki, Amir Ingber en Edo Liberty, realiseerden zich dat bijna al deze verschillende inkrimingsmethoden eigenlijk zijn gebouwd van dezelfde kleine Lego-blokjes. Ze noemen deze blokjes "primitieven". Denk aan deze primitieven als basiskeukengereedschap: een blender (om dingen te mengen), een zeef (om onderdelen te scheiden), een weegschaal (om te wegen) en een molen (om dingen kleiner te maken). Het artikel stelt dat elke complexe quantisatiemethode slechts een specifiek recept is van deze gereedschappen die aan elkaar geketend zijn.

Het team heeft een nieuw open-source framework gebouwd genaamd VQ-bench dat fungeert als een universele keuken. In plaats van te discussiëren over wiens recept het beste is, kunnen ze nu elke methode nemen, afbreken in hun Lego-blokjes en deze door dezelfde keuken laten lopen om precies te zien hoe deze presteert. Ze identificeerden 7 veelvoorkomende bouwstenen (zoals het "centreren" van de data, het "roteren" van de data om het gelijkmatig te maken, of het "afronden" van getallen naar gehele getallen) en lieten zien dat 25 verschillende beroemde methoden slechts verschillende combinaties van deze blokken zijn. Bijvoorbeeld, een methode genaamd "Product Quantization" is simpelweg het "opdelen van de data in stukjes" en vervolgens "het vinden van de dichtstbijzijnde match" voor elk stukje.

Door dit verenigde systeem te gebruiken, hebben de auteurs 14 verschillende methoden getest op 5 verschillende datasets (verzamelingen van AI-data) om te zien welke er echt het beste werken. Ze keken niet alleen naar hoe klein de bestanden werden; ze maten ook hoe goed de AI nog steeds de juiste antwoorden kon vinden, hoeveel geheugen het gebrude en hoe lang het duurde om te draaien. Hun bevindingen suggereren dat hoewel sommige ouderwetse methoden snel zijn, ze vaak te veel kwaliteit verliezen. Aan de andere kant lijken nieuwere methoden zoals EDEN en E-RaBitQ de beste balans te bieden, waarbij ze hoogwaardige resultaten leveren zonder dat daar te veel rekenkracht voor nodig is.

Belangrijk is dat het artikel verduidelijkt dat dit framework is ontworpen voor "post-training" quantisatie—het verkleinen van modellen die al gebouwd zijn. Het laat "quantization-aware training" expliciet buiten beschouwing, wat een ander, complexer proces is waarbij de AI wordt geleerd zichzelf te verkleinen terwijl hij leert. De auteurs merken zorgvuldig op dat hoewel hun framework een enorme stap voorwaarts is voor het vergelijken van methoden, het geen toverstaf is die elk algoritme perfect maakt; sommige methoden draaien misschien langzamer in hun systeem vanwege de extra lagen organisatie, zelfs als ze in een op maat gemaakte versie sneller zouden zijn.

Kortom, VQ-bench heeft niet alleen een nieuwe manier uitgevonden om data te verkleinen; het heeft een nieuwe manier uitgevonden om over alle manieren waarop data wordt verkleind te praten. Door een rommelige stapel verschillende technieken te veranderen in een schoon, modulair systeem, helpt het onderzoekers om duidelijk te zien welke ideeën werkelijk nieuw zijn en welke slechts oude ideeën zijn met een nieuw jasje. Het resultaat is een helderder pad vooruit voor het bouwen van AI die zowel krachtig als efficiënt is, zonder de weg kwijt te raken in de ruis van tegenstrijdige rapporten.