TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

Stel je een computer voor die probeert een foto te begrijpen. Om dit te doen, breekt de machine de afbeelding af in duizenden kleine stukjes en behandelt elk stukje als een afzonderlijke eenheid van informatie. Naarmate deze modellen geavanceerder zijn geworden, hebben ze geleerd deze stukjes met ongelooflijk detail te verwerken, maar dit gaat gepaard met een hoge prijs. Hoe gedetailleerder de afbeelding, hoe meer stukjes de computer in zijn kortetermijngeheugen moet vasthouden om ze te kunnen begrijpen. Dit creëert een flessenhals: de computer raakt de ruimte kwijt of doet er te lang over om na te denken, vooral wanneer de afbeelding een hoge resolutie heeft of wanneer het gesprek om een lang, gedetailleerd antwoord vraagt. Jarenlang hebben onderzoekers geprobeerd dit op te lossen door de computer te leren de minder belangrijke stukjes van de afbeelding te negeren, in de hoop de slimme stukjes te behouden en de rest weg te gooien.

Echter, een nieuwe studie suggereert dat de manier waarop wetenschappers deze "negeer"-strategieën hebben getest, fundamenteel gebrekkig is geweest. Lange tijd vertrouwde het vakgebied op tests waarbij de computer alleen een enkel woord antwoord hoefde te geven, zoals het kiezen van een letter uit een meerkeuzelijst of het zeggen van "ja" of "nee". De onderzoekers achter dit nieuwe werk, genaamd TwinPrune, ontdekten dat deze eenvoudige tests alleen meten hoe goed de computer de afbeelding begrijpt aan het begin van het proces. Ze slagen er niet in te detecteren wat er gebeurt wanneer de computer moet blijven praten en zijn geheugen gebruikt om lange zinnen te genereren. Sterker nog, de studie laat zien dat een methode perfect kan lijken op deze eenvoudige tests, terwijl hij volledig faalt wanneer er een langere beschrijving wordt gevraagd, omdat de eenvoudige tests het geheugendeel van het proces nooit echt controleren.

Om dit op te lossen, ontwikkelde het team een nieuwe manier om te beslissen welke stukjes van een afbeelding het waard zijn om te houden. In plaats van te kijken naar hoeveel een stukje van de afbeelding opvalt bij een specifieke vraag, keken ze naar hoe uniek een stukje is in vergelijking met zijn directe buren. Als een deel van de afbeelding er zeer vergelijkbaar uitziet met de delen eromheen, is het waarschijnlijk overbodig en kan het veilig worden verwijderd. Als het er anders uitziet, bevat het waarschijnlijk belangrijke informatie. Deze "densiteit"-score wordt eenmaal aan het begin berekend en vervolgens voor twee verschillende taken gebruikt. Ten eerste helpt het de computer om vergelijkbare stukjes van de afbeelding samen te voegen voordat hij begint met denken, wat rekenkracht bespaart. Ten tweede helpt het de computer te beslissen welke stukjes informatie hij uit zijn geheugen moet gooien terwijl hij een lang antwoord schrijft, zodat hij de meest unieke en nuttige details behoudt.

De onderzoekers testten deze aanpak op verschillende soorten visuele taalmodellen, variërend van kleinere tot massieve systemen met miljarden parameters. Ze vergeleken hun methode met de sterkste bestaande technieken met behulp van zowel de oude, eenvoudige tests als de nieuwe, veeleisendere tests die lange antwoorden vereisen. Op de eenvoudige tests presteerde hun methode net zo goed als de beste concurrenten. Maar op de veeleisende tests, waarbij de computer volledige zinnen moest genereren, was het verschil groot. Terwijl andere methoden ervoor zorgden dat de nauwkeurigheid van de computer instortte wanneer er werd gevraagd om beknopt te zijn, behield de nieuwe methode een hoge nauwkeurigheid, zelfs wanneer slechts een fractie van de oorspronkelijke afbeeldingsgegevens werd behouden. Zo presteerde de nieuwe methode op een specifieke benchmark met betrekking tot tekst in afbeeldingen bijna tien procentpunten beter dan de op één na beste techniek, wanneer het geheugen strikt beperkt was.

Misschien wel het belangrijkste is dat de studie onthulde dat de oude manier van testen een groot probleem verborg. Wanneer de onderzoekers tijdens de schrijffase alle visuele geheugens uit de computer verwijderden, vertoonden de eenvoudige tests bijna geen verandering in prestaties, terwijl de tests met lange antwoorden een enorme daling in kwaliteit lieten zien. Dit bewees dat de eenvoudige tests blind waren voor precies datgene wat het meest belangrijk is voor gebruik in de echte wereld: het vermogen om informatie te onthouden en op te halen tijdens een lang gesprek. De nieuwe methode, door een enkele, consistente regel te gebruiken om zowel het initiële denken als het langetermijngeheugen te beheren, slaagde erin de initiële verwerking van de computer met meer dan drie keer te versnellen en tegelijkertijd de geheugenvoetafdruk aanzienlijk te verkleinen.

De bevindingen suggereren dat het vakgebied heeft geoptimaliseerd voor de verkeerde metriek. Door de focus te verschuiven naar tests die volledige, langere antwoorden vereisen, hebben de onderzoekers aangetoond dat het mogelijk is om deze krachtige computers veel sneller en efficiënter te maken zonder hun vermogen om complexe scènes te begrijpen op te offeren. De aanpak werkt consistent over verschillende modelgroottes, van kleine apparaten tot de grootste supercomputers, en vereist niet dat de computer opnieuw wordt getraind. Het biedt een praktisch pad vooruit voor het inzetten van deze geavanceerde systemen op alledaagse apparaten, waardoor ze in staat zijn om hoge-resolutie afbeeldingen en lange gesprekken aan te kunnen zonder de kracht te verliezen.