CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference
CRISP is een pre-LLM, tekstgestuurd visueel token-pruning-framework dat een tweestaps-pipeline gebruikt om instructierelevante tokens te identificeren en de semantische diversiteit te vergroten, waarbij het een nauwkeurigheidsbehoud van meer dan 99,5% bereikt terwijl de inferentielatentie voor Large Vision-Language Models met meer dan 2x wordt verminderd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een mysterie probeert op te lossen, maar in plaats van een paar aanwijzingen krijg je een bibliotheek met miljoenen boeken die allemaal tegelijk openliggen. Dit is in essentie hoe moderne "Large Vision-Language Models" (LVLMs) werken. Dit zijn superintelligente computerprogramma's die een afbeelding kunnen bekijken en er vragen over kunnen beantwoorden, zoals een digitale detective. Om dit te doen, breken ze de afbeelding af in duizenden piepkleine digitale stukjes die "tokens" worden genoemd. Denk aan deze tokens als individuele puzzelstukjes. Het probleem is dat de computer probeert elk enkel stukje van de puzzel te lezen, zelfs de stukjes die alleen maar blauwe lucht of een lege vloer zijn, nog voordat hij überhaupt naar je vraag kijkt. Dit maakt het proces ongelooflijk traag en hongerig naar computerkracht, alsof je een hele encyclopedie probeert te lezen om erachter te komen welke kleur de halsband van de kat heeft.
Een tijdlang probeerden wetenschappers dit te versnellen door ofwel puzzelstukjes willekeurig weg te gooien (wat soms de halsband van de kat verwijderde) of door te wachten tot de computer al begonnen was met het lezen van het hele boek voordat er werd besloten wat er overgeslagen moest worden (wat te laat was om tijd te besparen). De grote vraag was: Zouden we de computer kunnen leren om eerst de vraag te bekijken, en dan pas de specifieke puzzelstukjes te kiezen die nodig zijn om de vraag te beantwoorden, zonder het hele systeem te vertragen?
Hier komt een nieuwe methode genaamd CRISP in beeld. Denk aan CRISP als een superefficiënte bibliothecaris die werkt voordat de detective zelfs maar begint met lezen. In plaats van de hele bibliotheek op tafel te smijten, luistert CRISP eerst naar je vraag. Als je vraagt: "Welke kleur heeft de handtas?", scant CRISP direct de afbeelding en pakt alleen de puzzelstukjes die de handtas en de directe omgeving ervan laten zien. Het stopt echter niet bij dat; het pakt ook een paar extra stukjes om er zeker van te zijn dat de achtergrondcontext (zoals de straat of de persoon die de tas vasthoudt) niet verloren gaat.
De onderzoekers achter CRISP ontdekten dat deze "eerst vragen, dan kijken"-aanpak veel slimmer is dan de oude "eerst kijken, dan vragen"-methoden. In hun tests toonden ze aan dat CRISP tot wel 88,9% van de visuele puzzelstukjes kon weggooien (het verminderen van de afbeelding van honderden tokens naar slechts 64 of 128) terwijl de nauwkeurigheid van de computer bijna exact hetzelfde bleef als wanneer hij de hele afbeelding had bekeken. Sterker nog, bij sommige tests was het zo goed in het vinden van de juiste aanwijzingen, dat het zelfs "hallucinaties" verminderde—die momenten waarop een AI dingen verzint die er niet zijn.
Het artikel voert expliciet een argument tegen twee gangbare manieren om dit vandaag de dag te doen. De ene manier is om simpelweg de meest "belangrijke" kijkende stukjes van een afbeelding te kiezen, ongeacht de vraag (tekst-agnostisch), wat de auteurs vergelijken met staren naar een schilderij voordat je weet waar je naar op zoek bent. De andere manier is om te wachten tot de computer diep in zijn denkproces zit voordat er stukjes worden verwijderd, wat de auteurs zeggen dat te veel energie verspilt omdat de computer dan al het zware werk heeft gedaan van het lezen van alles. CRISP verwerpt beide en bewijst dat je tegelijkertijd snel en slim kunt zijn door de pruning (het snoeien) te doen voordat het zware denkwerk begint.
De resultaten zijn gemeten en zeer specifiek. Op een populair model genaamd LLaVA-1.5 behield CRISP 99,5% van de oorspronkelijke prestaties terwijl het slechts 128 tokens gebruikte in plaats van de gebruikelijke 576. Op een nieuwer model, LLaVA-NeXT, behield het 96,9% van de prestaties met slechts 320 tokens. Misschien nog indrukwekkender is dat deze versnelling niet alleen de nauwkeurigheid behield; het verkortte de tijd die nodig is om een antwoord te krijgen met meer dan de helft. De auteurs suggereren dat deze methode een praktische, direct bruikbare oplossing is om deze slimme beeldlezende computers veel sneller en goedkoper te laten draaien, vooral op apparaten die niet over enorme hoeveelheden vermogen beschikken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.