CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models

Technische Samenvatting: CLIP bedriegt je: Trainingsvrije Token-Pruning voor Efficiënte Pixel-Grounding in Grote Vision-Language Modellen

Probleemstelling
Grote Vision-Language Modellen (LVLM's) ondervinden aanzienlijke rekenkundige overhead door de enorme hoeveelheid visuele tokens die ze verwerken, welke vaak de teksttokens met een grote marge overtreffen (bijvoorbeeld 576 visuele tokens versus <100 teksttokens in LLaVA). Hoewel recente token-pruning-methoden deze last voor algemene beeldbegripstaken succesvol hebben verminderd, kampen ze met problemen bij pixel-grounding-taken, zoals segmentatie op basis van verwijzende uitdrukkingen. Bestaande benaderingen vertrouwen doorgaans op tekst-agnostische visuele belangrijkheid (bijvoorbeeld gelijkenis met een globale [CLS]-token) of gaan ervan uit dat hoge visueel-tekstgelijkenis relevantie aangeeft. De auteurs stellen echter vast dat deze methoden tokens binnen de specifieke referentieregio's, gedefinieerd door de invoer tekst, niet behouden, wat leidt tot verslechterde segmentatieprestaties.

Methodologie: LiteLVLM
Het artikel introduceert LiteLVLM, een trainingsvrije, tekstgeleide token-pruningstrategie die specifiek is ontworpen voor efficiënte pixel-grounding. De methode is gebaseerd op een diepgaande analyse van het CLIP-model, waarbij twee kritieke fenomenen worden blootgelegd:

1. Omkering van Visueel-Tekstgelijkenis: In tegenstelling tot wat intuïtief zou worden verwacht, vertonen visuele tokens die zich binnen de referentieregio's bevinden (de objecten die door de tekst worden beschreven) een lage gelijkenis met de tekstreprezentatie (specifiek de [EOS]-token) in CLIP. Daarentegen corresponderen tokens met hoge gelijkenis vaak met de achtergrond of globale context. Dit wordt toegeschreven aan het contrastieve pretraining van CLIP, dat globale embeddings aligneert maar gelokaliseerde objectdetails minder goed aligneert met de globale tekstvector.
2. Tekst-Aandacht-Sink: De analyse toont aan dat de [EOS]-token in CLIP een sterke "attention sink"-bias vertoont, waarbij het merendeel van zijn aandacht naar de [SOS]-token (start van de zin) wordt gericht in plaats van naar de semantische inhoud van de verwijzende uitdrukking. Dit gebrek aan rijke semantische focus in de [EOS]-token verergert de omkering van de gelijkenis.

Op basis van deze inzichten hanteert LiteLVLM een selectieproces in twee fasen:

• Gelijkenis-bewuste Selectie: In plaats van tokens met hoge gelijkenis te behouden, selecteert LiteLVLM visuele tokens met de laagste gelijkenis met de [EOS]-token. Deze tokens blijken empirisch ruimtelijk uitgelijnd te zijn met de referentieregio's, waardoor cruciale lokale aanwijzingen voor grounding worden behouden.
• Context-bewuste Herstelling: Om het verlies van globale context en achtergrondinformatie te voorkomen, die noodzakelijk zijn voor een duidelijke scheiding tussen voorgrond en achtergrond, herstelt de methode aanvullende tokens op basis van hun bijdrage aan de [CLS]-token (gemeten via attention-gewogen waardevectoren).
• Adaptieve Selectie: Een adaptieve strategie balanceert het budget dynamisch tussen gelijkenis-bewuste (laag-gelijkenis) en context-bewuste tokens op basis van de invoer tekst, waardoor optimale prestaties worden gewaarborgd voor diverse verwijzende uitdrukkingen.

Belangrijkste Bijdragen

1. Identificatie van een Kritieke Tekortkoming: De auteurs tonen aan dat bestaande tekst-agnostische pruning-methoden en die welke vertrouwen op hoge visueel-tekstgelijkenis, slecht presteren bij pixel-grounding omdat ze juist de tokens verwijderen die nodig zijn om de referent te identificeren.
2. CLIP-Analyse: Het artikel biedt een nieuwe analyse van CLIP, waarbij de omkering van visueel-tekstgelijkenis en de attention sink-bias van de [EOS]-token worden onthuld, wat verklaart waarom standaard pruning-heuristieken falen voor grounding-taken.
3. LiteLVLM: Het voorstellen van de eerste trainingsvrije token-pruningmethode die specifiek is toegesneden op pixel-grounding. Het maakt gebruik van omgekeerde gelijkenisrangschikkingen om referent-specifieke tokens te behouden terwijl context wordt hersteld, zonder dat er fijnafstemming (fine-tuning) nodig is.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op beeld- en videobenchmarks, waaronder RefCOCO, RefCOCO+, RefCOCOg, Ref-DAVIS-17 en Refer-YouTube-VOS.

• Behoud van Prestaties: LiteLVLM presteert aanzienlijk beter dan state-of-the-art methoden (zoals TRIM, LLaVA-PruMerge, VisPruner). Op de RefCOCO+ testset behoudt het 90,3% van de oorspronkelijke prestaties terwijl het 66,7% van de visuele tokens pruneert (reductie van 576 naar 192 tokens). Zelfs met een reductie van 88,9% (64 tokens) handhaaft het een relatieve prestatiescore van 79,2%, waarmee het concurrenten met meer dan 10% overtreft.
• Video Grounding: Bij videosegmentatie behoudt LiteLVLM 99,5% van de oorspronkelijke prestaties met een tokenreductie van 65,9%, wat robuustheid tegen temporale redundantie aantoont.
• Efficiëntie: De methode bereikt een 22% versnelling van de inferentie en een 2,3× reductie in geheugenoverhead (opslag van activaties) ten opzichte van het vanilla-model. Het vermindert ook FLOPs met meer dan 2×.
• Generalisatie: De aanpak generaliseert effectief naar verschillende LVLM-architecturen (bijvoorbeeld Qwen2.5-VL) en visuele encoders (bijvoorbeeld SigLIP-2), wat bevestigt dat deze niet strak gekoppeld is aan de specifieke CLIP-implementatie die in de initiële analyse werd gebruikt.

Betekenis en Claims
Het artikel stelt dat LiteLVLM een praktische, kosteneffectieve oplossing biedt voor het implementeren van LVLM's op apparaten met beperkte middelen (edge-apparaten, beperkte servers) zonder afbreuk te doen aan de nauwkeurigheid van pixel-level grounding. Door de standaard intuïtie van tokenbelang in CLIP om te keren, maakt de methode efficiënte inferentie mogelijk terwijl hoge fideliteit in segmentatietaken wordt behouden. De auteurs benadrukken dat dit het eerste werk is dat token-pruning uitbreidt naar pixel-grounding voor zowel beeld- als videomodi, waarbij state-of-the-art resultaten worden bereikt zonder enige training of fijnafstemming.