Technische Samenvatting: Nüwa: Het herstellen van de ruimtelijke integriteit die gescheurd is door VLM Token Pruning

1. Probleemstelling

Vision Language Models (VLM's) genereren een aanzienlijk aantal visuele tokens tijdens de inferentie, wat leidt tot een hoge computationele overhead en een verminderde doorvoer. Hoewel token pruning een effectieve versnellingsmethode is geworden, vertonen bestaande methoden een kritieke beperking: ze presteren goed op Visual Question Answering (VQA) taken, maar lijden onder aanzienlijke prestatievermindering bij Visual Grounding (VG) taken.

De auteurs identificeren dat huidige pruning-strategieën, die vertrouwen op globale semantische gelijkenis of attention-scores, het globale ruimtelijke referentiekader verstoren. Dit referentiekader, afgeleid van de positionele informatie van tokens, is essentieel voor ruimtelijk redeneren en objectlokalisatie. Wanneer pruning-methoden tokens comprimeren of weggooien zonder dit ruimtelijke topologie te behouden, verliest het model het vermogen om objecten binnen een afbeelding nauwkeurig te lokaliseren, zelfs als het in staat blijft om algemene vragen over de inhoud van de afbeelding te beantwoorden.

2. Methodologie: Het Nüwa-framework

Om het verlies van ruimtelijke integriteit aan te pakken, stellen de auteurs Nüwa voor, een tweestaps, ruimtelijk-bewust token pruning-framework. De aanpak is ontworpen om globale ruimtelijke ankers te behouden terwijl redundante informatie wordt geaggregeerd, gevolgd door tekstgestuurde verfijning.

Fase 1: Ruimtelijke Cohesie Pruning (Vision Encoder)

Deze fase opereert direct na de vision encoder en reduceert de initiële $N^2$ visuele tokens tot een dichte, ruimtelijk-behoudende sequentie via drie operaties geïnspireerd door zwermintelligentie (specifiek Boids-algoritmen):

1. Separatie: De input token-grid wordt verdeeld in niet-overlappende lokale regio's ($M \times M$). Dit zorgt ervoor dat daaropvolgende selectie en aggregatie op regionaal niveau plaatsvinden, waardoor een volledig globaal coördinatensysteem behouden blijft.
2. Uitlijning (Salience Identificatie): Binnen elke regio worden representatieve "benchmark" tokens geselecteerd als aggregatiecentra. De selectiecriteria combineren:
   • Globale Attention: Scores van de [CLS] token.
   • Informatiecapaciteit: De L2-norm van de key-vector van de token ($\|k_i\|^2$).
   • Rationale: Tokens met een hoge norm fungeren vaak als "registers" (taak-agnostische ankers) in Vision Transformers. De methode identificeert tokens met de hoogste salience-scores om de Benchmark Token set ($T_B$) te vormen.
3. Aggregatie (Ruimtelijke Nabijheid): Kenmerken van naburige tokens worden samengevoegd in de benchmark-set.
   • Roltoewijzing: Tokens in $T_B$ worden geclassificeerd als Pillar Tokens (hoge L2-norm, bovenste kwartiel) of Collector Tokens. Pillar tokens behouden hun oorspronkelijke kenmerken om verschuivingen in de feature-distributie te voorkomen, terwijl Collector tokens kenmerken van buren aggregeren.
   • Gewogen Aggregatie: Een gewichtsmatrix wordt geconstrueerd met gebruik van zowel Semantische Gelijkenis (alleen positieve correlatie) als Ruimtelijke Nabijheid (Euclidische afstand binnen een drempelwaarde). Dit zorgt ervoor dat aggregatie lokaal plaatsvindt, wat object-gecentreerde representaties behoudt en het samenvoegen van ruimtelijk verre tokens voorkomt.

Fase 2: Tekst-gemoduleerde Pruning (LLM)

Na de multimodale feature-alignment worden de geaggregeerde visuele tokens gevoed aan het Large Language Model (LLM). In de tussenliggende lagen van de LLM vindt een tweede pruning-fase plaats:

• Een holistische tekstuele query-vector wordt afgeleid door de embeddings van teksttokens te middelen.
• Visuele tokens worden gescoord op basis van hun cosinus-gelijkenis met deze query-vector in de gedeelde embedding-ruimte.
• Alleen de top-$K$ meest relevante visuele tokens worden behouden voor de daaropvolgende redenering en responsgeneratie. Dit zorgt ervoor dat de uiteindelijke token-set zowel ruimtelijk coherent is (uit Fase 1) als taakrelevant (uit Fase 2).

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Taakspecifieke Analyse van VLM-pipelines: De auteurs analyseren systematisch de verwerkingspipelines van VLM's en onthullen dat VLM's opereren via een meerfasige pipeline die vordert van globale semantische integratie naar fijnmazige, object-gecentreerde focus. Ze demonstreren dat grounding-taken sterk afhankelijk zijn van het behoud van het Globale Ruimtelijke Referentiekader tijdens de middelste fasen van de verwerking, een vereiste die door bestaande pruning-methoden vaak over het hoofd wordt gezien.
2. Het Nüwa-framework: Zij introduceren een tweestaps pruning-framework dat:
   • De ruimtelijke topologie behoudt via regio-gebaseerde separatie en adaptieve aggregatie.
   • Globale ruimtelijke ankers behoudt door onderscheid te maken tussen "Pillar" en "Collector" tokens.
   • Tekstuele semantiek in de LLM benut voor fijnmazige, taakgerichte pruning.
3. Prestatievalidatie: Uitgebreide experimenten over 13 datasets en meerdere VLM's (LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL) tonen aan dat Nüwa nieuwe State-of-the-Art (SOTA) resultaten vestigt. Het bereikt 95% prestatiebehoud op VQA-benchmarks en 47,2% behoud op Visual Grounding-benchmarks (onder een reductie van 88,9% aan tokens), wat aanzienlijk beter is dan voorgaande methoden die vaak zakken naar enkel cijfers op VG-taken.

4. Experimentele Resultaten

• VQA Prestaties: Nüwa bereikt SOTA-prestaties op 10 VQA-benchmarks (bijv. GQA, MMB, MME), waarbij 94%–95% van de oorspronkelijke prestaties van het model behouden blijft met een reductie van wel 88,9% aan tokens.
• Visual Grounding Prestaties: Op de RefCOCO-serie benchmarks levert Nüwa substantiële verbeteringen op ten opzichte van bestaande methoden. Zo bereikt Nüwa onder een configuratie waarbij slechts 64 tokens worden behouden (88,9% reductie), 47,2% van de oorspronkelijke prestaties, terwijl methoden zoals VisionZip en SparseVLM respectievelijk dalen naar 7,28% en 1,88%.
• Efficiëntie: De methode vermindert TFLOPs met 89% en de prefill-tijd met 62%. De computationele overhead geïntroduceerd door de pruning-metrieken is verwaarloosbaar (slechts ~1ms toename in prefill-tijd vergeleken met SOTA-baselines).
• Ablatie-studies: Experimenten bevestigen dat regio-partitionering cruciaal is voor grounding-taken (wat een Relative Position Mapping Extension strategie mogelijk maakt), terwijl de L2-norm criterium de token-selectie over alle taken verbetert.

5. Betekenis en Claims

Het artikel claimt dat de degradatie van VLM's op grounding-taken hoofdzakelijk wordt gedreven door het verlies van het Globale Ruimtelijke Referentiekader tijdens token pruning. Door deze ruimtelijke integriteit te reconstrueren via een tweestaps proces dat een door zwermintelligentie geïnspireerde ruimtelijke aggregatie combineert met tekstgestuurde verfijning, "herstelt" Nüwa effectief de gescheurde ruimtelijke integriteit.

De auteurs benadrukken dat hun aanpak geen hertraining vereist (het is training-vrij) en compatibel is met bestaande VLM-architecturen en hardware-optimalisaties (bijv. FlashAttention). Het werk onderstreept dat efficiënte VLM-inferentie rekening moet houden met taakspecifieke vereisten, met name de noodzaak van ruimtelijke coherentie in grounding-taken, in plaats van enkel te vertrouwen op de reductie van semantische redundantie.