PixelPrune: Pixel-Level Adaptive Visual Token Reduction via Predictive Coding

PixelPrune is een trainingsvrije, pixelgebaseerde methode die redundante beeldpatches via voorspellende codering verwijdert voordat ze de Vision Transformer bereiken, waardoor de inferentie- en trainingsnelheid van Vision-Language Modellen aanzienlijk wordt versneld zonder in te leveren op de nauwkeurigheid.

De kern

PixelPrune: De Slimme "Vuilnisbak" voor Beelden in AI

Stel je voor dat je een Vision-Language Model (een slimme AI die zowel kan kijken als lezen) een document of een schermafbeelding van een computerprogramma laat bekijken. Voor de AI is zo'n afbeelding niet één plaatje, maar een gigantisch legpuzzel van duizenden kleine vierkante stukjes (we noemen ze 'patches').

Het probleem? De AI moet elk van die stukjes analyseren, zelfs als ze helemaal hetzelfde zijn.

• Denk aan een document met een grote witte rand.
• Denk aan een app-scherm met een grote blauwe balk bovenaan.

De AI kijkt naar die witte rand en denkt: "Oh, hier is een stukje wit. En hier nog een stukje wit. En hier nog een..." Het besteedt kostbare tijd en rekenkracht aan het analyseren van duizenden identieke witte vierkantjes. Dat is net als een kok die 100 keer hetzelfde stukje brood snijdt en telkens apart proeft, terwijl hij maar één keer hoeft te proeven om te weten dat het brood is.

Wat is PixelPrune?

De onderzoekers van OPPO hebben PixelPrune bedacht. Dit is een slimme truc die werkt voordat de AI überhaupt begint met rekenen. Het is als een slimme filter die het beeld bekijkt en zegt: "Wacht even, dit stukje is exact hetzelfde als het stukje ernaast. We hoeven dat niet te sturen naar de AI."

Het werkt met een principe dat we al kennen van het comprimeren van foto's (zoals bij PNG-bestanden): Voorspellen.

De Analogie: De Slimme Buurman

Stel je voor dat je een lange rij mensen hebt die een tekening moeten maken.

• De oude manier: Iedereen in de rij moet zijn eigen stukje van de tekening maken en het aan de meester (de AI) geven, ook al tekent de persoon links van jou precies hetzelfde als jij.
• De PixelPrune-methode: De meester kijkt naar de persoon links van jou. Als die persoon een wit vlak tekent, zegt de meester tegen jou: "Jij hoeft niets te tekenen, je bent gewoon een kopie van je buurman."
  • Als jij inderdaad hetzelfde tekent, mag je rustig zitten (je wordt "gepruned" of verwijderd).
  • Als jij iets anders tekent (bijvoorbeeld een letter of een knopje), dan moet je wel je werk laten zien.

De AI krijgt dus alleen de "nieuwe" of "interessante" stukjes te zien. De saaie, herhalende stukjes (zoals witte randen of blauwe balken) worden eruit gehaald.

Waarom is dit zo cool?

1. Het is gratis en snel: PixelPrune heeft geen extra training nodig. Het werkt direct op de ruwe pixels, voordat de zware AI-neuralen erbij komen. Het is alsof je de lading van een vrachtwagen vermindert voordat de motor start.
2. Het werkt perfect voor documenten en apps: Documenten en computerinterfaces zitten vol met uniforme vlakken. PixelPrune kan hier tot wel 93% van de stukjes weglaten zonder dat de AI iets mist!
3. Versnelling: Omdat de AI minder stukjes hoeft te verwerken, gaat alles veel sneller.
   • Inference (gebruik): Het kan tot 4,2 keer sneller zijn.
   • Training (leren): Het kan tot 1,9 keer sneller zijn om de AI te trainen.
   • Geheugen: Het bespaart tot 33% aan geheugen, waardoor je grotere modellen kunt draaien op dezelfde hardware.

Samenvattend

PixelPrune is als een slimme redacteur die een lang, saai manuscript leest en alle herhalingen verwijdert voordat het naar de uitgever (de AI) gaat. Het resultaat? De uitgever leest het verhaal net zo goed, maar het kost hem de helft minder tijd en inspanning. Voor documenten en computerinterfaces, waar veel herhaling voorkomt, is dit een game-changer voor snelheid en efficiëntie.

Technische samenvatting

Probleemstelling

Vision-Language Models (VLMs) zoals Qwen-VL presteren uitstekend in taken zoals documentbegrip en GUI-interactie, maar ze kampen met een enorme computationele last. Deze last ontstaat omdat deze taken vaak hoge resolutie vereisen voor fijnmazige tekst en kleine UI-elementen.

• Token-explosie: Een enkele documentpagina kan na voorverwerking tienduizenden visuele tokens genereren (bijv. >14.000 patches voor een standaard pagina).
• Inefficiëntie: Bestaande methoden voor tokenreductie werken meestal op semantisch of feature-niveau (na de Vision Transformer of ViT). Ze negeren echter de fundamentele redundantie die al op pixel-niveau aanwezig is.
• Observatie: De auteurs stellen vast dat in documenten en GUI-schermen een groot deel van de afbeelding bestaat uit uniforme gebieden (witte marges, solide kleuren, toolbars). Analyse toont aan dat slechts 22–71% van de image patches "pixel-uniek" is; de rest is exact identiek aan een andere patch in dezelfde afbeelding.
• Bottleneck: Bij moderne VLMs (zoals Qwen3-VL) neemt de inferentielatentie van de Vision Encoder (ViT) tot wel 86% van de totale tijd in beslag bij hoge resoluties, omdat de attention-complexiteit kwadratisch groeit met het aantal patches. Bestaande methoden versnellen vaak alleen de LLM-decoder, niet de ViT-encoder zelf.

Methodologie: PixelPrune

PixelPrune is een trainingsvrije (training-free) methode die redundante visuele tokens verwijdert voordat ze de Vision Transformer binnenkomen. Het maakt gebruik van predictive coding, een principe dat ook wordt gebruikt in verliesvrije compressieformaten zoals PNG en JPEG-LS.

Kernprincipes:

1. Pixel-niveau Redundantie: In plaats van features te analyseren, kijkt PixelPrune naar de ruwe pixelwaarden van patches.
2. Predictive Coding: De afbeelding wordt in blokken (patches) van $M \times p \times p$ pixels onderverdeeld (bijv. 32x32 pixels). Deze blokken worden in een vaste volgorde gescand.
3. Voorspelling en Verwijdering: Voor elk blok wordt een voorspelling gedaan op basis van de al bezochte "causale" buren (links, boven, links-boven).
   • Als de voorspelling exact overeenkomt met het huidige blok (binnen een drempelwaarde $\tau$), wordt het blok gemarkeerd als redundant en verwijderd.
   • Als er een verschil is, wordt het blok behouden.
4. Voorspellingsstrategieën:
   • Raster: Lineair scannen, voorspellen van de directe voorganger (1D).
   • Serpentine: Scannen met afwisselende richting per rij (beter voor verticale continuïteit).
   • Pred-2D (Standaard): Scannen in rastervolgorde, maar voorspellen op basis van drie buren (links, boven, links-boven) met een selectieregel die lijkt op de median-edge predictor. Dit benut zowel horizontale als verticale redundantie het beste.
5. Positiebehoud: Behouden patches behouden hun oorspronkelijke 2D-coördinaten. Dit is cruciaal omdat de ViT en de LLM posities gebruiken voor positionele encoding (zoals RoPE en MRoPE). Er wordt geen herschaling van de sequentie gedaan.
6. Verliesvrij vs. Verliesbeperkt:
   • $\tau = 0$: Strikte pixel-gelijkheid (verliesvrij). De ontbrekende patches kunnen exact worden gereconstrueerd door de decoder.
   • $\tau > 0$: Toestaat van kleine verschillen (bijv. compressie-artefacten of ruis), wat leidt tot nog hogere compressie, maar met een beperkte reconstructiefout.

Belangrijkste Bijdragen

1. Kwantificering van Redundantie: De auteurs tonen aan dat pixel-niveau redundantie een krachtig signaal is voor tokenreductie in gestructureerde domeinen (documenten/GUI), waarbij tot 78% van de tokens als redundant kan worden beschouwd.
2. Parameterloze Pre-ViT Reductie: PixelPrune is een methode zonder leerbare parameters die werkt vóór de ViT-encoder. Hierdoor wordt de hele inferentie-pipeline versneld (ViT, Patch Merger én LLM), in tegenstelling tot bestaande methoden die alleen de LLM versnellen.
3. Theoretische Garanties: Voor $\tau=0$ wordt gegarandeerd dat de originele afbeelding exact kan worden gereconstrueerd vanuit de gecomprimeerde representatie.
4. Integratie in Training: De methode kan niet alleen voor inferentie worden gebruikt, maar ook tijdens training (vanaf nul of via kennisdistillatie), wat leidt tot aanzienlijke trainingssnelheidsverbeteringen.

Resultaten

De methode is getest op het Qwen3-VL-model (2B, 4B, 8B) op document- en GUI-benchmarks.

Inferentie:

• Snelheid: Tot 4.2x versnelling in Time-to-First-Token (TTFT) en totale inferentie-tijd.
• Efficiëntie: Tot 6.6x reductie in FLOPs en 45–63% minder KV-cache geheugenverbruik.
• Nauwkeurigheid:
  • Documenten: PixelPrune behaalt vergelijkbare nauwkeurigheid als het volledige model (Full) zonder enige training, zelfs met een tokenreductie van 23–50%.
  • GUI: Zonder training is er een kleine daling in nauwkeurigheid bij positionele taken, maar door kennisdistillatie (KD) wordt dit grotendeels hersteld (bijv. 47.6% vs 50.2% op ScreenSpot Pro).

Training:

• Bij training vanaf nul (from scratch) resulteert PixelPrune in een 1.9x versnelling van de trainingstijd (van 49.1 uur naar 25.3 uur) en een 33.6% reductie in piek-geheugengebruik (GPU VRAM).
• Modellen getraind met gereduceerde tokens presteren net zo goed (of zelfs iets beter) bij inferentie met volledige tokens, wat wijst op goede generalisatie.

Vergelijking met Baselines:
PixelPrune overtreft methoden zoals willekeurige selectie (Random), resize (verkleinen van de afbeelding) en connectiviteitsgebaseerde methoden (ConnComp) aanzienlijk in nauwkeurigheid bij gelijke tokenbudgetten.

Betekenis en Impact

PixelPrune adresseert een fundamenteel blind punt in de optimalisatie van VLMs: de inefficiëntie van het verwerken van visuele data voordat deze de neurale netwerken binnenkomt.

• Schaalbaarheid: Het maakt het haalbaar om VLMs toe te passen op extreem hoge resoluties (zoals volledige documentpagina's of complexe GUI's) zonder dat de rekentijd exponentieel toeneemt.
• Hardware-onafhankelijkheid: Omdat het werkt op pixel-niveau en geen extra trainingsparameters vereist, is het direct toepasbaar op bestaande modellen en hardware.
• Toekomstperspectief: Het opent de deur voor efficiëntere multimodale systemen die minder energie verbruiken en sneller reageren, wat essentieel is voor real-time applicaties zoals GUI-agenten en documentanalyse in productieomgevingen.

Kortom, PixelPrune bewijst dat het elimineren van visuele redundantie op het laagste mogelijke niveau (pixels) de meest effectieve manier is om Vision-Language Models te versnellen, zonder in te leveren op de kwaliteit van de output.