Index-Preserving Lightweight Token Pruning for Efficient Document Understanding in Vision-Language Models

Deze paper introduceert een lichtgewicht token-pruningframework dat door het filteren van niet-informatieve achtergrondgebieden de rekenkosten voor documentbegrip in vision-language modellen aanzienlijk verlaagt zonder de nauwkeurigheid te schaden.

De kern

Samenvatting: Een slimme manier om documenten sneller te lezen zonder details te verliezen

Stel je voor dat je een enorme, rommelige bibliotheek hebt met duizenden documenten. Je hebt een super-intelligente robot (een Vision-Language Model of VLM) die al deze documenten moet lezen en samenvatten. Het probleem is dat deze robot heel traag is als hij elk stukje papier bekijkt, inclusief de grote witte randen, de vlekken en de lege ruimte. Hij besteedt veel energie aan dingen die niets te zeggen hebben.

De auteurs van dit paper hebben een slimme oplossing bedacht die we "Index-Preserving Token Pruning" noemen. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Alles-En-Alles" Robot

Normaal gesproken kijkt de robot naar het hele document, alsof hij elke steen in een muur aanpakt om te zien of er een briefje achter zit. Dit kost enorm veel tijd en rekenkracht (FLOPs), vooral bij hoge resolutie. De robot wordt snel moe en traag.

2. De Oplossing: De "Slimme Scherpslijper"

De auteurs hebben een klein, lichtgewicht filter toegevoegd voordat de robot begint met lezen. Dit filter werkt als een slimme scherpslijper of een veiligheidscamera die alleen op de belangrijke dingen let.

• Stap 1: De Snelscan (De Classifier)
  De robot krijgt eerst een snelle blik op het document. Hij gebruikt een simpele "ja/nee"-detector om te zien: "Is dit stukje papier tekst?" of "Is dit gewoon een witte achtergrond?".

  • Vergelijking: Stel je voor dat je een brief leest. Je negeert automatisch de witte randen van het papier en concentreert je alleen op de zinnen. Dit filter doet precies dat, maar dan in milliseconden.

• Stap 2: De "Niet-Vergeten" Regels (Index Behoud)
  Dit is het belangrijkste en slimste deel van de uitvinding. Als je gewoon de witte stukken weggooit, raken de overgebleven stukjes tekst hun oorspronkelijke plek kwijt.

  • Vergelijking: Stel je voor dat je een puzzel maakt. Als je de randstukjes weggooit en de overgebleven stukjes dicht bij elkaar duwt, is de puzzel nog steeds op te lossen, maar de volgorde is verward. De robot weet dan niet meer welk woord links van welk woord staat.
  • De truc: Deze methode gooit de stukjes weg, maar houdt hun adreskaartje (index) vast. De robot weet dus nog steeds: "Ah, dit woord was oorspronkelijk op positie 10, en dit op positie 15." Zelfs als de ruimte ertussen leeg is, weet de robot waar het hoort. Dit is cruciaal voor het begrijpen van de lay-out van een document.

• Stap 3: De "Veiligheidsnet" (Max-Pooling)
  Soms is de "ja/nee"-detector wat onzeker en vergeet hij een klein stukje tekst dat net naast een witte rand ligt.

  • Vergelijking: Stel je voor dat je een net gebruikt om vissen te vangen. Soms glippen er kleine visjes doorheen. De auteurs voegen een max-pooling stap toe. Dit is alsof je het net iets ruimer maakt of de randen van de gevangen visjes iets uitrekt, zodat je zeker weet dat je geen belangrijke tekst vergeet. Het zorgt ervoor dat tekstblokken compleet blijven en niet in stukjes worden gesneden.

Wat is het resultaat?

Door deze drie stappen te combineren, gebeurt er iets magisch:

1. Snelheid: De robot moet nu maar 40% tot 60% minder werk doen. Hij negeert de "ruis" en focust alleen op de tekst. Het is alsof je van een traag vrachtwagentje naar een snelle sportauto wisselt.
2. Nauwkeurigheid: Omdat de robot de "adreskaartjes" (indices) van de tekst behoudt, raakt hij de betekenis niet kwijt. Hij leest net zo goed als voorheen, maar dan veel sneller.
3. Vergelijking met anderen: Andere methoden proberen vaak stukjes tekst te "samenvoegen" (zoals een puzzel samenvoegen tot één groot blok). Dat werkt goed voor het herkennen van een hond of een auto, maar niet voor het lezen van een contract. Als je de volgorde van woorden verandert, wordt de tekst onleesbaar. Deze nieuwe methode is de eerste die specifiek is ontworpen voor documenten waarbij de positie van de tekst net zo belangrijk is als de tekst zelf.

Conclusie in één zin

Deze paper introduceert een slimme manier om documenten te lezen waarbij we eerst de "vuile was" (witte achtergrond) wegdoen, maar de "kledingstukken" (tekst) hun oorspronkelijke plek in de kast laten, zodat de robot ze snel en foutloos kan vinden.

Technische samenvatting

Probleemstelling

Recente vooruitgangen in Vision-Language Models (VLM's) hebben de nauwkeurigheid bij taken voor documentbegrip (zoals documentlayout-parsing, sleutelinformatie-extractie en visuele vraag-antwoordtaken) aanzienlijk verbeterd. Een groot obstakel voor de praktische implementatie is echter de hoge rekenkosten bij het verwerken van hoog-resolutie documentafbeeldingen. Deze afbeeldingen bevatten vaak grote, niet-informatieve achtergrondgebieden die toch worden verwerkt door de zware visuele encoders van VLM's, wat leidt tot inefficiëntie zonder toegevoegde waarde voor de taak. Bestaande token-pruning-technieken uit het visuele domein zijn vaak niet optimaal voor documenten, omdat ze de ruimtelijke samenhang (layout) van tekst kunnen verstoren, wat essentieel is voor leesbaarheid en structuurbegrip.

Methodologie

De auteurs stellen een lichtgewicht pre-encoder token-pruning framework voor dat specifiek is ontworpen voor documentbegrip. De kern van de methode bestaat uit drie componenten:

1. Lichtgewicht Tekstgebied-classificatie:

   • Een binaire classifier wordt toegepast op afbeeldingspatches (voor het visuele encoderen) om te voorspellen of een patch tekst (foreground) bevat of een achtergrond is.
   • Dit filtert niet-informatieve gebieden uit voordat er zware berekeningen in de VLM plaatsvinden.

2. Indexbehoud (Index Preservation):

   • Dit is een cruciale innovatie. Na het verwijderen van achtergrondpatches worden de oorspronkelijke indexen van de overgebleven patches behouden.
   • In documentbegrip encodeert de positie van een token vaak cruciale semantische informatie (zoals de volgorde van tekst en de ruimtelijke layout). Als de indexen worden herschikt of verloren gaan, ontvangt de decoder onregelmatig samengestelde patches met verkeerde positionele informatie, wat de tekstherkenning ernstig schaadt.

3. Verfijning met Max-Pooling:

   • De patch-level classificatie kan soms gefragmenteerde resultaten opleveren waarbij delen van tekstgebieden per ongeluk worden verwijderd.
   • Om dit op te lossen, wordt een max-pooling-operatie toegepast op het binaire masker. Dit verbetert de ruimtelijke continuïteit en herstelt aangrenzende gebieden die door de classifier zijn gemist, waardoor de coherentie van de geselecteerde tekstgebieden toeneemt.

Belangrijkste Bijdragen

• Efficiëntie zonder kwaliteitsverlies: Het framework bereikt een aanzienlijke reductie in rekenkracht (FLOPs) terwijl de nauwkeurigheid voor documentbegriptaakken behouden blijft.
• Behoud van ruimtelijke samenhang: Het paper demonstreert dat het behoud van de originele token-indexen na pruning essentieel is voor succesvolle documentverwerking, in tegenstelling tot traditionele pruning-methoden die tokens herschikken.
• Vroege filtering: In tegenstelling tot methoden die tokens samenvoegen in latere lagen of in de taal-embeddingruimte, vindt de pruning plaats voordat de visuele encoder wordt gebruikt, wat de maximale efficiëntie garandeert.

Resultaten

De methode is geëvalueerd op real-world document benchmarks (CC-OCR dataset, inclusief CORD, SROIE, en LaTeX/HTML parsing) met verschillende Qwen2.5-VL modellen (3B, 7B, 32B, 72B parameters).

• Rekenkosten:
  • Alleen token-pruning reduceerde het aantal visuele tokens gemiddeld met 65,7%.
  • De combinatie van pruning en max-pooling resulteerde in een 40–60% reductie in FLOPs (Tera Floating-point Operations) over alle datasets.
  • Op de SROIE dataset (ontvangstbewijzen) daalde de FLOPs met ongeveer 80%.
• Nauwkeurigheid:
  • Pruning alleen leidde tot een significante daling in prestaties (tot -31% F1-score), wat aantoont dat het verliezen van tekstgebieden kritiek is.
  • Met de max-pooling verfijning werd deze daling sterk gemitigeerd. De prestaties bleven vergelijkbaar met het originele model (bijvoorbeeld slechts -0,8% tot +0,3% verschil in F1-score op CORD en SROIE).
• Vergelijking met bestaande methoden:
  • Bestaande methoden zoals ToMe (die tokens samenvoegt) presteerden slecht (lage ANLS en nauwkeurigheid) omdat ze de indexstructuur verstoren.
  • DocKylin (die Sobel-filtering gebruikt) presteerde beter dan ToMe maar slechter dan de voorgestelde methode, omdat het uitgaat van aannames over achtergrondpatronen die niet altijd gelden.
  • De voorgestelde methode ("Ours") behaalde de beste resultaten, dicht bij het originele model maar met veel minder rekenkracht.

Betekenis en Conclusie

Dit paper toont aan dat vroege, indexbehoudende token-pruning een veelbelovende richting is voor het efficiënt maken van Vision-Language Models voor documentanalyse. De belangrijkste inzichten zijn:

1. Agressieve filtering is mogelijk: Documenten hebben vaak grote achtergronden die veilig kunnen worden verwijderd.
2. Indexen zijn heilig: Voor layout-gevoelige taken is het behoud van de oorspronkelijke positie van tokens cruciaal; het herschikken van tokens is funest voor de prestaties.
3. Praktische toepasbaarheid: De methode is lichtgewicht en kan worden toegepast op bestaande VLM's zonder hun interne architectuur te hoeven wijzigen, wat leidt tot snellere inferentie en lagere energiekosten zonder in te leveren op de kwaliteit van de output.