Sculpting the Vector Space: Towards Efficient Multi-Vector Visual Document Retrieval via Prune-then-Merge Framework

Deze paper introduceert het 'Prune-then-Merge'-framework, een innovatieve tweestapsbenadering die adaptieve pruning en hiërarchische merging combineert om de efficiëntie en prestaties van visuele documentretrieval te optimaliseren door de afweging tussen compressie en kenmerktrouw effectief te doorbreken.

De kern

De Kunst van het Beeld: Hoe we documenten sneller en slimmer zoeken

Stel je voor dat je een enorme bibliotheek hebt, maar dan niet met boeken, maar met miljoenen foto's van documenten: rapporten, presentaties, kranten en wetenschappelijke artikelen. Je wilt iets specifieks vinden, bijvoorbeeld een tabel over winstcijfers in een 100 pagina's lang financieel verslag.

Vroeger probeerden computers dit te lezen door de tekst eruit te halen (zoals een scanner), maar dat werkt slecht als de lay-out ingewikkeld is. Vandaag de dag gebruiken we slimme AI's die de hele pagina als één groot plaatje bekijken. Dit werkt geweldig, maar er is een groot probleem: het is extreem traag en duur om op te slaan.

Het Probleem: De "Overvolle Koffer"

Huidige slimme systemen splitsen elke documentpagina op in honderden kleine stukjes (zoals een mozaïek). Voor één pagina worden er honderden "geheugenblokken" (vectoren) gemaakt om elk stukje te onthouden.

• Het nadeel: Als je duizenden documenten hebt, is je digitale koffer zo vol dat hij niet meer dichtgaat. Het kost enorm veel ruimte en het zoeken duurt eeuwen.

Om dit op te lossen, proberen mensen twee dingen:

1. Weggooien (Pruning): Je gooit de saaie stukjes weg (zoals witte randen of decoratieve lijntjes).
   • Gevaar: Als je te agressief weggooit, verlies je belangrijke informatie en vind je je document niet meer.
2. Samenvoegen (Merging): Je plakt meerdere stukjes aan elkaar tot één groter blok.
   • Gevaar: Als je te veel plakt, wordt het een modderige soep. De fijne details verdwijnen en het systeem wordt verward.

De Oplossing: "Eerst Schonen, Dan Opstapelen"

De auteurs van dit paper hebben een nieuwe methode bedacht die ze PRUNE-THEN-MERGE noemen. Laten we dit uitleggen met een creatieve analogie: Het maken van een perfecte soep.

Stel je voor dat je een enorme pot soep maakt met duizenden ingrediënten. Je wilt de smaak behouden, maar de pot moet kleiner.

1. Fase 1: De "Schone" (Pruning)
   In plaats van willekeurig ingrediënten weg te gooien, kijkt de chef-kok (de AI) eerst heel precies naar de soep. Hij ziet welke ingrediënten echt smaak geven (belangrijke tekst of afbeeldingen) en welke alleen water zijn (lege witte ruimtes of saaie randen).

   • Wat gebeurt er? Hij haalt alleen het water en het onbruikbare afval eruit. De pot is nu kleiner, maar de smaak (de informatie) is nog 100% intact.

2. Fase 2: De "Samenvoeger" (Merging)
   Nu je alleen nog maar de pure, smaakvolle ingrediënten over hebt, kun je ze veilig samenvoegen. Omdat je geen "water" meer hebt dat de smaak verwaterd, kun je nu grof gemalen blokken maken zonder dat de soep smakeloos wordt.

   • Wat gebeurt er? Je plakt de overgebleven stukjes samen tot een compacte, krachtige soep.

Waarom is dit zo slim?

Als je alleen zou samenvoegen (Fase 2 zonder Fase 1), zou je de "waterige" stukjes ook samenvoegen met de "smaakvolle" stukjes. Het resultaat is een verwaterde soep die niet meer smaakt.
Als je alleen zou weggooien (Fase 1 zonder Fase 2), moet je heel voorzichtig zijn, anders gooi je per ongeluk de beste ingrediënten weg.

Deze nieuwe methode doet het slimme werk in twee stappen:

1. Verfijn eerst: Haal het ruis (de rommel) eruit.
2. Comprimeer dan: Maak de rest compact.

Het Resultaat

Door deze twee stappen te combineren, kunnen ze:

• Veel meer ruimte besparen: Ze kunnen de opslagruimte met meer dan de helft verkleinen (bijna 60% minder ruimte!).
• Beter zoeken: Zelfs bij zo'n extreme verkleining vinden ze nog steeds precies wat ze zoeken, bijna net zo goed als het originele, enorme systeem.
• Sneller werken: Omdat er minder "dingen" zijn om te zoeken, gaat het zoeken veel sneller.

Kortom: In plaats van een rommelige, overvolle koffer te proberen te persen, of willekeurig spullen weg te gooien, maken ze eerst een selectie van alleen de beste spullen en stapelen die dan slim op. Zo blijft je bibliotheek klein, maar vind je je favoriete boek nog steeds direct.

Technische samenvatting

Probleemstelling

Visueel Document Retrieval (VDR) is een kritieke taak waarbij relevante pagina's uit grote verzamelingen van visueel rijke documenten (zoals rapporten, slides en academische papers) worden opgehaald op basis van tekstuele en visuele zoekopdrachten.

De huidige staat-of-the-art benadering maakt gebruik van multi-vector paradigma's (patch-level retrieval), waarbij een documentpagina wordt weergegeven als een verzameling van embedding-vectoren voor verschillende "patches" (delen) van de afbeelding. Dit biedt superieure prestaties door fijne details en lay-outinformatie te behouden, in tegenstelling tot eerdere OCR-gebaseerde of single-vector methoden.

Het hoofdprobleem is echter de prohibitieve opslag- en rekenkosten. Het opslaan van honderden of duizenden vectoren per pagina maakt grootschalige implementatie onpraktisch en duur. Bestaande efficiëntiemethoden proberen dit op te lossen via twee aparte strategieën, die beide tekortschieten:

1. Pruning (Uitsnijden): Verwijdert minder informatieve patches (bijv. witruimte). Dit werkt goed bij matige compressie, maar leidt bij hoge compressiepercentages tot een scherpe daling in prestaties ("performance cliff") omdat cruciale informatie verloren gaat.
2. Merging (Samenvoegen): Voegt meerdere patches samen tot één vector (bijv. via clustering). Dit biedt een soepelere degradatie bij hoge compressie, maar kan leiden tot "feature dilution" (verwatering van kenmerken) omdat ruis en belangrijke signalen worden gemengd, wat resulteert in onstabiele prestaties.

Er is een noodzaak voor een methode die de precisie van pruning combineert met de hoge compressiecapaciteit van merging, zonder de nadelen van beide.

Methodologie: PRUNE-THEN-MERGE

De auteurs stellen PRUNE-THEN-MERGE voor, een innovatief tweestapskader dat deze twee complementaire benaderingen synergetisch combineert volgens het principe: "eerst verfijnen, dan comprimeren".

Het proces verloopt als volgt:

Fase 1: Adaptieve Pruning (Offline)

• Doel: Filteren van "ruis" (laag-informatieve patches) om een verfijnde set van hoogwaardige embeddings te creëren.
• Mechanisme: Het kader gebruikt de interne attentie-mechanismen van de Large Vision-Language Model (LVLM) als proxy voor patch-belang.
  • Tijdens het forward pass wordt de attentiewaarde van een globale token (bijv. [EOS]) naar elke patch-patch geanalyseerd.
  • Een document-specifiek adaptief drempelwaarde ($\tau_d$) wordt berekend op basis van de gemiddelde en standaarddeviatie van deze scores.
  • Patches met een score onder deze drempel worden verwijderd. Dit zorgt ervoor dat alleen patches met een hoge "signal-to-noise ratio" (SNR) overblijven.
• Resultaat: Een tussenliggende set $D'$ die vrij is van decoratieve elementen en lege ruimtes.

Fase 2: Hiërarchische Merging (Offline)

• Doel: Verdere compressie van de reeds gefilterde set $D'$ zonder verlies van discriminatieve informatie.
• Mechanisme: Omdat de ruis al is verwijderd, kan nu veilig worden samengevoegd zonder dat belangrijke kenmerken worden "verwaterd".
  • Er wordt hiërarchisch agglomeratief clustering toegepast op de set $D'$.
  • De patches worden gegroepeerd op basis van semantische gelijkenis (cosine-afstand).
  • Voor elke cluster wordt een nieuwe representatieve vector gegenereerd door het centrum (gemiddelde) van de leden van die cluster te berekenen.
• Resultaat: Een compacte, finale set embeddings $D''$ die de kernsemantiek van het document samenvat.

Online Retrieval:
Tijdens het zoeken wordt de query gecodeerd en wordt de relevantie berekend via de MaxSim-operatie, maar dan over de veel kleinere, gecomprimeerde set $D''$ in plaats van de originele grote set. Dit verlaagt de online rekentijd aanzienlijk.

Theoretische Onderbouwing:
Het kader wordt onderbouwd door de Information Bottleneck (IB) theorie en Rate-Distortion theorie. Door het probleem te ontleden in twee stappen (ruisfiltering gevolgd door kwantisatie), benadert het systeem de ideale compressie beter dan een enkele stap. Het vermijdt de bias die optreedt wanneer merging direct op een ruisbeheerste set wordt toegepast.

Belangrijkste Bijdragen

1. Nieuw Kader: Introductie van PRUNE-THEN-MERGE, een query-agnostisch, offline compressiekader dat de sterktes van pruning en merging combineert.
2. Verbeterde Compressiebereik: Uitbreiding van het "near-lossless" compressiebereik. Waar bestaande pruning-methoden (zoals DocPruner) vaak falen boven de 60-70% compressie, behoudt dit framework zijn prestaties tot 70-80% en hoger.
3. Robuustheid: Het vermijden van de scherpe prestatiedaling bij hoge compressiepercentages en het voorkomen van feature-verwatering bij naive merging.
4. Uitgebreide Validatie: Experimenten uitgevoerd op 29 verschillende VDR-datasets (inclusief ViDoRe-V1/V2, JinaVDR, REAL-MM-RAG, ViDoSeek, MMLongBench-Doc) met drie toonaangevende modellen (ColQwen2.5, ColNomic, Jina-v4).

Resultaten

De experimentele resultaten tonen overtuigend aan dat PRUNE-THEN-MERGE superieur is aan bestaande baselines:

• Prestatie bij Hoge Compressie: Bij compressiepercentages van 80% en hoger, waar pruning-methoden (zoals DocPruner) een drastische daling zien (bijv. van 0.87 naar 0.77 nDCG@5), behoudt PRUNE-THEN-MERGE een hoge nauwkeurigheid (bijv. 0.86).
• Near-Lossless Bereik: Het kader breidt het bereik van bijna-verliesvrije compressie gemiddeld met 10 procentpunten uit (van [50-60%] naar [60-70%]) vergeleken met de beste pruning-methoden.
• Opslag-efficiëntie: Er wordt een opslagreductie van ongeveer 54,6% bereikt met slechts een marginale daling in prestaties (gemiddeld <0,5% verlies in nDCG@5).
• Generalisatie: De methode werkt consistent goed over verschillende talen (inclusief complexe scripts zoals Chinees en Japans) en in complexe scenario's zoals REAL-MM-RAG, waar semantisch begrip belangrijker is dan sleutelwoordmatching.
• Variantanalyse: Vergelijkingen tonen aan dat de combinatie van beide stappen essentieel is; een puur adaptieve pruning-stap presteert significant slechter bij hoge compressie dan de volledige tweestapsbenadering.

Betekenis en Impact

Deze studie biedt een blauwdruk voor het praktisch toepasbaar maken van multi-vector modellen voor visueel documentretrieval. Door de efficiëntieknelpunten op te lossen, maakt PRUNE-THEN-MERGE het mogelijk om geavanceerde, op LVLM's gebaseerde zoeksystemen te implementeren in real-world scenario's met beperkte opslag- en rekenresources, zonder in te leveren op de nauwkeurigheid die nodig is voor het begrijpen van complexe documenten. Het lost het fundamentele dilemma op tussen compressie en feature-integriteit door een slimme volgorde van bewerkingen toe te passen.