Technische Samenvatting: SaMer – Object-bewarend Token Merging voor Vision-Language Retrieval

Probleemstelling

Multi-vector vision-language retrieval systemen, zoals ColPali en ColQwen2, bereiken fijnmazige retrieval door token-niveau bewijs te behouden via maximum-gelijkenis (MaxSim) late interactie. Echter, deze aanpak brengt aanzienlijke opslag- en computationele kosten met zich mee omdat het vereist dat honderden tot duizenden beeld-zijde patch-embeddings voor elke afbeelding worden opgeslagen en vergeleken.

Bestaande strategieën voor tokencompressie, zoals pruning of feature-gebaseerd mergen, proberen deze kosten te verlagen. De auteurs identificeren echter een kritieke foutmodus in deze methoden: object-instantie collaps. Wanneer compressie uitsluitend steunt op feature-gelijkenis, kunnen visueel gelijkaardige patches van verschillende object-instanties (bijv. twee verschillende mensen of auto's) worden samengevoegd tot één enkele representatie. Dit laat onderscheidend bewijs verdwijnen dat toekomstige query-tokens mogelijk nodig hebben om te selecteren. Bovendien verwijdert pruning visueel bewijs voordat de query bekend is, wat potentieel de specifieke tokens kan verwijderen die nodig zijn voor een match. De kernuitdaging is om beeld-zijde tokens te comprimeren zonder het object- en regio-niveau bewijs te verliezen dat noodzakelijk is voor query-selecteerbare matching.

Methodologie: SaMer

De auteurs stellen Sa_Mer (Semantic-aware Merging) voor, een object-bewust token merging framework ontworpen om post-projector visuele tokens te comprimeren naar $K$ representatieve centroids, terwijl de oorspronkelijke late-interaction interface behouden blijft.

1. Feature-Spatial Soft Assignment

SaMer comprimeert $N$ post-projector visuele tokens naar $K$ gemergde tokens ($K \ll N$). Het maakt gebruik van een feature-spatial soft assignment mechanisme waarbij elke visuele token $v_i$ wordt toegewezen aan een representant $k$ op basis van een afstandmetriek die combineert:

• Feature Gelijkenis: $1 - v_i^\top \mu_k$, het groeperen van semantisch gelijkaardige tokens.
• Spatial Coherence: $\gamma \|p_i - s_k\|_2^2$, het voorkomen dat visueel gelijkaardige maar ruimtelijk verre regio's agressief worden samengevoegd.

De representanten worden gevormd als genormaliseerde gewogen centroids ($r_k$) in plaats van weggegooide tokens, wat ervoor zorgt dat de gecomprimeerde representatie compatibel blijft met MaxSim scoring.

2. Object-Aware Merge Prior (Alleen tijdens Training)

Om cross-instance mixing te voorkomen, gebruikt SaMer object-annotaties alleen tijdens de training als een merge prior, niet als een aanvullende grounding loss.

• Mechanisme: Het systeem schat de bounding box (bbox) labeldistributie voor elke representant in met behulp van een stop-gradient hard assignment.
• Penalty: Een instance inconsistentie penalty ($P_{inst}$) wordt toegevoegd aan de afstandmetriek. Als het toewijzen van een token aan een representant bewijs van verschillende object-instanties zou mengen (d.w.z. het bbox-label van de token verschilt van het dominante label van de representant), wordt het toewijzingsgewicht verminderd.
• Inference: Tijdens de inference vereist SaMer geen ground-truth bounding boxes of object detectors. Het voert annotatie-vrije feature-spatial soft assignment uit, vertrouwend op de tijdens de training aangepaste projectielaag om de objectstructuur impliciet te behouden.

3. Compression-Aware Projection-Only Adaptation

Om de gecomprimeerde representatie af te stemmen op de retrieval space, past SaMer alleen de gedeelde projectielaag aan, terwijl de vision encoder en de taal backbone bevroren blijven.

• De projectielaag wordt getraind met een multi-positive InfoNCE retrieval loss over de gecomprimeerde MaxSim scores ($S_K$).
• Dit zorgt ervoor dat de gemergde tokens effectief blijven voor late-interaction scoring zonder de backbone representaties te wijzigen of een nieuwe retrieval architectuur te vereisen.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs herformuleren visuele token compressie voor late-interaction retrieval als een bewijs-behoud probleem, waarbij ze object-instantie collaps identificeren als een primaire foutmodus van feature-gebaseerd mergen.
2. SaMer Framework: Ze stellen een object-bewuste token merging methode voor die training-time object annotaties gebruikt als een merge prior om cross-instance merging te ontmoedigen, waarbij tijdens de inference geen annotaties of detectors nodig zijn.
3. Efficiëntie en Prestaties: Ze demonstreren dat SaMer, met $K=64$, meer dan 93% van de beeld-zijde tokens verwijdert en de ColPali opslag met 16,09× vermindert, terwijl het tegelijkert k de retrieval prestaties (R@1) en phrase-level grounding verbetert ten opzichte van pruning en pooling baselines.

Experimentele Resultaten

De auteurs evalueerden SaMer op Flickr30K, MSCOCO, ImageCoDe, en DocVQA.

• Retrieval Prestaties:
  • Op Flickr30K verbeterde SaMer de ColPali R@1 van 77,0 naar 82,4 en de ColQwen2 R@1 van 73,6 naar 79,3.
  • Op MSCOCO verbeterde ColPali de R@1 van 47,4 naar 51,6.
  • SaMer presteerde consistent beter dan compressie baselines (H-Pool, HPC, SAP) onder gelijke token budgetten ($K=64$) en adaptatie-settings.
• Grounding Kwaliteit:
  • SaMer demonstreerde superieure phrase-level grounding. Metrieken zoals BoxMass (relevantieconcentratie binnen geannoteerde regio's) namen toe van 47,8 naar 54,2, en CoverageIoU verbeterde van 13,1 naar 16,4.
  • Dit geeft aan dat SaMer object-bewijs dat query-selecteerbaar is beter behoudt dan pruning of eenvoudige pooling, wat vaak relevantie verspreidt naar de achtergrond of nabijgelegen objecten.
• Efficiëntie:
  • Voor ColPali verminderde SaMer de opslag met 16,09× en de MaxSim operaties met 16,1×.
  • De query throughput (QPS) nam toe met 4,3× op Flickr30K en 9,1× op MSCOCO.
  • Voor ColQwen2 werd de opslag verminderd met 3,73× (Flickr30K) en 1,99× (MSCOCO), met bijbehorende throughput winsten.

Betekenis en Claims

Het paper betoogt dat de effectiviteit van retrieval compressie niet enkel afhangt van het verminderen van het aantal tokens, maar van het behouden van het bewijs dat toekomstige query-tokens moeten selecteren.

De auteurs claimen dat:

1. Object-bewuste merging superieur is aan feature-only pooling: Het simpelweg samenvoegen van gelijkaardige patches kan onderscheidende object-instanties laten instorten, terwijl SaMer's object-bewuste prior het onderscheid behoudt dat nodig is voor fijnmazige retrieval.
2. Training-time priors efficiëntie tijdens de inference mogelijk maken: Door object-annotaties alleen als een merge prior tijdens de training te gebruiken, bereikt SaMer object-consistente compressie zonder de computationele overhead van het draaien van detectors tijdens de inference.
3. Projection-only adaptation voldoende is: Het afstemmen van de retrieval space via enkel de projectielaag stelt het systeem in staat om een hoge prestatie te behouden met bevroren backbones, waardoor de methode plug-and-play is voor bestaande multi-vector retrievers.

De resultaten suggereren dat efficiënte multi-vector retrieval een balans vereist tussen compressie en het behoud van query-selecteerbaar, object-niveau bewijs.