Technisches Resümee: SaMer – Objekt-evidenz-erhaltendes Token-Merging für die Vision-Language-Retrieval

Problemstellung

Multi-Vektor-Vision-Language-Retrieval-Systeme wie ColPali und ColQwen2 erreichen ein feingranulares Retrieval durch die Bewahrung von Token-Ebene-visueller Evidenz mittels Maximum-Similarity (MaxSim) Late-Interaction. Dieser Ansatz verursacht jedoch erhebliche Speicher- und Rechenkosten, da für jedes Bild hunderte bis tausende Bild-Patch-Embeddings gespeichert und verglichen werden müssen.

Bestehende Strategien zur Token-Kompression, wie Pruning oder merkmalsbasiertes Merging, versuchen diese Kosten zu senken. Die Autoren identifizieren jedoch einen kritischen Ausfallmodus dieser Methoden: den Objekt-Instanz-Kollaps (Object-Instance Collapse). Wenn die Kompression ausschließlich auf der Ähnlichkeit von Merkmalen basiert, können visuell ähnliche Patches von verschiedenen Objekt-Instanzen (z. B. zwei verschiedene Personen oder Autos) zu einer einzigen Repräsentation zusammengeführt werden. Dies führt zum Kollaps distinkter Evidenzen, die zukünftige Query-Token auswählen müssten. Darüber hinaus verwirft Pruning visuelle Evidenz, bevor die Query bekannt ist, was potenziell die spezifischen Token entfernt, die für einen Match erforderlich wären. Die zentrale Herausforderung besteht darin, Bild-Tokens zu komprimieren, ohne die Objekt- und Regionsebene-Evidenz zu verlieren, die für ein abfragespezifisches Matching notwendig ist.

Methodik: SaMer

Die Autoren schlagen SaMer (Semantic-aware Merging) vor, ein objektbewusstes Token-Merging-Framework, das darauf ausgelegt ist, Post-Projector-Visual-Tokens in $K$ repräsentative Zentroiden zu komprimieren und gleichzeitig die ursprüngliche Late-Interaction-Schnittstelle zu bewahren.

1. Feature-Spatial Soft Assignment

SaMer komprimiert $N$ Post-Projector-Visual-Tokens in $K$ gemergte Tokens ($K \ll N$). Es verwendet einen Mechanismus des Feature-Spatial Soft Assignment, bei dem jedes Visual-Token $v_i$ einem Repräsentanten $k$ basierend auf einer Distanzmetrik zugewiesen wird, die Folgendes kombiniert:

• Feature-Ähnlichkeit: $1 - v_i^\top \mu_k$, um semantisch ähnliche Tokens zu gruppieren.
• Räumliche Kohärenz (Spatial Coherence): $\gamma \|p_i - s_k\|_2^2$, um zu verhindern, dass visuell ähnliche, aber räumlich weit entfernte Regionen zu aggressiv zusammengeführt werden.

Die Repräsentanten werden als normalisierte gewichtete Zentroiden ($r_k$) statt als verworfene Tokens gebildet, wodurch sichergestellt wird, dass die komprimierte Repräsentation mit der MaxSim-Scoring-Logik kompatibel bleibt.

2. Object-Aware Merge Prior (Nur während des Trainings)

Um eine Vermischung von Instanzen zu verhindern, nutzt SaMer Objekt-Annotationen nur während des Trainings als Merge-Prior, nicht als auxiliary Grounding Loss.

• Mechanismus: Das System schätzt die Bounding-Box (bbox)-Label-Verteilung für jeden Repräsentanten unter Verwendung einer Stop-Gradient Hard-Assignment.
• Strafe (Penalty): Eine Instanz-Inkonsistenz-Strafe ($P_{inst}$) wird zur Distanzmetrik hinzugefügt. Wenn die Zuweisung eines Tokens zu einem Repräsentanten dazu führen würde, Evidenzen verschiedener Objekt-Instanzen zu vermischen (d. h. wenn das Bbox-Label des Tokens vom dominanten Label des Repräsentanten abweicht), wird das Gewicht der Zuweisung reduziert.
• Inferenz: Während der Inferenz benötigt SaMer keine Ground-Truth-Bounding-Boxes oder Objektdetektoren. Es führt eine annotationsfreie Feature-Spatial Soft Assignment durch, die sich auf die während des Trainings adaptierte Projektionsschicht stützt, welche die Objektstruktur implizit bewahrt.

3. Compression-Aware Projection-Only Adaptation

Um die komprimierte Repräsentation mit dem Retrieval-Raum abzugleichen, passt SaMer nur die gemeinsame Projektionsschicht an, während der Vision-Encoder und das Sprach-Backbone eingefroren bleiben.

• Die Projektionsschicht wird unter Verwendung eines Multi-Positive InfoNCE-Retrieval-Loss über die komprimierten MaxSim-Scores ($S_K$) trainiert.
• Dies stellt sicher, dass die gemergten Tokens effektiv für das Late-Interaction-Scoring bleiben, ohne die Backbone-Repräsentationen zu verändern oder eine neue Retrieval-Architektur zu erfordern.

Zentrale Beiträge

1. Problem-Framing: Die Autoren definieren die visuelle Token-Kompression für Late-Interaction-Retrieval als ein Problem der Evidenz-Bewahrung um und identifizieren den Objekt-Instanz-Kollaps als primären Ausfallmodus von Feature-basiertem Merging.
2. SaMer-Framework: Sie schlagen eine objektbewusste Token-Merging-Methode vor, die Objekt-Annotationen während des Trainings als Merge-Prior nutzt, um die Vermischung von Instanzen zu verhindern, wobei während der Inferenz keine Annotationen oder Detektoren erforderlich sind.
3. Effizienz und Leistung: Sie zeigen, dass SaMer mit $K=64$ über 93 % der Bild-Seite-Tokens entfernt und den Speicherbedarf von ColPali um den Faktor 16,09 reduziert, während es gleichzeitig die Retrieval-Leistung (R@1) und das Phrase-Level-Grounding im Vergleich zu Pruning- und Pooling-Baselines verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten SaMer auf Flickr30K, MSCOCO, ImageCoDe und DocVQA.

• Retrieval-Leistung:
  • Auf Flickr30K verbesserte SaMer den R@1 von ColPali von 77,0 auf 82,4 und den R@1 von ColQwen2 von 73,6 auf 79,3.
  • Auf MSCOCO verbesserte SaMer den R@1 von ColPali von 47,4 auf 51,6.
  • SaMer übertraf konsistent die Kompressions-Baselines (H-Pool, HPC, SAP) unter vergleichbaren Token-Budgets ($K=64$) und Adaptions-Settings.
• Grounding-Qualität:
  • SaMer demonstrierte eine überlegene Phrase-Level-Grounding-Qualität. Metriken wie BoxMass (Relevanzkonzentration innerhalb annotierter Regionen) stiegen von 47,8 auf 54,2, und CoverageIoU verbesserte sich von 13,1 auf 16,4.
  • Dies zeigt, dass SaMer die query-auswählbare Objekt-Evidenz besser bewahrt als Pruning oder einfaches Pooling, welche die Relevanz oft auf den Hintergrund oder benachbarte Objekte verteilen.
• Effizienz:
  • Für ColPali reduzierte SaMer den Speicherbedarf um den Faktor 16,09 und die MaxSim-Operationen um den Faktor 16,1.
  • Der Query-Durchsatz (QPS) stieg um den Faktor 4,3 auf Flickr30K und um den Faktor 9,1 auf MSCOCO.
  • Für ColQwen2 wurde der Speicherbedarf um den Faktor 3,73 (Flickr30K) bzw. Faktor 1,99 (MSCOCO) reduziert, mit entsprechenden Durchsatzgewinnen.

Bedeutung und Behauptungen

Das Paper argumentiert, dass die Effektivität der Retrieval-Kompression nicht nur von der Reduzierung der Token-Anzahl abhängt, sondern von der Bewahrung der Evidenz, die zukünftige Query-Token auswählen müssen.

Die Autoren behaupten:

1. Objektbewusstes Merging ist dem Feature-basierten Pooling überlegen: Das bloße Zusammenführen ähnlicher Patches kann distinkte Objekt-Instanzen kollabieren lassen, während der objektbewusste Prior von SaMer die notwendige Unterscheidung für feingranulares Retrieval aufrechterhält.
2. Training-Zeit-Priors ermöglichen Effizienz zur Inferenz-Zeit: Durch die Nutzung von Objekt-Annotationen lediglich als Merge-Prior während des Trainings erreicht SaMer eine objekt-konsistente Kompression ohne den Rechenaufwand, während der Inferenz Detektoren auszuführen.
3. Projection-only Adaptation ist ausreichend: Die Abstimmung des Retrieval-Raums allein über die Projektionsschicht ermöglicht es dem System, eine hohe Leistung bei eingefrorenen Backbones beizubehalten, was die Methode für bestehende Multi-Vektor-Retriever „plug-and-play“-fähig macht.

Die Ergebnisse legen nahe, dass effizientes Multi-Vektor-Retrieval ein Gleichgewicht zwischen Kompression und der Bewahrung von query-auswählbaren, objektbasierten Evidenzen erfordert.