Technisches Resümee: VisCo – Nutzung von Large Language Models als intrinsische Encoder für die visuelle Token-Kompression

1. Problemstellung

Vision-Language Models (VLMs) verarbeiten hochauflösende Bilder typischerweise, indem sie diese in eine große Anzahl von visuellen Tokens kodieren. Dies führt zu erheblicher Inferenzlatenz und Speicheroverhead aufgrund der quadratischen Komplexität von Self-Attention-Mechanismen sowie der Speicheranforderungen für Key-Value (KV)-Caches. Dieser Flaschenhals begrenzt den Einsatz von VLMs in ressourcenbeschränkten und Echtzeit-Szenarien erheblich.

Bestehende Lösungen für die visuelle Token-Kompression fallen in zwei Kategorien, die beide signifikante Einschränkungen aufweisen:

• Trainingsfreie Methoden: Diese verlassen sich auf heuristische Metriken (z. B. Attention-Scores oder Feature-Ähnlichkeit), um Tokens zu prunen oder zu mergen. Obwohl sie effizient sind, leiden sie unter einem erheblichen Leistungsabfall bei hohen Kompressionsraten. Sie sind anfällig für „Attention Shift“, was zu Halluzinationen führt, und versagen oft dabei, textgesteuerte globale Semantik oder feinkörnige Details zu bewahren.
• Trainingsbasierte Methoden: Diese führen externe Kompressionsmodule ein oder erfordern ein umfangreiches Retraining (einschließlich Re-Alignment und Instruction Tuning). Obwohl sie robuster sind, verursachen sie hohe Trainingskosten, beeinträchtigen die vortrainierten Priors des VLM und lassen oft die Plug-and-Play-Flexibilität vermissen.

Die Kernherausforderung besteht darin, eine effektive visuelle Token-Kompression zu erreichen, die die semantische Treue auch unter aggressiver Kompression (z. B. Reduzierung der Tokens auf eine einzige Einheit) bewahrt, ohne massives Retraining oder externe Module zu erfordern.

2. Methodik: VisCo-Framework

Die Autoren schlagen VisCo vor, ein trainingseffizientes, Selbstkompressions-Framework, das das vortrainierte VLM selbst als intrinsischen Kompressor wiederverwendet. VisCo ist als asymmetrischer VLM-Autoencoder mit geteilten Parametern konzipiert und operiert in zwei Stufen:

A. Asymmetrische Architektur

• Kodierungsphase (Encoding Stage): Das Framework erweitert das vortrainierte VLM-Backbone mit einem leichtgewichtigen, trainierbaren Modul. Speziell werden eine kleine Menge lernbarer Memory Tokens ($X_m$) eingeführt und LoRA-Adapter auf den Q/V-Projektionen verwendet. Der Encoder verarbeitet die gemeinsame Sequenz aus visuellen Tokens ($X_v$) und Memory Tokens ($X_m$).
• Dekodierungsphase (Decoding Stage): Die LoRA-Adapter werden entfernt, und das ursprüngliche, eingefrorene vortrainierte VLM-Backbone wird direkt als Decoder wiederverwendet. Dieses Design stellt sicher, dass VisCo nur eine leichte Anpassung der bestehenden Fähigkeiten erfordert, anstatt den multimodalen Generierungsprozess von Grund auf neu zu lernen.

B. Sequenzkonstruktion und Causal Masking

VisCo hält sich strikt an den Standard-Causal-Masking-Mechanismus von Decoder-only-VLMs. Die Memory Tokens werden nach den visuellen Tokens an die Eingangssequenz angehängt. Dies ermöglicht es den Memory Tokens, natürlich auf alle vorangehenden visuellen Tokens unter Nutzung des intrinsischen Attention-Priors des Modells zu achten, wodurch reiche visuelle Informationen aggregiert werden, ohne kundenspezifische Interaktionsregeln einzuführen.

C. Hierarchische Informationsaggregation und -weitergabe

Da Transformer-Layer funktionale Spezialisierungen aufweisen (untere Layer kodieren lokale Muster, obere Layer abstrakte Semantik), setzt VisCo einen hierarchischen Informationsweitergabemechanismus ein:

1. Aufbau der Memory Bank: Während des Codings behält das System, anstatt nur die finalen Hidden States an den Decoder weiterzugeben, die Key- ($K$) und Value-Matrizen ($V$), die ausschließlich zu den Memory Tokens in jedem Layer $l$ gehören. Diese werden in einer layerweisen Memory Bank ($K_{mem}, V_{mem}$) gespeichert.
2. Hierarchisches Dekodieren: Während des Dekodierens werden diese layerweisen Memory KV-Caches direkt in den KV-Cache des Decoders eingespeist. Dies ermöglicht dem Decoder den Zugriff auf semantische Informationen mit unterschiedlicher Granularität (von Texturen auf niedriger Ebene bis hin zu Diskursen auf hoher Ebene), ohne Projektionsschichten zu benötigen, indem die Parameterteilung zwischen Encoder und Decoder genutzt wird.

D. Trainingsziel

VisCo wird mittels Teacher Forcing end-to-end feinjustiert, um die bedingte Wahrscheinlichkeit der Ground-Truth-Antwort unter Berücksichtigung der komprimierten Memory- und Text-Inputs zu maximieren. Es werden keine zusätzlichen Pre-Training-Objectives eingeführt.

3. Zentrale Beiträge

1. Asymmetrisches intrinsisches Selbstkompressions-Framework: VisCo nutzt das vortrainierte VLM selbst als Kompressor, hält das Backbone intakt und erfordert nur leichtgewichtiges Training (LoRA + lernbare Memory Tokens).
2. Hierarchischer Informationsweitergabemechanismus: Die Methode führt einen Mechanismus ein, um mehrgranulare Semantik von den Encoder-Layern über layerweise KV-Caches an den Decoder zu übertragen, wodurch die strukturelle Hierarchie der visuellen Informationen unter Kompression bewahrt wird.
3. Umfassende Evaluierung: Umfangreiche Experimente über 3 VLM-Backbones (LLaVA-1.5-7B, Qwen2-VL-2B, Qwen2-VL-7B) und 6 Benchmarks zeigen eine konsistente Überlegenheit gegenüber bestehenden Methoden, insbesondere unter aggressiver Kompression.

4. Experimentelle Ergebnisse

Das Paper evaluiert VisCo auf Benchmarks wie GQA, MMB, MMB-CN, MME, POPE und MMVet.

• Leistung unter aggressiver Kompression:

  • Auf LLaVA-1.5-7B (576 Tokens $\to$ 3-2 Tokens) behält VisCo 91,8 % der ursprünglichen Leistung bei und übertrifft die beste Baseline (VisPruner) um 4,0 Punkte im Durchschnittsscore.
  • In der extremen Single-Token-Einstellung (1 Token) behält VisCo 85,3 % der ursprünglichen Leistung bei, was die performance-freien Methoden (z. B. SparseVLM mit ~72,6 %) deutlich übertrifft und sogar stärkere trainingsbasierte Referenzen wie MatryoshkaQuery und VoCo-LLaMA auf spezifischen Metriken übertrifft.
  • Auf Qwen2-VL-2B (das bereits eingebaute Kompression besitzt) behält VisCo 95,2 % der Leistung bei 25 % Token-Retention und 91,4 % bei 12,5 % Retention, womit es feinjustierte Baselines wie VisionZip übertrifft.

• Qualitative Analyse:

  • VisCo erfasst erfolgreich sowohl den allgemeinen Szenenkontext als auch Schlüsselregionen selbst mit sehr wenigen Tokens, während attention-basierte Pruning-Methoden den globalen Kontext und Details verlieren.
  • In der Single-Token-Einstellung kann VisCo detaillierte Captions generieren, die objektbezogene Beschreibungen und kohärente globale Semantik enthalten.

• Effizienz:

  • VisCo reduziert den KV-Cache-Speicher erheblich.
  • Obwohl der initiale Encoding-Schritt einen Overhead einführt, erreicht VisCo schnellere Dekodiergeschwindigkeiten. In Multi-Turn-Dialog-Szenarien ermöglicht die Wiederverwendung der gecachten Repräsentationen VisCo, die Latenz von trainingsfreien Methoden (wie FastV) nach nur drei Dialog-Durchläufen zu übertreffen.

• Komplementäre Repräsentationen:

  • Eine Ablationsstudie (VisCo+) zeigt, dass die Kombination der gelernten Memory Tokens mit den ursprünglichen visuellen Tokens die Leistung des Basismodells auf mehreren Benchmarks tatsächlich verbessern kann. Dies deutet darauf hin, dass die Memory Tokens komplementäre Informationen erfassen und nicht nur eine komprimierte Teilmenge darstellen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Nutzung der intrinsischen Priors vortrainierter VLMs eine robuste visuelle Token-Kompression mit nur leichtgewichtigem Training ermöglicht.

• Überwindung von Trade-offs: VisCo vermeidet den starken Leistungsabfall von trainingsfreien Methoden unter hoher Kompression sowie die schweren Retraining-Kosten von externen Modul-basierten Ansätzen.
• Natives Verarbeitungsmodell: Indem VisCo das native Verarbeitungsmodell des VLM (durch Nutzung von Causal Masking und Parameter-Sharing) befolgt, anstatt es umzuschreiben, erreicht es eine mit Heavyweight-Methoden konkurrierende Leistung bei gleichzeitiger Beibehaltung der Flexibilität einer leichtgewichtigen Anpassung.
• Über die Kompression hinaus: Die Autoren legen nahe, dass die gelernten Memory Tokens als komplementäre Repräsentationen fungieren, die visuelle Features bereichern und somit das Modell über die reine Kompressionseffizienz hinaus verbessern können.

Die Arbeit kommt zu dem Schluss, dass effektive visuelle Token-Kompression maßgeblich von den starken Kodierungsfähigkeiten abhängt, die bereits in vortrainierten VLMs vorhanden sind und durch effiziente Selbstkompressions-Frameworks wie VisCo freigeschaltet werden können. Als zukünftige Arbeit wird die Untersuchung adaptiver Token-Allokation und die Erweiterung auf die Videokompression vorgeschlagen.