Technische Samenvatting: VisCo – Het gebruik van Large Language Models als intrinsieke encoders voor visuele tokencompressie

1. Probleemstelling

Vision-Language Models (VLM's) verwerken hoogresolutiebeelden doorgaans door ze te coderen in een groot aantal visuele tokens. Dit resulteert in aanzienlijke inferentielatentie en geheugenoverhead vanwege de kwadratische complexiteit van self-attention mechanismen en de opslagvereisten voor Key-Value (KV) caches. Deze bottleneck beperkt de inzet van VLM's in middelenbeperkte en real-time scenario's ernstig.

Bestaande oplossingen voor visuele tokencompressie vallen uiteen in twee categorieën, die beide significante beperkingen hebben:

• Training-vrije methoden: Deze vertrouwen op heuristische metrieken (bijv. attention scores of feature-gelijkenis) om tokens te verwijderen of samen te voegen. Hoewel efficiënt, lijden ze onder aanzienlijke prestatievermindering bij hoge compressieratio's. Ze zijn gevoelig voor "attention shift", wat leidt tot hallucinaties, en falen vaak in het behouden van tekstgestuurde globale semantiek of fijnmazige details.
• Training-gebaseerde methoden: Deze introduceren externe compressiemodules of vereisen substantiële hertraining (inclusclusief re-alignment en instruction tuning). Hoewel robuuster, brengen ze zware kosten voor hertraining met zich mee, tasten ze de gepreïnteerde priors van de VLM aan en missen ze vaak de plug-and-play flexibiliteit.

De kernuitdaging is het bereiken van effectieve visuele tokencompressie die de semantische getrouwheid behoudt onder agressieve compressie (bijv. het reduceren van tokens naar één enkele eenheid) zonder dat daarvoor massale hertraining of externe modules nodig zijn.

2. Methodologie: VisCo Framework

De auteurs stellen VisCo voor, een training-efficiënt, zelf-compressie framework dat de gepreïnteerde VLM zelf hergebruikt als intrinsieke compressor. VisCo is ontworpen als een asymmetrische VLM autoencoder met gedeelde parameters, werkend in twee stadia:

A. Asymmetrische Architectuur

• Coderingfase (Encoding Stage): Het framework breidt de gepreïnteerde VLM-backbone uit met een lichtgewicht trainbare module. Specifiek introduceert het een kleine set leerbare memory tokens ($X_m$) en maakt het gebruik van LoRA adapters op de Q/V projecties. De encoder verwerkt de gezamenlijke sequentie van visuele tokens ($X_v$) en memory tokens ($X_m$).
• Decoderingsfase (Decoding Stage): De LoRA-adapters worden verwijderd en de originele, bevroren gepreïnteerde VLM-backbone wordt direct hergebruikt als decoder. Dit ontwerp zorgt ervoor dat VisCo slechts een lichtgewicht adaptatie vereist van de bestaande capaciteiten, in plaats van het volledig opnieuw leren van het multimodale generatieproces.

B. Sequentieconstructie en Causal Masking

VisCo houdt zich strikt aan het standaard causal masking mechanisme van decoder-only VLM's. Memory tokens worden na de visuele tokens aan de inputsequentie toegevoegd. Dit stelt de memory tokens in staat om natuurlijk te attenderen op alle voorafgaande visuele tokens met behulp van de intrinsieke attention prior van het model, waardoor rijke visuele informatie wordt geaggregeerd zonder aangepaste interactieregels te introduceren.

C. Hiërarchische Informatieaggregatie en Overdracht

In het besef dat Transformer-lagen functionele specialisatie vertonen (lagere lagen coderen lokale patronen, hogere lagen coderen abstracte semantiek), gebruikt VisCo een hiërarchisch informatie-overdrachtsmechanisme:

1. Constructie van de Memory Bank: Tijdens de codering, in plaats van de finale hidden states naar de decoder te sturen, behoudt het systeem de Key ($K$) en Value ($V$) matrices die uitsluitend bij de memory tokens horen voor elke laag $l$. Deze worden opgeslagen in een laag-specifieke memory bank ($K_{mem}, V_{mem}$).
2. Hiërarchische Decodering: Tijdens de decodering worden deze laag-specifieke memory KV-caches direct in de KV-cache van de decoder geplaatst. Dit stelt de decoder in staat om toegang te krijgen tot semantische informatie met verschillende granulariteiten (van lage-niveau texturen tot hoge-niveau discourse) zonder dat er projectielagen nodig zijn, waarbij gebruik wordt gemaakt van de parameterdeling tussen de encoder en decoder.

D. Trainingsdoel (Training Objective)

VisCo wordt end-to-end gefinetuned met behulp van teacher forcing om de conditionele waarschijnlijkheid van het grondwaarheidsantwoord te maximalen, gegeven de gecomprimeerde memory en tekstuele inputs. Er worden geen aanvullende pre-training objectives geïntroduceerd.

3. Belangrijkste Bijdragen

1. Asymmetrisch Intrinsiek Zelf-compressie Framework: VisCo gebruikt de gepreïnteerde VLM zelf als compressor, waarbij de backbone intact blijft en er slechts een lichtgewicht training nodig is (LoRA + leerbare memory tokens).
2. Hiërarchisch Informatie-overdrachtsmechanisme: De methode introduceert een mechanisme om semantiek met verschillende granulariteiten van encoder-lagen naar de decoder te transporteren via laag-specifieke KV-caches, waardoor de structurele hiërarchie van visuele informatie onder compressie behouden blijft.
3. Uitgebreide Evaluatie: Uitgebreide experimenten over 3 VLM-backbones (LLaVA-1.5-7B, Qwen2-VL-2B, Qwen2-VL-7B) en 6 benchmarks tonen een consistente superioriteit aan ten opzichte van bestaande methoden, met name onder agressieve compressie.

4. Experimentele Resultaten

Het paper evalueert VisCo op benchmarks inclusief GQA, MMB, MMB-CN, MME, POPE en MMVet.

• Prestaties onder agressieve compressie:

  • Op LLaVA-1.5-7B (576 tokens $\to$ 32 tokens), behoudt VisCo 91,8% van de oorspronkelijke prestaties, waarmee het de beste baseline (VisPruner) met 4,0 punten in gemiddelde score verslaat.
  • In de extreme single-token setting (1 token), behoudt VisCo 85,3% van de oorspronkelijke prestaties, wat aanzienlijk beter is dan training-vrije methoden (zo.n. SparseVLM met ~72,6%) en zelfs sterkerere training-gebaseerde referenties zoals MatryoshkaQuery en VoCo-LLaMA op specifieke metrieken overtreft.
  • Op Qwen2-VL-2B (die al ingebouwde compressie heeft), behoudt VisCo 95,2% prestatie bij 25% token-retentie en 91,4% bij 12,5% retentie, waarmee het gefinetunede baselines zoals VisionZip verslaat.

• Kwalitatieve Analyse:

  • VisCo legt zowel de algemene scènecontext als de sleutelregio's succesvol vast, zelfs met zeer weinig tokens, terwijl attention-gebaseerde pruning-methoden de globale context en details verliezen.
  • In een single-token setting kan VisCo gedetailleerde beschrijvingen genereren die object-niveau beschrijvingen en coherente globale semantiek bevatten.

• Efficiëntie:

  • VisCo vermindert de KV-cache opslag aanzienlijk.
  • Hoewel de initiële coderingstap extra overhead introduceert, bereikt VisCo snellere decoderingssnelheden. In multi-turn dialoogscenario's zorgt het hergebruik van gecachte representaties ervoor dat VisCo de latentie van training-vrije methoden (zoals FastV) overtreft na slechts drie dialoogrondes.

• Complementaire Representaties:

  • Een ablatie-studie (VisCo+) toont aan dat het combineren van de geleerde memory tokens met de originele visuele tokens de prestaties van het basismodel op verschillende benchmarks zelfs kan verbeteren. Dit suggereert dat de memory tokens complementaire informatie vastleggen in plaats van slechts een gecomprimeerde subset te zijn.

5. Betekenis en Claims

Het paper claimt dat het benutten van de intrinsieke priors van gepreïnteerde VLM's robuuste visuele tokencompressie mogelijk maakt met slechts een lichtgewicht training.

• Overwinnen van Trade-offs: VisCo vermijdt de ernstige prestatievermindering van training-vrije methoden onder hoge compressie en de zware hertrainingskosten van benaderingen met externe modules.
• Natieve Verwerkingspatronen: Door het natuurlijke verwerkingspatroon van de VLM te volgen (gebruikmakend van causal masking en parameterdeling) in plaats van het te herschrijven, bereikt VisCo prestaties die competitief zijn met zware methoden, terwijl het de flexibiliteit van lichtgewicht adaptatie behoudt.
• Verder dan Compressie: De auteurs suggereren dat de geleerde memory tokens fungeren als complementaire representaties die visuele kenmerken verrijken, wat de prestaties van het model potentieel verbetert bovenop louter compressie-efficiëntie.

Het werk concludeert dat effectieve visuele tokencompressie afhangt van sterke informatie-coderingscapaciteiten die al aanwezig zijn in gepreïnteerde VLM's, en die ontsloten kunnen worden via efficiënte zelf-compressie frameworks zoals VisCo. Toekomstig werk wordt voorgesteld om adaptieve tokenallocatie en uitbreiding naar videocompressie te verkennen.