Technische Samenvatting: ReToken

Probleemstelling

Vision-Language Models (VLM's) worden geconfronteerd met aanzienlijke uitdagingen bij het verwerken van lange visuele contexten, zoals collecties afbeeldingen of video's van een uur lang. Twee primaire problemen doen zich voor:

1. Prestatievermindering: Naarmate het aantal afleidende afbeeldingen of frames toeneemt, daalt de prestatie van het model omdat de relevante informatie begraven ligt in een grote verzameling irrelevante gegevens.
2. Computationele onhaalbaarheid: Het gelijktijdig verwerken van alle visuele tokens overschrijdt vaak de GPU-geheugenbeperkingen, wat volledige context-inferentie voor lange video's onmogelijk maakt.

Huidige oplossingen vertrouwen vaak op attention-gebaseerde retrieval, waarbij de interne attention-scores van het model (query-key interacties) worden gebruikt om relevante frames te selecteren. De auteurs stellen echter vast dat deze attention-signalen in voorgetrainde VLM's onbetrouwbaar zijn voor visuele retrieval. De correlatie tussen attention-scores en query-relevantie is zwak, wat leidt tot een slechte recall (bijv. slechts 5,1% Recall@1 over alle lagen op de QAEgo4DTest-MC benchmark). Bovenergens zijn standaard attention-mechanismen getraind voor next-token voorspelling, niet voor het selecteren van specifieke visuele inputs, en het middelen van question-tokens om een query te vormen introduceert ruis die de retrieval-prestaties verder verslechtert.

Methodologie: ReToken

Het artikel stelt ReToken voor, een lichtgewicht, leerbaar retrieval-mechanisme dat is ontworpen om te opereren binnen de value space van de transformer, in plaats van de conventionele query-key space.

Kerninzichten

• Superioriteit van de Value Space: De auteurs observeren dat hoewel query-key scores ruizig zijn, de value projecties van tokens de werkelijke inhoud dragen die via attention wordt gepropageerd. Het poolen van value vectoren biedt een meer discriminerend signaal voor tekst-gebaseerde visuele retrieval.
• Doelgerichte Retrieval: In plaats van alle question-tokens te middelen (wat ruis introduceert), gebruikt ReToken een enkele, leerbare embedding die aan de question prompt wordt toegevoegd. Deze token is expliciet getraind om te fungeren als een retrieval target.

Architectuur en Training

• Leerbare Token: Een enkele leerbare embedding ($X_r$) wordt toegevoegd aan de input question-tokens.
• Projectie: Een lichtgewicht projectiematrix ($W_r$) brengt de output van de laatste laag van de ReToken in kaart naar een retrieval query vector ($Z_r$).
• Scoring Mechanisme: Voor elk frame $f$ berekent het model de gemiddelde value vector ($\bar{v}_f^{(N)}$) van de laatste laag van de VLM. De retrieval score is de cosine similarity tussen de geprojecteerde ReToken en de gemiddelde value vector van het frame.
• Loss Functie: Het systeem wordt gesuperviseerd met een class-balanced binary cross-entropy loss tegen ground-truth relevantie labels. De loss stimuleert hoge scores voor relevante frames en lage scores voor distractors.
• Trainingsregime: Standaard is de VLM backbone bevroren (frozen). Alleen de ReToken embedding en de projectiematrix worden bijgewerkt. Een variant met partiële fine-tuning (het tunen van de eerste paar lagen) wordt ook verkend, maar bleek minder effectief voor video-transfer.

Inference Pipeline

ReToken hanteert een twee-staps retrieve-then-answer pipeline:

1. Cache: De video wordt één keer gecodeerd, en de per-layer Key-Value (KV) caches worden opgeslagen in een persistente cache.
2. Retrieve (Pass 1): Gegeven een vraag, wordt de ReToken toegevoegd en voert het model een forward pass uit over de gecachte visuele context. De laatste laag berekent de retrieval scores om de top-$K$ relevante frames te selecteren.
3. Answer (Pass 2): Een tweede forward pass genereert het antwoord, waarbij alleen aandacht wordt besteed aan de KV cache van de geselecteerde top-$K$ frames. Dit zorgt ervoor dat het generatieproces overeenkomt met de trainingsdistributie (waar de retrieval werd bepaald in de laatste laag).

Belangrijkste Bijdragen

1. Diagnose van Attention-beperkingen: Het artikel demonstreert dat attention-gebaseerde retrieval (query-key) inefectief is in voorgetrainde VLM's, terwijl de value space een aanzienlijk sterker signaal biedt voor het ophalen van visuele informatie.
2. ReToken Mechanisme: Introductie van een enkele leerbare token die voorgetrainde VLM's in staat stelt om relevante visuele informatie effectiever te identificeren zonder dat volledige model-retraining vereist is.
3. Zero-Shot Transfer: Demonstratie dat een ReToken die uitsluitend is getraind op multi-image Question Answering (QA) data, succesvol generaliseert naar long-video understanding benchmarks zonder verdere video-specifieke training.

Experimentele Resultaten

De methode werd geëvalueerd op image en video benchmarks, waarbij consistente verbeteringen ten opzichte van baselines werden getoond:

• Visual Haystacks (Image Retrieval):
  • Op de Visual Haystacks benchmark verbeterde ReToken Qwen3VL-8B met 13,4 punten en InternVL3.5 met 12,4 punten (meer dan 20% relatieve winst) in de aanwezigheid van 50 distractor afbeeldingen.
  • Het behaalde een 88,5% Recall@1 op de 2-afbeeldingen taak en 64,7% op de 50-afbeeldingen taak, waarmee het de attention-gebaseerde retrievers (ReKV) en externe embedding modellen (SigLIP2) aanzienlijk versloeg.
• Long Video Understanding:
  • QAEgo4DTest-MC: Met een strikt retrieval budget ($K=1$) behaalde ReToken een verbetering van 6,8 punten ten opzichte van uniform sampling en presteerde het beter dan attention-gebaseerde retrieval.
  • LVBench: ReToken transformeerde zero-shot naar lange video's (gemiddelde lengte >1 uur), wat een winst van 8,0 punten in nauwkeurigheid opleverde voor Qwen3VL-8B.
  • Video-MME: Significante winsten werden waargenomen op medium en lange video splits, terwijl korte video's (onder de 2 minuten) geen winst lieten zien omdat ze onder het retrieval input budget vielen.
• Efficiëntie:
  • Zowel de training als de long-video inference passen op een enkele H100 GPU.
  • De retrieval pass voegt slechts ~0,4 seconden latentie toe per vraag, terwijl de dure video-encoding slechts één keer per video wordt uitgevoerd.

Betekenis en Claims

Het artikel claimt dat ReToken een praktisch pad biedt naar schaalbare long-context multimodale redenering. Door te identificeren dat de value space een sterker tekst-gealigneerd signaal bevat dan de query-key space, biedt de auteur een eenvoudige, lichtgewicht oplossing die het gebruik van complexe externe retrievers of volledige VLM fine-tuning omzeilt.

Het werk benadrukt dat:

• Retrieval in de value space robuuster is tegen ruizige queries dan in de query-key space.
• Een enkele leerbare token effectief een complexe retrieval pipeline kan vervangen.
• Geleerde vaardigheden van short-context multi-image QA kunnen transfereren naar long-video understanding, wat suggereert dat de fundamentele capaciteit om tekst met visuele inhoud te aligneren behouden blijft, zelfs in bevroren modellen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat ReToken momenteel moeite heeft met vragen die een bewijs vereisen dat verspreid is over de gehele video (bijv. samenvatting) en dat de prestaties op video-taken potentieel verbeterd kunnen worden door op video-data te trainen om temporele structuren beter te vangen. Echter, de huidige zero-shot transfer van afbeeldingen naar video's wordt gepresenteerd als een belangrijke stap vooruit voor efficiënte long-context VLM's.