Technische Samenvatting: VLMaxxing via FrameMogging

Probleemstelling

Video Vision-Language Models (VLM's) maken vaak onnodige rekenkosten door visuele toestanden die niet zijn gewijzigd, opnieuw te coderen. In scenario's zoals fabrieksmonitoring, beveiligingsfeeds of meer-draads dialogen over één video, blijft de visuele achtergrond vaak statisch terwijl het model voor elke query dichte RGB-frames opnieuw verwerkt. Deze "herberekening"-verspilling treedt op in twee primaire regimes:

1. Eerste-doorgang Inname: Het verwerken van verse videoframes waarbij visuele redundantie binnen de clip zelf bestaat.
2. Na-Inname Opvolging: Het beantwoorden van vervolgvragen over dezelfde video waarbij de visuele prefix al is berekend.

Het artikel betoogt dat huidige pipelines elke frame behandelen als nieuw bewijs, goedkope temporale signalen (stasis, beweging, residuen) negerend die beschikbaar zijn in de stream of afgeleid kunnen worden van pixelverschillen. De kernuitdaging is te identificeren waar een gecachte staat veilig kan worden hergebruikt zonder de antwoordtrouw te schaden, en waar nieuw visueel bewijs moet worden aangeschaft.

Methodologie

De auteurs stellen een trainingsvrij, anti-herberekening framework voor dat is geëvalueerd op bevroren VLM-stacks (Qwen2.5-VL-7B-Instruct-4bit en Gemma 4-E4B-4bit). De aanpak is verdeeld in drie distincte regimes, elk met specifieke mechanismen en validatiepoorten:

1. C-PERSIST: Hergebruik na Inname voor Opvolgvragen

Dit regime richt zich op latency-reductie voor vervolgvragen over dezelfde video.

• Mechanisme: Hergebruikt de Key-Value (KV) cache van de eerste query.
• Faalmodus: Ongehersteld hergebruik leidt tot een "cache-bekken" waarbij het model pathologische output genereert of afwijkt in antwoordkeuze vanwege verouderde visuele context.
• Herstelstrategie: Selectieve Her-Prefill. Voorafgaand aan een opvolgquery ververst het systeem een kleine "visuele staart" (de nieuwste $K$ frames) terwijl de rest van de gecachte prefix behouden blijft.
  • Vaste $K=1$: Vervvers alleen het nieuwste frame.
  • Adaptieve Erfopname: Ververs de staart bij de eerste opvolgquery, en laat vervolgens opvolgqueries de gerepareerde cache-staat erven zonder verdere visuele her-prefill.
• Validatie: Gebruikt gepaarde drift-metrieken (keuzedrift, correctheidsdrift en detectie van pathologische output) in plaats van alleen aggregate nauwkeurigheid om ervoor te zorgen dat hetzelfde specifieke antwoord behouden blijft.

2. C-VISION: Eerste-doorgang Visuele Pruning

Dit regime richt zich op versnelling bij de initiële inname van een verse video.

• Mechanisme: Snoeit visuele tokens binnen de visietoren voordat de volledige dichte codering voltooid is.
• Signaal: Gebruikt pixel-domein verschillen (maximale absolute RGB-difference over model-uitgelijnde blokken) om statische regio's te identificeren.
• Beperking: De versnelling is begrensd door het Stage-Share Plafond (C-CEILING). Als de visietoren slechts een fractie ($f_{fixed}$) van de totale wandkloktijd inneemt, kan de end-to-end versnelling niet groter zijn dan $1 / (f_{fixed} + (1-f_{fixed})/s)$, waarbij $s$ de componentversnelling is.
• Validatie: Meet end-to-end latency-reductie tegenover een dichte baseline, waarbij wordt gegarandeerd dat er geen gepaarde drift of parse-fouten optreden.

3. C-CEILING: Rekenkundige Veiligheidsmarges

Het artikel introduceert een strikte boekhoudkundige methode om de vermenigvuldiging van onafhankelijke versnellingsclaims te voorkomen. Het stelt dat component-niveau winsten (bijvoorbeeld het snoeien van visuele tokens) zich alleen vertalen naar end-to-end winsten evenredig met de tijd die die component daadwerkelijk verbruikt. Dit verklaart waarom eerste-doorgangswinsten vaak bescheiden zijn in vergelijking met opvolgwinsten.

4. Kandidaat C-STREAM: Native-Rate Streaming

Een aparte evaluatiestraat onderzoekt staatshergebruik in live/native-rate pipelines. Het test topologie-bewuste cache-snapshots en vergelijkt deze met sterke baselines zoals lage-FPS dichte sampling en screenshot polling.

Belangrijkste Resultaten

Hergebruik na Inname (C-PERSIST)

• Prestatie: Op Qwen2.5-VL-7B bereikt adaptieve gerepareerde-cache-erfopname een 14,90–35,92× versnelling op opvolgqueries in vergelijking met koude opvolgvragen.
• Trouw: Over een breedte-instelling van 93 queries (31 sessies × 3 queries) werd 0/93 waargenomen gepaarde keuze- of correctheidsdrift geobserveerd.
• Stress-testen: In een stress-test van 50 beurten met herhaalde vragen behield adaptieve reparatie 0/343 drift, terwijl vaste $K=1$ spaarzame drift vertoonde (3/343 keuzedrift).
• Economie: De versnelling is sterk afhankelijk van de sessielengte. Een sessie met één query ziet minimale winst (de eerste query betaalt de volle prijs), maar een sessie van 50 queries ziet een 32,17× effectieve versnelling.

Eerste-doorgang Pruning (C-VISION)

• Gemma 4-E4B: Bereikte een schone 1,316× eerste-query versnelling op een 32-frame korte VideoMME-slice met 0 gepaarde drift en 0 parse-fouten. Dit vertegenwoordigt een reductie van 42,2% in visietorentijd.
• Qwen2.5-VL: Toonde configuratiegevoeligheid. Aggressieve pruning (keep rate 0,50) faalde qua trouw. Een conservatieve keep rate (0,85) herstelde de aggregate nauwkeurigheid maar leverde slechts een 1,032× versnelling op door lage visietijd-reductie (13,6%).
• Plafond Validatie: De waargenomen versnellingen liepen consistent overeen met de C-CEILING voorspellingen op basis van gemeten stage-aandelen, wat bevestigt dat winsten worden begrensd door het aandeel van de visietoren in de totale berekening.

Composities en Grenzen

• Niet-composabiliteit: Het combineren van eerste-doorgang pruning en opvolghergebruik levert geen multiplicatieve versnelling op. Een compositiesaudit ($n=60$) resulteerde in een 1,042× winst, precies daar waar het stage-share-plafond voorspelde, wat bewijst dat winsten niet lineair stapelen.
• Streaming Baselines: In native-rate streaming tests presteerde een lage-FPS dichte baseline (4 frames) vaak beter dan complexe event-window proxies, wat benadrukt dat simpele recency-baselines serieuze concurrenten zijn. Standaard cross-turn cache-hergebruik in 26B-modellen bleek onveilig, wat divergente tekst produceerde.

Betekenis en Claims

Het artikel positioneert zichzelf niet als een universele versnellingvermenigvuldiger, maar als een meetinstrument voor de kwaliteit-rekenkundige grens van bevroren VLM's.

1. Herdrukking van Hergebruik: De primaire bijdrage is het onderscheid tussen "semantische substitutie" (testen of een antwoord standhoudt met gecachte features) en "tijdsgebonden overgeslagen werk" (werkelijke wandkloktijdsreductie). Het artikel claimt versnelling alleen waar tijdsgebonden werk aantoonbaar is overgeslagen.
2. De "Bekken" Faalmodus: Het identificeert een specifieke faalmodus in persistent caching waarbij ongerepareerde staat leidt tot pathologische output, en stelt selectieve her-prefill voor als het noodzakelijke herstelmechanisme om uit dit bekken te komen.
3. Boekhoudkundige Disciplinering: Het artikel handhaaft het C-CEILING principe: een componentversnelling is alleen een end-to-end winst als het een fase versnelt die een significant aandeel van de wandkloktijd bezit. Dit verklaart waarom eerste-doorgangswinsten bescheiden zijn en waarom kopernummers uit verschillende tabellen niet met elkaar vermenigvuldigd kunnen worden.
4. Toekomstige Mediavereisten: De auteurs betogen dat huidige VLM's gedwongen worden de wereld opnieuw te ontdekken vanuit dichte RGB. Het artikel motiveert een verschuiving naar VLM-native mediastreams die statupdates (beweging, onzekerheid, object-ID's, sensortijd) direct blootleggen, waardoor modellen alleen nieuw bewijs hoeven aan te schaffen waar validatie dit vereist.

Beperkingen: De claims zijn strikt begrensd tot de geteste regimes (bevroren modellen, specifieke benchmarks zoals VideoMME en MVBench). Het artikel stelt expliciet dat de resultaten geen universele wetten zijn; bijvoorbeeld, de schuifvenster-cache-semantiek van Gemma blokkeerde bepaalde persistent hergebruikstrategieën, en Qwen's routing toonde aan dat pixelverschillen geen semantische orakels zijn. De streamingresultaten worden gepresenteerd als grensbewijs en kandidaatvereisten in plaats van een gefinaliseerd productiesysteem.