Technische Samenvatting: ProtoKV

Probleemstelling

Streaming Video Understanding (SVU) vereist systemen die continue videostreams kunnen verwerken en asynchrone queries in realtime kunnen beantwoorden onder strikte GPU-geheugen- en latentiebeperkingen. Een cruciale uitdaging in deze setting is de vertraagde query (delayed query): beslissende visuele aanwijzingen kunnen kortstondig en vroeg in een stream verschijnen, maar de query arriveert aanzienlijk later, nadat vele opeenvolgende frames zijn verwerkt.

Onder begrensde geheugencapaciteit staan standaard benaderingen voor een dilemma:

1. Sliding Window (SWA): Bewaart alleen recente tokens, wat een constante geheugenvoetafdruk garandeert maar bewijsmateriaal onherroepelijk doet verdwijnen zodra het buiten het venster treedt.
2. Token Retention/Compressie: Probeert een subset van historische tokens te behouden. Echter, naarmate de vertraging ($\Delta$) tussen het bewijs en de query groter wordt, lijden deze methoden onder "post-evidence update druk". Beslissende aanwijzingen worden vaak verwijderd of verdund omdat het systeem query-agnostische retentiebeslissingen moet nemen zonder te weten welke toekomstige tokens relevant zullen zijn. Zodra een specifieke token-instantie wordt verwijderd, gaat de bijbehorende fijnmazige aanwijzing verloren.

Het artikel betoogt dat het representeren van verre historie als een verzameling behouden token-instanties kwetsbaar is onder lange vertragingen. In plaats daarvan heeft het systeem een mechanisme nodig dat het bewijs van voorbije gebeurtenissen behoudt in plaats van de specifieke token-instanties, waardoor een gracieuze degradatie mogelijk is naarmate de vertraging toeneemt.

Methodologie: ProtoKV

ProtoKV is een geheugenmechanisme met een constante voetafdruk, ontworpen voor streaming video-LLM's. Het verschuift de representatie van verre historie van token-retentie naar een samenvattings-toestand (summary-state) benadering met een tweelaagse online toestand:

1. Tweelaagse Architectuur

• Near Window (Exact): Een ringbuffer ($B_{near}$) die de exacte Key-Value (KV) paren opslaat voor de meest recente $W$ frames. Dit behoudt fijnmazige, temporele lokale bewijslast zonder benadering.
• Far Memory (Samenvattings-toestand): Een prototype bank ($B_{far}$) met een vaste capaciteit van grootte $K_{max}$ die oudere, geëvinceerde historie aggregeert. In plaats van token-instanties op te slaan, slaat het object-centrische prototypen op.

2. Online Update Mechanisme

Terwijl de videostream vordert, worden tokens geëvinceerd uit het near window en geabsorbeerd in de far memory via een continuïteitsbewuste toewijzing (continuity-aware assignment):

• Toewijzing: Geëvinceerde tokens worden toegewezen aan een prototype $k$ door een online kostenfunctie te minimaliseren die de volgende zaken combineert:
  • Key-ruimte gelijkenis (het clusteren van tokens met vergelijkbare keys).
  • Ruimtelijke continuïteit (het afdwingen van track-consistente associatie via ruimtelijke coördinaten).
  • Stalheid-controle (het ontmoedigen van toewijzing aan prototypen die recentelijk niet zijn bijgewerkt).
• Prototype Update: Eenmaal toegewezen, wordt het prototype bijgewerkt als een persistente samenvattings-toestand:
  • Centra: Key en value centra ($c_k, p_k$) worden bijgewerkt via een Exponential Moving Average (EMA).
  • Massa: Een teller ($n_k$) houdt het aantal geabsorbeerde tokens bij.
  • Residuele Statistiek: Om het verlies van onderscheidende aanwijzingen door eenvoudige middeling te voorkomen, onderhoudt ProtoKV Product Quantization (PQ)-gebaseerde histogrammen van de residuen ($r_K = K - c_k$, $r_V = V - p_k$). Dit legt de intra-prototype diversiteit vast zonder individuele token-codes op te slaan.
  • Onderhoud: De bank ondergaat lichtgewicht onderhoud, inclus\u00zaand massa-decay voor inactieve prototypen, het samenvoegen van redundante prototypen en het recyclen van lege slots.

3. Query-interface: Pseudo-Token Synthese

Op het moment van de query stelt ProtoKV de far memory bloot aan het standaard aandachtmechanisme zonder architecturale wijzigingen:

• Pseudo-Tokens: Elk prototype wordt gesynthetiseerd tot $S$ pseudo-KV tokens. Deze worden geconstrueerd door het centrum van het prototype te combineren met representatieve residuele patronen die gedecodeerd zijn uit de opgeslagen PQ-histogrammen.
• Mass-Aware Bias: Om rekening te houden met de veelheid aan tokens die door een prototype worden samengevat, wordt een log-massa bias ($b_k = \log n_k$) toegevoegd aan de attention logits. Dit zorgt ervoor dat prototypen die meer bewijs vertegenwoordigen, een proportioneel sterkere invloed uitoefenen.
• Vaste Context: De uiteindelijke context bestaat uit de exacte near-window tokens plus de begrensde hoeveelheid pseudo-tokens ($L_{context} = W + K_{max} \cdot S$), wat zorgt voor een constante query-tijd latentie en geheugengebruik, ongeacht de lengte van de stream.

Belangrijkste Bijdragen

1. Far-Memory Mechanisme: Introductie van een fixed-capacity, spatiotemporeel consistente prototype bank, aangevuld met residuele statistieken om verre historie samen te vatten, waarmee wordt afgestapt van het behouden van token-instanties.
2. Pseudo-Token Synthese: Een training-vrije methode om begrensde pseudo-KV tokens te synthetiseren met mass-aware weging, waardoor de standaard aandacht toegang krijgt tot verre historische bewijslast onder een constante query-tijd voetafdruk.
3. Delayed-Query Protocol: Een retrospectieve query-filtering protocol om de robuustheid van SVU te evalueren tegen toenemende query-vertragingen terwijl de grondwaarheid invariant blijft.

Experimentele Resultaten

ProtoKV werd geëvalueerd op vier streaming video benchmarks (RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench) met gebruik van LLaVA-OV-7B en Qwen2.5-VL-7B backbones.

• Prestaties: Onder gelijke geheugenbudgetten presteert ProtoKV beter dan sliding-window baselines en token-retentie methoden (bijv. InfiniPot-V). Het bereikt tot wel 12,5 procentpunt hogere nauwkeurigheid dan token-retentie baselines in langdurige vertragingsregimes.
• Robuustheid tegen Vertraging: Hoewel alle methoden degraderen naarmate de query-vertraging ($\Delta$) toeneemt, vertoont ProtoKV significant vlakkere degradatiecurves. Het prestatieverschil wordt groter naarmate $\Delta$ groeit, wat aantoont dat de samenvattings-toestand benadering beslissende aanwijzingen beter bewaart onder aanhoudende post-evidence update druk.
• Efficiëntie: ProtoKV behoudt concurrerende query-tijd Time-To-First-Token (TTFT) en een lagere end-to-end latentie vergeleken met offloading/retrieval-gebaseerde baselines (bijv. ReKV), die lijden onder retrieval overhead.
• Offline Prestaties: Wanneer toegepast op offline video understanding benchmarks (VideoMME, MLVU), blijft ProtoKV competitief met state-of-the-art compressiemethoden, wat suggereert dat de bruikbaarheid zich uitstrekt buiten streaming scenario's.

Betekenis en Claims

Het artikel claimt dat ProtoKV een fundamentele beperking in streaming video understanding aanpakt: de kwetsbaarheid van token-retentiestrategieën onder lange vertragingen. Door over te stappen van het behouden van specifieke token-instanties naar het onderhouden van een samenvattings-toestand van de verre historie, stelt ProtoKV schaarse, beslissende aanwijzingen in staat om vele opeenvolgende updates te overleven zonder te worden overschreven of verdund.

De auteurs benadrukken dat dit ontwerp is afgestemd op vertraagde queries (delayed queries) waarbij antwoorden afhangen van de aanwezigheid van gebeurtenissen in het verleden in plaats van de instantane visuele inhoud. De resultaten suggereren dat voor interactieve systemen die een altijd-aan, query-agnostisch onderhoud vereisen met een vaste on-device voetafdruk, het representeren van verre historie als een compacte, object-centrische samenvattings-toestand een effectiever werkpunt is dan sliding windows of token selectie. Het werk benadrukt de waarde van samenvattings-toestand geheugen voor stabiele streaming systemen onder aanhoudende update druk.