💻 computer science

CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding

Het artikel stelt CoRDS voor, een op een coreset gebaseerde methode voor het begrijpen van videostreams die de token-gebaseerde heuristische pruning verbetert door een compacte, diverse en representatieve subset van de key-value cache te selecteren via een bicriteria-doelstelling en een orthogonaliteit-gedreven diversiteitscriterium, waardoor de prestaties worden verhoogd bij meerdere visie-taalmodellen en benchmarks onder vaste geheugenbudgetten.

Oorspronkelijke auteurs: Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer lange film bekijkt, maar je hebt slechts een klein, plakkerig post-it-notitieblokje om de belangrijkste onderdelen op te schrijven, zodat je er later vragen over kunt beantwoorden. Dit is de uitdaging waar moderne AI-modellen (zogenaamde Vision-Language Models) voor staan wanneer ze proberen lange video's in real-time te begrijpen. Ze kunnen niet alles onthouden, dus moeten ze de video "comprimeren" tot een kleiner geheugen.

Het artikel introduceert een nieuwe methode genaamd CoRDS (Coreset-based Representative and Diverse Selection) om dit op te lossen. Hieronder wordt uitgelegd hoe dit werkt, met behulp van eenvoudige analogieën:

Het probleem: De "Recency"-valkuil

Momenteel gebruiken de meeste AI-modellen een "post-it"-strategie die rust op eenvoudige regels, zoals:

"Houd het nieuwste vast": Onthoud alleen de laatste paar seconden.
"Houd het luidste vast": Onthoud alleen de delen die het meest voor de hand liggend of fel lijken.

De auteurs betogen dat dit vergelijkbaar is met het proberen een hele film samen te vatten door alleen de laatste scène te onthouden of de scène met de grootste explosie. Je zou dan de stille, cruciale aanwijzingen die 20 minuten geleden plaatsvonden, kunnen missen, die nodig zijn om later een mysterie op te lossen.

De oplossing: De "Curator"-benadering

CoRDS verandert het spel. In plaats van tokens (kleine stukjes videodata) één voor één te selecteren op basis van hoe luid of nieuw ze zijn, treedt het op als een museumcurator die probeert een kleine tentoonstelling op te zetten die de hele collectie vertegenwoordigt.

Hier zijn de drie belangrijkste trucs die CoRDS gebruikt:

1. Het "Tweehandige" perspectief (Gecombineerde KV-representatie)
Stel je voor dat elk stukje videodata twee kanten heeft:

De "Key" (Het Label): Dit vertelt de AI waar ze in het verleden moeten kijken. (Bijvoorbeeld: "Dit is de scène met de rode auto.")
De "Value" (De Inhoud): Dit is de feitelijke informatie. (Bijvoorbeeld: "De rode auto crashte tegen een boom.")

Oude methoden keken vaak alleen naar het label of alleen naar de inhoud. CoRDS kijkt naar beide tegelijk. Het zorgt ervoor dat de AI het juiste geheugen kan vinden en dat het geheugen daadwerkelijk de juiste details bevat. Het is alsof je ervoor zorgt dat je zowel de kaart (Key) als de foto (Value) van de locatie hebt, niet slechts het een of het ander.

2. De "Vul de kamer"-strategie (Coreset-selectie)
In plaats van het "beste" enkele item te kiezen, vraagt CoRDS: "Welke kleine groep items dekt het meeste terrein in de kamer?"
Als je een kamer vol meubels hebt, kies je niet alleen de duurste stoel. Je kiest een stoel, een tafel, een lamp en een tapijt die, samen, de stijl van de hele kamer vertegenwoordigen. CoRDS selecteert wiskundig een kleine groep videoframes die de geometrie van de volledige video-historie "dekken", zodat geen enkele belangrijke visuele stijl of scenesoort wordt overgeslagen.

3. De "Nieuw perspectief"-regel (Orthogonale Diversiteit)
Soms kies je misschien twee items die erg op elkaar lijken (zoals twee identieke rode stoelen). Dit verspilt ruimte. CoRDS heeft een regel om dit te voorkomen: "Kies niets dat te veel lijkt op wat we al hebben."
Het zoekt naar items die een "nieuw perspectief" of een nieuwe richting bieden. Als de AI al een herinnering heeft aan een rode auto, kiest het geen andere rode auto, tenzij het de enige manier is om dat deel van de video te dekken. Het zoekt actief naar unieke, verschillende momenten om het geheugen divers te maken.

De resultaten: Slimmer geheugen, niet gewoon meer geheugen

Het artikel testte dit op vier verschillende AI-modellen en vijf verschillende videobenchmarks (waaronder lange films en live streams).

Beter dan de concurrentie: CoRDS sloeg consistent bestaande methoden (zoals InfiniPot-V en StreamMem) die de "recency"- of "loudness"-regels gebruiken.
Klein is mooi: Zelfs wanneer de AI gedwongen werd een zeer klein geheugen te gebruiken (slechts 1/16e van de videodata behoudend), presteerde CoRDS beter dan modellen die toegang hadden tot veel grotere geheugens met behulp van oude methoden.
De "Volledige" model verslaan: In sommige gevallen presteerde CoRDS beter dan het AI-model dat probeerde de hele ongecomprimeerde video te onthouden. Dit suggereert dat door de "redundante" of "ruis"-delen van de video te verwijderen, de AI zich eigenlijk beter richt op de belangrijke aanwijzingen (het oplossen van het "naald in de hooiberg"-probleem).

Samenvatting

Zie CoRDS als een slimme editor voor een video. In plaats van alleen de saaie delen weg te knippen of alleen de nieuwste clips te bewaren, selecteert het zorgvuldig een diverse, representatieve handvol momenten die het hele verhaal vastleggen. Hierdoor kan de AI vragen over een video van 1 uur net zo goed beantwoorden alsof het de hele film had bekeken, maar met slechts een fractie van het computergeheugen.

Technische Samenvatting: CoRDS

Probleemstelling

Streaming Video Understanding (SVU) met Large Vision-Language Models (VLM's) staat voor een kritieke bottleneck: de noodzaak om een gebonden geheugengebruik te handhaven tijdens het verwerken van onbeperkte video-streams in real-time. In tegenstelling tot offline video-interpretatie, waarbij de volledige context beschikbaar is voor frame-selectie of query-afhankelijke compressie, vereist SVU causale, query-agnostische verwerking waarbij toekomstige frames onbekend zijn.

Bestaande oplossingen vertrouwen voornamelijk op Key-Value (KV) cache-compressie met behulp van lokale, token-gerichte heuristieken (bijv. recentheid, temporale redundantie of op normen gebaseerde salientie). Het artikel betoogt dat deze methoden lijden aan een fundamentele beperking: ze optimaliseren niet expliciet voor de globale representativiteit van het behouden geheugen. Bijgevolg worden aanwijzingen die individueel zwak zijn maar collectief belangrijk (zoals statische visuele details of temporair verdeelde structuren) vaak verworpen omdat ze op het moment van compressie lokaal niet opvallen.

Methodologie: CoRDS

De auteurs stellen CoRDS (Coreset-based Representative and Diverse Selection) voor, een trainingsvrij, query-agnostisch kader dat KV-cache-compressie herformuleert als een representatief coreset-selectieprobleem. In plaats van tokens onafhankelijk te scoren, selecteert CoRDS een klein subset dat het opgebouwde visuele cache geometrisch dekt.

De methode werkt op drie kernprincipes:

1. Gezamenlijke KV-representatie en Bicriteria-dekkingsgraad

De auteurs stellen dat effectieve selectie rekening moet houden met zowel Keys (die de ophaalstructuur bepalen) als Values (die de informatie bepalen die door de attention-mechanisme wordt uitgelezen).

Representatie: Tokens worden weergegeven in een gezamenlijke kenmerkruimte $\phi^{(KV)}_i = [k_i; v_i]$ .
Doel: Een bicriteria-afstandsmetriek $d_\alpha(i, S)$ wordt gedefinieerd om de afstand van een kandidaat-token $i$ tot de geselecteerde set $S$ te meten, waarbij de benaderingsfouten in de key-ruimte en value-ruimte in evenwicht worden gebracht:
$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$
waarbij $\alpha \in [0, 1]$ de afweging controleert. Empirische resultaten suggereren dat het voorkeuren geven aan values ( $\alpha < 0,5$ ) betere prestaties oplevert.
Optimalisatie: Het subset wordt gretig geselecteerd met behulp van een D2-achtige 'farthest-first' regel, die clustercentra zaait evenredig aan hun kwadratische afstand tot eerder gekozen centra. Dit biedt een $O(\log k)$ -benaderingsgarantie voor de $k$ -means-doelstelling.

2. Orthogonale Diversiteit voor Non-redundantie

Een zuivere op dekking gebaseerde selectie kan een redundant coreset opleveren waarbij meerdere tokens in vergelijkbare richtingen in de kenmerkruimte liggen. Om dit aan te pakken, introduceert CoRDS een orthogonale anti-redundantieterm.

Mechanisme: Voor een kandidaat-token berekent de methode het residu-vector loodrecht op de span van de momenteel geselecteerde keys (en values).
Scoren: Een noviteitscore gebaseerd op de kwadratische norm van dit residu wordt toegevoegd als een zachte bonus aan de dekkingsscore. Dit wordt gemotiveerd door log-determinant subset-selectie, die een $(1 - e^{-1})$ -benadering garandeert voor monotone submodulaire maximalisatie.
Eindscore: De selectiescore combineert de bicriteria-afstand en de orthogonale noviteit:
$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$

3. Laag-selectieve compressie en Cascade-hergebruik

Om de rekenkundige overhead te minimaliseren:

Laagselectie: De coreset-selecteur wordt alleen toegepast op de onderste 25% van de decoder-lagen, waar visuele redundantie het hoogst is. Latere lagen, die taak-geconditioneerde kenmerken coderen, blijven ongecomprimeerd.
Cross-Layer Cascade: Een kleine set "anker"-lagen voert de volledige selectie uit. "Volger"-lagen hergebruiken de geselecteerde token-indices van hun ankerlagen zonder de selectie opnieuw te berekenen, wat de latentie aanzienlijk verlaagt terwijl laag-specifieke representaties behouden blijven.

Belangrijkste Bijdragen

Coreset-visie op Streaming-compressie: Een verschuiving van lokale token-pruning naar een query-agnostische, op dekking gerichte formulering die een compact geheugen selecteert dat de opgebouwde video-context vertegenwoordigt.
Gezamenlijke KV-representatieve Dekking: De introductie van een gezamenlijke key-value-representatie en een bicriteria-doelstelling die expliciet de ophaalstructuur (keys) en output-inhoud (values) in evenwicht brengt, en aantoont dat selectie in slechts één ruimte suboptimaal is.
Orthogonale Diversiteit: Een anti-redundantiemechanisme dat is gebaseerd op log-determinant subset-selectie en kandidaten bevoordeelt die nieuwe richtingen aan de kenmerkruimte bijdragen, waardoor het verspillen van token-budgetten aan redundante informatie wordt voorkomen.

Experimentele Resultaten

De methode werd geëvalueerd op vier open-source VLM's (Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) over vijf benchmarks (EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench).

Prestaties: Bij vaste cache-budgetten (3K en 6K tokens) overtreft CoRDS consistent heuristische baselines zoals InfiniPot-V en StreamMem.
- Op MLVU verbeterde CoRDS de prestaties met +4,2% ten opzichte van de beste baseline bij een 6K-budget.
- Bij agressieve compressieverhoudingen (1/16) komt CoRDS vaak overeen met of overtreft het de prestaties van de Full KV (ongecomprimeerde) baseline, wat suggereert dat welke tokens worden bewaard kritischer is dan hoeveel.
Streaming-efficiëntie: In streaming-benchmarks (OVO-Bench, StreamingBench) toonde CoRDS winst op achterwaartse, real-time en voorwaartse tracks, met name bij taken waarbij bewijs verspreid is over lange duur (bijv. Prospectief Redeneren, Tellen).
Dekkingsanalyse: Analyse van de Cumulatieve Distributiefunctie (CDF) van dekking bevestigt dat CoRDS een meer representatief subset van de volledige cache behoudt in vergelijking met baselines, met lagere cosinus-afstanden tot de originele token-set.
Efficiëntie: De cross-layer cascade-strategie handhaaft een vlakke geheugengebruik en bereikt een prefill-doorvoer die vergelijkbaar is met of beter is dan baselines, zelfs voor video's tot 1000 seconden lang.

Betekenis en Beweringen

Het artikel beweert dat representatieve coreset-selectie een effectiever principe biedt dan token-gerichte pruning voor geheugen-beperkte streaming video-interpretatie. Door expliciet te optimaliseren voor de geometrische dekking van de opgebouwde geschiedenis in een gezamenlijke key-value-ruimte, mitigeert CoRDS het "naald-in-hooiberg"-probleem dat inherent is aan redeneren met lange contexten.

De auteurs benadrukken dat hun aanpak trainingsvrij en query-agnostisch is, waardoor het direct toepasbaar is op bestaande transformer-gebaseerde VLM's zonder hertraining. De resultaten onderstrepen dat prestatiewinst in streaming-omgevingen niet alleen voortkomt uit het vergroten van de cache-grootte, maar uit het behouden van een minder redundante en informatiever subset van visuele tokens. Het artikel concludeert dat deze geometrische onderbouwing een principiële alternatief biedt voor op heuristieken gebaseerde compressie voor agenten met persistente perceptie.