💻 computer science

CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding

Das Papier schlägt CoRDS vor, eine auf Coresets basierende Methode zum Verständnis von Streaming-Videos, die die tokenweise heuristische Pruning durch die Auswahl einer kompakten, diversen und repräsentativen Teilmenge des Key-Value-Cache mittels eines bicriteriellen Ziels und eines auf Orthogonalität basierenden Diversitätskriteriums verbessert und dadurch die Leistung über mehrere Vision-Sprach-Modelle und Benchmarks hinweg unter festen Speicherkontingenten steigert.

Ursprüngliche Autoren: Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen sich einen sehr langen Film an, haben aber nur einen winzigen, klebrigen Zettel, um die wichtigsten Teile aufzuschreiben, damit Sie später Fragen dazu beantworten können. Dies ist die Herausforderung, der sich moderne KI-Modelle (sogenannte Vision-Language-Modelle) stellen müssen, wenn sie versuchen, lange Videos in Echtzeit zu verstehen. Sie können sich nicht alles merken, also müssen sie das Video in einen kleineren Speicher „komprimieren".

Die Arbeit stellt eine neue Methode namens CoRDS (Coreset-based Representative and Diverse Selection) vor, um dieses Problem zu lösen. Hier ist die Funktionsweise, erläutert mit einfachen Analogien:

Das Problem: Die „Kürzlichkeits"-Falle

Derzeit nutzen die meisten KI-Modelle eine Strategie mit „klebrigem Zettel", die auf einfachen Regeln basiert, wie zum Beispiel:

„Behalte nur das Neueste": Erinnere dich nur an die letzten paar Sekunden.
„Behalte nur das Lauteste": Erinnere dich nur an die Teile, die am offensichtlichsten oder hellsten wirken.

Die Autoren argumentieren, dass dies so ist, als würde man versuchen, einen ganzen Film zusammenzufassen, indem man sich nur an die letzte Szene oder die Szene mit der größten Explosion erinnert. Man könnte die leisen, entscheidenden Hinweise verpassen, die vor 20 Minuten stattfanden und die benötigt werden, um später ein Rätsel zu lösen.

Die Lösung: Der „Kurator"-Ansatz

CoRDS verändert das Spiel. Anstatt Tokens (winzige Teile von Videodaten) einzeln danach auszuwählen, wie laut oder neu sie sind, agiert es wie ein Museumskurator, der versucht, eine kleine Ausstellung zu gestalten, die die gesamte Sammlung repräsentiert.

Hier sind die drei Haupttricks, die CoRDS anwendet:

1. Der „Zwei-Hande"-Blick (Gemeinsame KV-Repräsentation)
Stellen Sie sich vor, jedes Stück Videodaten hat zwei Seiten:

Der „Schlüssel" (Das Etikett): Dies sagt der KI, wo sie in der Vergangenheit suchen soll. (Beispiel: „Dies ist die Szene mit dem roten Auto.")
Der „Wert" (Der Inhalt): Dies ist die eigentliche Information. (Beispiel: „Das rote Auto fuhr in einen Baum.")

Ältere Methoden betrachteten oft nur das Etikett oder nur den Inhalt. CoRDS betrachtet beides gleichzeitig. Es stellt sicher, dass die KI den richtigen Speicherort finden kann und dass dieser Speicherort tatsächlich die richtigen Details enthält. Es ist so, als würde man sicherstellen, dass man sowohl die Karte (Schlüssel) als auch das Foto (Wert) des Ortes hat, nicht nur das eine oder das andere.

2. Die „Bedecke den Raum"-Strategie (Coreset-Auswahl)
Anstatt das „beste" einzelne Item auszuwählen, fragt CoRDS: „Welche kleine Gruppe von Items deckt den größten Teil des Raums ab?"
Wenn Sie einen Raum voller Möbel haben, wählen Sie nicht nur den teuersten Stuhl aus. Sie wählen einen Stuhl, einen Tisch, eine Lampe und einen Teppich aus, die zusammen den gesamten Stil des Raums repräsentieren. CoRDS wählt mathematisch eine kleine Gruppe von Videoframes aus, die die Geometrie der gesamten Videogeschichte „abdeckt" und sicherstellt, dass kein wichtiger visueller Stil oder keine Szenenart ausgelassen wird.

3. Die „Neuer Winkel"-Regel (Orthogonale Diversität)
Manchmal wählt man zwei Items aus, die sich sehr ähnlich sind (wie zwei identische rote Stühle). Das verschwendet Platz. CoRDS hat eine Regel, um dies zu verhindern: „Wähle nichts aus, das zu sehr dem ähnelt, was wir bereits haben."
Es sucht nach Items, die einen „neuen Winkel" oder eine neue Richtung bieten. Wenn die KI bereits eine Erinnerung an ein rotes Auto hat, wählt sie kein weiteres rotes Auto aus, es sei denn, es ist der einzige Weg, diesen Teil des Videos abzudecken. Es sucht aktiv nach einzigartigen, unterschiedlichen Momenten, um den Speicher vielfältig zu gestalten.

Die Ergebnisse: Intelligenterer Speicher, nicht nur mehr Speicher

Die Arbeit testete dies an vier verschiedenen KI-Modellen und fünf verschiedenen Video-Benchmarks (einschließlich langer Filme und Live-Streams).

Besser als die Konkurrenz: CoRDS schlug konsistent bestehende Methoden (wie InfiniPot-V und StreamMem), die die „Kürzlichkeits"- oder „Lautstärke"-Regeln verwenden.
Klein ist schön: Selbst wenn die KI gezwungen wurde, einen sehr kleinen Speicher zu verwenden (nur 1/16 der Videodaten zu behalten), schnitt CoRDS besser ab als Modelle, die über viel größere Speicher mit alten Methoden verfügten.
Das „Voll"-Modell schlagen: In einigen Fällen schnitt CoRDS besser ab als das KI-Modell, das versuchte, das gesamte unkomprimierte Video zu merken. Dies deutet darauf hin, dass die KI durch das Entfernen der „redundanten" oder „verrauschten" Teile des Videos tatsächlich besser auf die wichtigen Hinweise fokussiert (und das Problem der „Nadel im Heuhaufen" löst).

Zusammenfassung

Denken Sie an CoRDS als einen intelligenten Editor für ein Video. Anstatt nur die langweiligen Teile herauszuschneiden oder nur die neuesten Clips zu behalten, wählt es sorgfältig eine vielfältige, repräsentative Handvoll Momente aus, die die gesamte Geschichte einfangen. Dies ermöglicht es der KI, Fragen zu einem 1-Stunden-Video genauso gut zu beantworten, als hätte sie den ganzen Film gesehen, jedoch mit einem Bruchteil des Computerspeichers.

Technische Zusammenfassung: CoRDS

Problemstellung

Das Verständnis von Streaming-Videos (SVU) mit Large Vision-Language Models (VLM) stößt auf einen kritischen Engpass: die Notwendigkeit, einen begrenzten Speicherbedarf beizubehalten, während unendliche Videostreams in Echtzeit verarbeitet werden. Im Gegensatz zum Offline-Videoverständnis, bei dem der vollständige Kontext für das Abtasten von Frames oder kontextabhängige Komprimierung verfügbar ist, erfordert SVU eine kausale, abfrageunabhängige Verarbeitung, bei der zukünftige Frames unbekannt sind.

Bestehende Lösungen verlassen sich primär auf die Komprimierung des Key-Value (KV)-Caches unter Verwendung lokaler, tokenweiser Heuristiken (z. B. Aktualität, zeitliche Redundanz oder normbasierte Salienz). Die Arbeit argumentiert, dass diese Methoden unter einer fundamentalen Einschränkung leiden: Sie optimieren nicht explizit die globale Repräsentativität des erhaltenen Speichers. Folglich werden Hinweise, die individuell schwach, aber kollektiv wichtig sind (wie statische visuelle Details oder zeitlich verteilte Strukturen), oft verworfen, da ihnen zum Zeitpunkt der Komprimierung die lokale Salienz fehlt.

Methodik: CoRDS

Die Autoren schlagen CoRDS (Coreset-based Representative and Diverse Selection) vor, ein trainingsfreies, abfrageunabhängiges Framework, das die KV-Cache-Komprimierung als Problem der Auswahl repräsentativer Coresets neu fasst. Anstatt Tokens unabhängig zu bewerten, wählt CoRDS eine kleine Teilmenge aus, die den akkumulierten visuellen Cache geometrisch abdeckt.

Die Methode basiert auf drei Kernprinzipien:

1. Gemeinsame KV-Repräsentation und bikriterielle Abdeckung

Die Autoren gehen davon aus, dass eine effektive Auswahl sowohl Keys (die die Abrufstruktur bestimmen) als auch Values (die die durch die Aufmerksamkeit ausgelesenen Informationen bestimmen) berücksichtigen muss.

Repräsentation: Tokens werden in einem gemeinsamen Merkmalsraum dargestellt: $\phi^{(KV)}_i = [k_i; v_i]$ .
Ziel: Eine bikriterielle Distanzmetrik $d_\alpha(i, S)$ wird definiert, um den Abstand eines Kandidaten-Tokens $i$ zur ausgewählten Menge $S$ zu messen und Approximationsfehler im Key-Raum und Value-Raum auszugleichen:
$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$
wobei $\alpha \in [0, 1]$ den Trade-off steuert. Empirische Ergebnisse deuten darauf hin, dass eine Bevorzugung der Values ( $\alpha < 0,5$ ) zu besseren Leistungen führt.
Optimierung: Die Teilmenge wird gierig unter Verwendung einer D2-artigen „farthest-first"-Regel ausgewählt, die Clusterzentren proportional zu ihrem quadrierten Abstand von zuvor gewählten Zentren initialisiert. Dies bietet eine $O(\log k)$ -Approximationsgarantie für das $k$ -Means-Ziel.

2. Orthogonale Diversität für Nicht-Redundanz

Eine rein abdeckungsorientierte Auswahl kann zu einem redundanten Coreset führen, bei dem mehrere Tokens in ähnliche Richtungen im Merkmalsraum zeigen. Um dies zu adressieren, führt CoRDS einen orthogonalen Anti-Redundanz-Term ein.

Mechanismus: Für einen Kandidaten-Token berechnet die Methode den Residualvektor, der orthogonal zur Spannweite der aktuell ausgewählten Keys (und Values) steht.
Bewertung: Ein Neuheitsscore, basierend auf der quadrierten Norm dieses Residuals, wird als weicher Bonus zum Abdeckungsscore addiert. Dies wird durch die log-determinante Teilauswahl motiviert, die eine $(1 - e^{-1})$ -Approximation für monotone submodulare Maximierung garantiert.
Endscore: Der Auswahlscore kombiniert die bikriterielle Distanz und die orthogonale Neuheit:
$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$

3. Schichtenselektive Komprimierung und kaskadierende Wiederverwendung

Um den Rechenaufwand zu minimieren:

Schichtenauswahl: Der Coreset-Auswahlmechanismus wird nur auf die unteren 25 % der Decoder-Schichten angewendet, wo die visuelle Redundanz am höchsten ist. Spätere Schichten, die aufgabenbedingte Merkmale kodieren, bleiben unkomprimiert.
Schichtenübergreifende Kaskade: Eine kleine Menge an „Anker"-Schichten führt die vollständige Auswahl durch. „Folge"-Schichten wiederverwenden die ausgewählten Token-Indizes ihrer Ankerschichten ohne Neuberechnung der Auswahl, was die Latenz erheblich reduziert und gleichzeitig schichtenspezifische Repräsentationen bewahrt.

Hauptbeiträge

Coreset-Sichtweise der Streaming-Komprimierung: Ein Wechsel vom lokalen Token-Pruning zu einer abfrageunabhängigen, abdeckungsorientierten Formulierung, die einen kompakten Speicher auswählt, der den akkumulierten Videokontext repräsentiert.
Gemeinsame KV-repräsentative Abdeckung: Die Einführung einer gemeinsamen Key-Value-Repräsentation und eines bikriteriellen Ziels, das die Abrufstruktur (Keys) und den Ausgabeinhalt (Values) explizit ausbalanciert und zeigt, dass die Auswahl in nur einem Raum suboptimal ist.
Orthogonale Diversität: Ein Anti-Redundanz-Mechanismus, der auf der log-determinanten Teilauswahl basiert und Kandidaten begünstigt, die neue Richtungen zum Merkmalsraum beitragen, wodurch die Verschwendung von Token-Budgets für redundante Informationen verhindert wird.

Experimentelle Ergebnisse

Die Methode wurde an vier Open-Source-VLMs (Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) über fünf Benchmarks (EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench) evaluiert.

Leistung: Bei festen Cache-Budgets (3K und 6K Tokens) übertrifft CoRDS konsistent heuristische Baselines wie InfiniPot-V und StreamMem.
- Auf MLVU verbesserte CoRDS die Leistung um +4,2 % gegenüber der besten Baseline bei einem 6K-Budget.
- Bei aggressiven Komprimierungsverhältnissen (1/16) erreicht CoRDS oft die Leistung der Full-KV-Baseline (unkomprimiert) oder übertrifft sie, was darauf hindeutet, dass welche Tokens behalten werden, kritischer ist als wie viele.
Streaming-Effizienz: In Streaming-Benchmarks (OVO-Bench, StreamingBench) zeigte CoRDS Verbesserungen in den Spuren backward, real-time und forward, insbesondere bei Aufgaben, die Beweise erfordern, die über lange Zeiträume verteilt sind (z. B. Prospective Reasoning, Counting).
Abdeckungsanalyse: Die Analyse der kumulativen Verteilungsfunktion (CDF) der Abdeckung bestätigt, dass CoRDS im Vergleich zu Baselines eine repräsentativere Teilmenge des vollständigen Caches behält, mit geringeren kosinusbasierten Distanzen zum ursprünglichen Token-Satz.
Effizienz: Die schichtenübergreifende Kaskadenstrategie hält einen flachen Speicherbedarf aufrecht und erreicht einen Durchsatz beim Vorfüllen, der mit Baselines vergleichbar ist oder diese übertrifft, selbst für Videos bis zu 1000 Sekunden Länge.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die repräsentative Coreset-Auswahl ein wirksameres Prinzip als das tokenweise Pruning für speicherbeschränktes Streaming-Videoverständnis bietet. Durch die explizite Optimierung der geometrischen Abdeckung der akkumulierten Historie in einem gemeinsamen Key-Value-Raum mildert CoRDS das „Nadel-im-Heuhaufen"-Problem, das im langkontextuellen Schlussfolgern inhärent ist.

Die Autoren betonen, dass ihr Ansatz trainingsfrei und abfrageunabhängig ist, was ihn sofort auf bestehende transformer-basierte VLMs anwendbar macht, ohne Nachtraining. Die Ergebnisse unterstreichen, dass Leistungsgewinne in Streaming-Szenarien nicht allein aus der Vergrößerung des Cache-Größe resultieren, sondern aus dem Behalten einer weniger redundanten und informativeren Teilmenge visueller Tokens. Die Arbeit schließt, dass diese geometrische Fundierung eine prinzipielle Alternative zur heuristischen Komprimierung für Agenten der persistenten Wahrnehmung bietet.