💻 computer science

CoRDS: Coreset-based Representative and Diverse Selection for Streaming Video Understanding

Le papier propose CoRDS, une méthode basée sur un coreset pour la compréhension de vidéos en flux continu qui améliore l'élagage heuristique au niveau des jetons en sélectionnant un sous-ensemble compact, diversifié et représentatif du cache clé-valeur grâce à une fonction objectif bicritère et à un critère de diversité piloté par l'orthogonalité, améliorant ainsi les performances sur plusieurs modèles vision-langage et benchmarks dans le cadre de budgets mémoire fixes.

Auteurs originaux : Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ailar Mahdizadeh, Puria Azadi, Muchen Li, Xiangteng He, Leonid Sigal

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un film très long, mais que vous n'avez qu'un tout petit post-it collant pour noter les parties les plus importantes afin de pouvoir y répondre plus tard. C'est le défi auquel sont confrontés les modèles d'IA modernes (appelés modèles vision-langage) lorsqu'ils tentent de comprendre des vidéos en temps réel. Ils ne peuvent pas tout retenir, ils doivent donc « compresser » la vidéo dans une mémoire plus petite.

L'article présente une nouvelle méthode appelée CoRDS (Sélection Representative et Diversifiée basée sur un Coeur d'Ensemble) pour résoudre ce problème. Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème : Le piège de la « Récence »

Actuellement, la plupart des modèles d'IA utilisent une stratégie de « post-it » qui repose sur des règles simples, comme :

« Gardez les choses les plus récentes » : Se souvenir uniquement des dernières secondes.
« Gardez les choses les plus bruyantes » : Se souvenir uniquement des parties qui semblent les plus évidentes ou les plus lumineuses.

Les auteurs soutiennent que c'est comme essayer de résumer un film entier en ne se souvenant que de la dernière scène ou de la scène avec la plus grosse explosion. Vous risquez de manquer les indices silencieux mais cruciaux qui se sont produits il y a 20 minutes, et qui sont nécessaires pour résoudre une énigme plus tard.

La Solution : L'approche du « Conservateur »

CoRDS change la donne. Au lieu de sélectionner des tokens (de minuscules morceaux de données vidéo) un par un en fonction de leur nouveauté ou de leur intensité, il agit comme un conservateur de musée essayant de créer une petite exposition qui représente l'intégralité de la collection.

Voici les trois principales astuces utilisées par CoRDS :

1. La vue à « Deux Mains » (Représentation Jointe KV)
Imaginez que chaque morceau de données vidéo possède deux faces :

La « Clé » (L'Étiquette) : Elle indique à l'IA où regarder dans le passé. (Par exemple : « C'est la scène avec la voiture rouge. »)
La « Valeur » (Le Contenu) : C'est l'information réelle. (Par exemple : « La voiture rouge a percuté un arbre. »)

Les anciennes méthodes regardaient souvent soit l'étiquette, soit le contenu. CoRDS regarde les deux en même temps. Il s'assure que l'IA peut trouver le bon souvenir et que ce souvenir contient réellement les bons détails. C'est comme s'assurer que vous avez à la fois la carte (Clé) et la photo (Valeur) de l'endroit, et non l'un ou l'autre.

2. La stratégie « Couvrir la Pièce » (Sélection de Coeur d'Ensemble)
Au lieu de choisir le seul « meilleur » élément, CoRDS se demande : « Quel petit groupe d'éléments couvre le plus de terrain dans la pièce ? »
Si vous avez une pièce remplie de meubles, vous ne choisissez pas simplement la chaise la plus chère. Vous choisissez une chaise, une table, une lampe et un tapis qui, ensemble, représentent le style de toute la pièce. CoRDS sélectionne mathématiquement un petit groupe d'images vidéo qui « couvre » la géométrie de l'ensemble de l'historique vidéo, garantissant qu'aucun style visuel majeur ou type de scène n'est laissé de côté.

3. La règle du « Nouvel Angle » (Diversité Orthogonale)
Parfois, vous pourriez choisir deux éléments très similaires (comme deux chaises rouges identiques). Cela gaspille de l'espace. CoRDS a une règle pour empêcher cela : « Ne choisissez pas quelque chose qui ressemble trop à ce que nous avons déjà. »
Il cherche des éléments qui offrent un « nouvel angle » ou une nouvelle direction. Si l'IA a déjà un souvenir d'une voiture rouge, elle ne choisira pas une autre voiture rouge sauf si c'est le seul moyen de couvrir cette partie de la vidéo. Elle recherche activement les moments uniques et différents pour rendre la mémoire diverse.

Les Résultats : Une Mémoire Plus Intelligente, Pas Juste Plus Grande

L'article a testé cette méthode sur quatre modèles d'IA différents et cinq benchmarks vidéo différents (incluant des longs métrages et des flux en direct).

Mieux que la concurrence : CoRDS a systématiquement battu les méthodes existantes (comme InfiniPot-V et StreamMem) qui utilisent les règles de « récence » ou de « bruit ».
Petit est beau : Même lorsque l'IA était contrainte d'utiliser une mémoire très petite (ne conservant que 1/16e des données vidéo), CoRDS a surpassé les modèles ayant accès à des mémoires beaucoup plus grandes utilisant les anciennes méthodes.
Battre le modèle « Complet » : Dans certains cas, CoRDS a performé mieux que le modèle d'IA essayant de se souvenir de la vidéo entière non compressée. Cela suggère qu'en supprimant les parties « redondantes » ou « bruyantes » de la vidéo, l'IA se concentre réellement mieux sur les indices importants (résolvant le problème de « l'aiguille dans une botte de foin »).

Résumé

Pensez à CoRDS comme à un éditeur intelligent pour une vidéo. Au lieu de simplement couper les parties ennuyeuses ou de ne garder que les derniers clips, il sélectionne soigneusement une poignée diversifiée et représentative de moments qui capturent l'histoire entière. Cela permet à l'IA de répondre à des questions sur une vidéo d'une heure aussi bien que si elle avait regardé le tout, mais en utilisant une fraction de la mémoire informatique.

Résumé Technique : CoRDS

Énoncé du Problème

La compréhension de flux vidéo (SVU) par des modèles vision-langage de grande taille (VLM) se heurte à un goulot d'étranglement critique : la nécessité de maintenir une empreinte mémoire bornée tout en traitant des flux vidéo illimités en temps réel. Contrairement à la compréhension vidéo hors ligne, où le contexte complet est disponible pour l'échantillonnage de trames ou la compression dépendante de la requête, la SVU exige un traitement causal et agnostique à la requête, où les trames futures sont inconnues.

Les solutions existantes reposent principalement sur la compression du cache clé-valeur (KV) utilisant des heuristiques locales, au niveau des jetons (par exemple, la récence, la redondance temporelle ou la saillance basée sur la norme). L'article soutient que ces méthodes souffrent d'une limitation fondamentale : elles n'optimisent pas explicitement la représentativité globale de la mémoire conservée. Par conséquent, des indices individuellement faibles mais collectivement importants (tels que des détails visuels statiques ou des structures distribuées dans le temps) sont souvent écartés car ils manquent de saillance locale au moment de la compression.

Méthodologie : CoRDS

Les auteurs proposent CoRDS (Sélection Représentative et Diversifiée basée sur un Coreset), un cadre sans entraînement et agnostique à la requête qui reformule la compression du cache KV comme un problème de sélection de coreset représentatif. Au lieu de noter les jetons indépendamment, CoRDS sélectionne un petit sous-ensemble qui couvre géométriquement le cache visuel accumulé.

La méthode repose sur trois principes fondamentaux :

1. Représentation Jointe KV et Couverture Bicritère

Les auteurs postulent qu'une sélection efficace doit prendre en compte à la fois les Clés (qui déterminent la structure de récupération) et les Valeurs (qui déterminent l'information lue par l'attention).

Représentation : Les jetons sont représentés dans un espace de caractéristiques joint $\phi^{(KV)}_i = [k_i; v_i]$ .
Objectif : Une métrique de distance bicritère $d_\alpha(i, S)$ est définie pour mesurer la distance entre un jeton candidat $i$ et l'ensemble sélectionné $S$ , équilibrant les erreurs d'approximation dans l'espace des clés et dans l'espace des valeurs :
$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$
où $\alpha \in [0, 1]$ contrôle le compromis. Les résultats empiriques suggèrent que favoriser les valeurs ( $\alpha < 0,5$ ) donne de meilleures performances.
Optimisation : Le sous-ensemble est sélectionné de manière gloutonne en utilisant une règle D2-style de plus loin en premier, qui sème des centres de clusters proportionnellement à leur distance carrée par rapport aux centres précédemment choisis. Cela fournit une garantie d'approximation $O(\log k)$ pour l'objectif $k$ -means.

2. Diversité Orthogonale pour la Non-Redondance

Une sélection basée uniquement sur la couverture peut produire un coreset redondant où plusieurs jetons se situent dans des directions similaires dans l'espace de caractéristiques. Pour y remédier, CoRDS introduit un terme anti-redondance orthogonal.

Mécanisme : Pour un jeton candidat, la méthode calcule le vecteur résiduel orthogonal à l'enveloppe des clés (et valeurs) actuellement sélectionnées.
Notation : Un score de nouveauté basé sur la norme carrée de ce résidu est ajouté comme bonus souple au score de couverture. Cela est motivé par la sélection de sous-ensemble par log-déterminant, qui garantit une approximation $(1 - e^{-1})$ pour la maximisation sous-modulaire monotone.
Score Final : Le score de sélection combine la distance bicritère et la nouveauté orthogonale :
$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$

3. Compression Sélective par Couche et Réutilisation en Cascade

Pour minimiser la surcharge computationnelle :

Sélection de Couche : Le sélecteur de coreset est appliqué uniquement aux 25 % inférieures des couches de décodeur, où la redondance visuelle est la plus élevée. Les couches ultérieures, qui encodent des caractéristiques conditionnées par la tâche, restent non compressées.
Cascade Inter-couches : Un petit ensemble de couches « ancre » effectue la sélection complète. Les couches « suiveuses » réutilisent les indices de jetons sélectionnés de leurs couches ancre sans recalculer la sélection, réduisant ainsi considérablement la latence tout en préservant les représentations spécifiques à chaque couche.

Contributions Clés

Vue Coreset de la Compression en Flux : Un passage de l'élagage local de jetons à une formulation agnostique à la requête et orientée vers la couverture, qui sélectionne une mémoire compacte représentant le contexte vidéo accumulé.
Couverture Représentative Jointe KV : L'introduction d'une représentation clé-valeur jointe et d'un objectif bicritère qui équilibre explicitement la structure de récupération (clés) et le contenu de sortie (valeurs), démontrant que la sélection dans un seul espace est sous-optimale.
Diversité Orthogonale : Un mécanisme anti-redondance fondé sur la sélection de sous-ensemble par log-déterminant qui favorise les candidats contribuant de nouvelles directions à l'espace de caractéristiques, évitant ainsi le gaspillage des budgets de jetons sur des informations redondantes.

Résultats Expérimentaux

La méthode a été évaluée sur quatre VLM open-source (Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) à travers cinq benchmarks (EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench).

Performance : Sous des budgets de cache fixes (3K et 6K jetons), CoRDS surpasse systématiquement les bases heuristiques comme InfiniPot-V et StreamMem.
- Sur MLVU, CoRDS a amélioré les performances de +4,2 % par rapport à la meilleure base avec un budget de 6K.
- À des ratios de compression agressifs (1/16), CoRDS correspond souvent ou dépasse les performances de la base KV complète (non compressée), suggérant que quels jetons sont conservés est plus critique que combien.
Efficacité en Flux : Dans les benchmarks en flux (OVO-Bench, StreamingBench), CoRDS a montré des gains sur les pistes rétrogrades, en temps réel et avant, en particulier dans les tâches nécessitant des preuves dispersées sur de longues durées (par exemple, le raisonnement prospectif, le comptage).
Analyse de Couverture : L'analyse de la fonction de distribution cumulative (CDF) de la couverture confirme que CoRDS conserve un sous-ensemble plus représentatif du cache complet par rapport aux bases, avec des distances cosinus plus faibles par rapport à l'ensemble original de jetons.
Efficacité : La stratégie de cascade inter-couches maintient une empreinte mémoire plate et atteint un débit de préremplissage comparable ou supérieur aux bases, même pour des vidéos allant jusqu'à 1000 secondes.

Importance et Revendications

L'article revendique que la sélection de coreset représentatif offre un principe plus efficace que l'élagage de jetons pour la compréhension de flux vidéo contrainte par la mémoire. En optimisant explicitement la couverture géométrique de l'historique accumulé dans un espace clé-valeur joint, CoRDS atténue le problème de « l'aiguille dans une botte de foin » inhérent au raisonnement à contexte long.

Les auteurs soulignent que leur approche est sans entraînement et agnostique à la requête, la rendant immédiatement applicable aux VLM existants basés sur des transformateurs sans réentraînement. Les résultats mettent en évidence que les gains de performance dans les environnements en flux ne proviennent pas simplement de l'augmentation de la taille du cache, mais de la conservation d'un sous-ensemble moins redondant et plus informatif de jetons visuels. L'article conclut que cet ancrage géométrique fournit une alternative principielle à la compression basée sur des heuristiques pour les agents de perception persistante.