Résumé Technique : SelectStream

Énoncé du Problème

La compréhension de vidéos en streaming exige que les modèles de vision-langage (VLM) répondent à des requêtes à n'importe quel moment d'un flux vidéo continu en utilisant uniquement le préfixe observé, tout en étant soumis à des budgets fixes de mémoire, de contexte et de calcul. Bien que des travaux récents aient tenté de résoudre cela en ajoutant des banques de mémoire externes, des modules de recherche ou de la compression de jetons visuels, ces méthodes reposent souvent sur l'hypothèse qu'une « mémoire plus riche » conduit automatiquement à une meilleure compréhension.

Les auteurs soutiennent qu'une injection indiscriminée de l'historique peut diluer la perception de la scène actuelle, un phénomène où les preuves pertinentes sont mélangées à du contenu non pertinent, affaiblissant la capacité de raisonnement du modèle. Inversement, les lignes de base simples à fenêtre récente (qui rejettent les preuves plus anciennes) échouent lorsque des informations critiques se situent en dehors du contexte immédiat. Le défi central n'est pas de savoir s'il faut utiliser la mémoire, mais comment l'allouer sélectivement : décider quand écrire une nouvelle preuve, ce qu'il faut préserver lorsque la capacité est pleine, comment récupérer une preuve pour une requête spécifique, et quelle quantité de contexte historique exposer lors de la génération sans augmenter la fenêtre de contexte avec la longueur du flux.

Méthodologie : SelectStream

SelectStream est un cadre de mémoire latente sélective qui formule la mémoire en streaming comme une allocation budgétisée d'évidence latente en ligne. Il opère sur un squelette de VLM gelé et gère l'historique via un graphe d'évidence latente dynamique ($G_t = (M_t, E_t)$) plutôt qu'en rejouant des images brutes ou en convertissant l'historique en résumés textuels. Le système est régi par trois mécanismes coordonnés :

1. Fenêtrage Adaptatif piloté par la Surprise (SAW) – Quand Écrire

SAW détermine quand fermer un segment vidéo et l'écrire en mémoire. Au lieu d'intervalles fixes, il assigne des entrées de mémoire grossières aux intervalles stables et une résolution plus fine à proximité des transitions surprenantes.

• Mécanisme : Il calcule un score de surprise ($s_t$) basé sur les changements d'attention (divergence JS des cartes d'attention) et les changements de caractéristiques (distance cosinus des plongements projetés).
• Déclencheurs : Un segment se ferme lorsqu'il atteint une longueur minimale ($L_{min}$) et qu'une des trois conditions est remplie : un pic de surprise ($\bar{s}_t > \theta_{high}$), l'énergie de surprise accumulée dépasse un budget ($B_s$), ou la longueur maximale du segment ($L_{max}$) est atteinte.

2. Mémoire Visuelle Latente (LVM) – Quoi Préserver

LVM gère un graphe de mémoire à capacité fixe où les plongements visuels projetés sont stockés sous forme de nœuds latents.

• Écriture : Lorsqu'un segment est fermé, son plongement est comparé aux nœuds actifs. S'il est sémantiquement similaire et faible en surprise, il met à jour un nœud existant via un mécanisme de mise à jour par porte (empêchant le remplacement direct d'un historique utile). Sinon, un nouveau nœud est créé.
• Consolidation : Lorsque le budget de mémoire ($N$) est dépassé, le système effectue une consolidation préservant les priorités. Il fusionne la paire de nœuds présentant la plus faible pénalité, ce qui équilibre la redondance sémantique (similarité) et les facteurs de priorité (surprise, fréquence d'accès et récence). Cela garantit que les preuves surprenantes ou fréquemment accédées sont préservées.

3. Raisonnement par Attention de Graphe conditionné par la Requête (GAR) – Comment Lire

Lorsqu'une requête arrive, le modèle récupère un sous-graphe compact plutôt que de raisonner sur l'ensemble de l'historique.

• Routage : La requête est encodée et utilisée pour scorer les nœuds actifs. Un sous-graphe est routé à partir de $k$ graines (seeds) à travers des arêtes temporelles et sémantiques, contraint par un budget de sous-graphe ($B$).
• Raisonnement : Un réseau d'attention de graphe (GAR) affine les états des nœuds en agrégeant le contexte temporel et sémantique des voisins.
• Injection : Les $M$ meilleurs nœuds raffinés sont calibrés et injectés comme jetons d'évidence latente dans le décodeur du VLM gelé. Cela permet au VLM d'accéder aux preuves historiques sans augmenter la longueur du contexte proportionnellement à la durée du flux.

Principales Contributions

1. Formulation : L'article formule la mémorisation sélective dans la vidéo en streaming comme un problème d'allocation budgétisée d'évidence latente en ligne, abordant explicitement le compromis entre la rétention de la perception de la scène actuelle et l'accès à l'historique à long terme.
2. Architecture (SelectStream) : Une architecture de mémoire latente dynamique qui écrit des plongements visuels projetés dans un graphe à capacité fixe. Elle utilise un fenêtrage piloté par la surprise pour une écriture adaptative, une consolidation sensible aux priorités pour la préservation, et un raisonnement de graphe conditionné par la requête pour la récupération.
3. Interface : Une conception qui injecte des jetons d'évidence latente calibrés dans un VLM gelé, évitant le rejeu d'images brutes ou la résumé textuel, maintenant ainsi un coût d'inférence borné quel que soit la durée du flux.

Résultats Expérimentaux

SelectStream a été évalué sur des benchmarks de streaming et hors ligne en utilisant les squelettes Qwen2.5-VL-7B et Qwen3-VL-8B.

• Benchmarks de Streaming :
  • StreamingBench : A atteint 82,67 % de précision (Qwen3-VL-8B), surpassant les fortes lignes de base à fenêtre récente (ex: Qwen3-VL-8B + 4f à 80,59 %) et les méthodes de mémoire en streaming antérieures.
  • OVO-Bench : A atteint 67,03 % de précision globale. Notamment, il a considérablement amélioré les scores de Traçage Vers l'Arrière (Backward Tracing - BT) (passant de 54,00 % à 62,20 % sur Qwen3-VL-8B), démontant une capacité supérieure à utiliser le contexte visuel antérieur tout en maintenant une haute Perception Visuelle en Temps Réel (Real-Time Visual Perception) (82,76 %).
• Benchmarks Hors Ligne :
  • Sur VideoMME, MLVU et MVBench, SelectStream a atteint une précision moyenne de 74,4 % (Qwen3-VL-8B), montrant que la méthode préserve les capacités générales de compréhension vidéo et ne sacrifie pas la performance hors ligne pour l'efficacité du streaming.
• Efficacité :
  • Le modèle maintient une latence de requête (TTFT) et une mémoire GPU de pointe presque constantes à mesure que le nombre d'images traitées augmente, car l'état de la mémoire active est borné par $N$ et la récupération est bornée par $B$ et $M$.

Signification et Revendications

L'article affirme que SelectStream traite le problème de la « dilution de l'évidence » inhérent à l'injection indiscriminée de mémoire. En gardant l'observation actuelle directement visible pour le VLM gelé et en n'exposant les informations historiques qu'à travers un budget d'évidence compact et conditionné par la requête, le modèle atteint un compromis supérieur entre la mémoire à long terme et la perception de la scène actuelle.

Les auteurs positionnent SelectStream comme une direction évolutive pour la compréhension vidéo en streaming sous des contraintes de ressources fixes. Les résultats suggèrent que la mémoire latente sélective apporte des bénéfices au-delà de la simple rétention des dernières images, permettant un raisonnement robuste dépendant de l'historique sans l'overhead computationnel des fenêtres de contexte en croissance. Le cadre est conçu pour être une couche de mémoire générale pour les squelettes de langage-vidéo gelés, séparant la gestion de la mémoire en ligne de la génération au moment de la requête.