Résumé technique : Mémoire visuelle adaptative sensible au sémantique pour la compréhension de flux vidéo

Définition du problème

L'article traite du Question-Réponse en Flux Vidéo en Ligne (StreamingVQA), une tâche où un modèle doit traiter un flux vidéo continu et illimité et répondre à des requêtes en langage naturel en temps réel à mesure qu'elles arrivent. Contrairement aux configurations hors ligne où la vidéo complète est disponible, le flux impose trois contraintes critiques :

1. Pas d'accès au futur : Le modèle ne peut accéder qu'aux images jusqu'à l'instant courant $T$.
2. Encodage ignorant la requête : La construction de la mémoire doit se faire sans connaissance de la requête spécifique, car les requêtes arrivent de manière imprévisible.
3. Mémoire bornée : L'empreinte mémoire totale doit rester constante quelle que soit la durée de la vidéo.

Les méthodes existantes peinent à respecter ces contraintes. La plupart s'appuient sur des heuristiques de similarité visuelle pour la compression des tokens, ce qui échoue à capturer l'importance sémantique, ou elles ajoutent des mécanismes de récupération au niveau du cache KV après que la compression est finalisée. Cette séparation rend difficile la coordination entre la rétention et la récupération, conduisant souvent à la perte d'informations sémantiquement critiques mais visuellement redondantes.

Méthodologie : SAVEMem

Les auteurs proposent SAVEMem, un cadre à deux étapes sans entraînement qui découple la génération de mémoire ignorant la requête de la récupération sensible à la requête. Le système fonctionne sous un budget mémoire constant $B$ et utilise une "banque de pseudo-questions" fixe pour injecter des priors sémantiques sans nécessiter de fine-tuning du modèle.

Étape 1 : Génération de mémoire sémantique (Ignorant la requête)

Dans cette étape, le modèle construit une mémoire de flux à trois niveaux ($M_{short}$, $M_{mid}$, $M_{long}$) en ligne à mesure que les images arrivent.

• Priorité sémantique : Au lieu de s'appuyer uniquement sur la similarité visuelle, SAVEMem note chaque token visuel $v$ par rapport à une banque fixe de pseudo-questions $Q$ (couvrant les objets, les actions, les scènes, etc.) en utilisant un mécanisme d'interaction tardive MaxSim : $s(v) = \max_{q \in Q} \cos(v, q)$. Cela fournit une estimation ignorante de la requête de la saillance sémantique.
• Hiérarchie à trois niveaux avec oubli sélectif :
  • Court terme ($M_{short}$) : Un tampon FIFO préservant les images les plus récentes avec une fidélité totale pour ancrer le contexte actuel.
  • Moyen terme ($M_{mid}$) : Lorsque $M_{short}$ est plein, la plus ancienne image subit un Élagage Sémantique Temporel. Les tokens sont supprimés s'ils sont bien représentés par leurs voisins temporels, sauf s'ils ont des scores sémantiques élevés ($s(v)$) ou s'ils se trouvent aux limites de scène.
  • Long terme ($M_{long}$) : Lorsque $M_{mid}$ déborde, les images y sont transférées via une Sélection Sémantique Spatiale. Cela traite la couverture spatiale comme une contrainte stricte, classant les tokens par leurs scores sémantiques pour conserver un sous-ensemble dispersé mais ordonné sémantiquement.
  • Application globale du budget : Une étape d'Oubli Sélectif garantit que le nombre total de tokens ne dépasse jamais $B$. Si cela est dépassé, les tokens ayant les scores les plus bas dans $M_{long}$ sont évacués.

Étape 2 : Récupération adaptative de la mémoire (Sensible à la requête)

Lors de la réception d'une requête utilisateur $q$ à l'instant $T$, le système récupère les images pertinentes depuis la mémoire figée.

• Porte de récence conditionnée par l'ancre : Le système vérifie d'abord si la requête cible le passé immédiat. Il calcule l'affinité entre $q$ et l'ancre à court terme ($M_{short}$). Si cette affinité est élevée (par rapport à une moyenne mobile), le système retourne directement $M_{short}$, contournant les niveaux plus anciens. Cette porte s'adapte par requête en fonction de la distribution d'affinité spécifique de la vidéo.
• Interaction tardive sensible à la requête : Si la requête nécessite un contexte historique, le système calcule un score d'interaction tardive de style ColBERT entre la requête et les tokens dans $M_{mid} \cup M_{long}$. Le score d'une image est la moyenne des similarités cosinus maximales entre ses tokens et les tokens de la requête.
• Récupération adaptative : Les images sont classées selon ce score. Le nombre d'images récupérées ($K$) s'adapte à la dispersion des scores : des scores étroitement groupés (preuves diffuses) entraînent la récupération de plus d'images, tandis que des scores bien séparés déclenchent un filtrage agressif. L'ensemble final inclut toujours $M_{short}$ plus les images historiques les mieux classées.

Contributions clés

1. Cadre à deux étapes : Une architecture sans entraînement qui sépare la compression sensible au sémantique de la récupération sensible à la requête, permettant aux deux étapes d'être coordonnées via un mécanisme de score partagé (MaxSim) sans entraînement conjoint.
2. Compression sensible au sémantique : L'introduction d'une banque de pseudo-questions pour guider la rétention à long terme basée sur la saillance sémantique plutôt que sur la simple similarité visuelle, garantissant que les tokens informatifs sont préservés même s'ils sont visuellement redondants.
3. Portée de récupération adaptative : Une porte de récence conditionnée par l'ancre qui ajuste dynamiquement la portée de récupération (court terme vs long terme) en fonction de savoir si la requête cible le présent ou le passé lointain.
4. Efficacité : La méthode atteint une croissance sub-linéaire des tokens et une utilisation quasi plate de la mémoire GPU de pointe par rapport à la durée de la vidéo, transformant le traitement de vidéos longues en un problème borné par un budget.

Résultats expérimentaux

SAVEMem a été évalué sur OVO-Bench, StreamingBench et ODV-Bench en utilisant l'architecture de base Qwen2.5-VL (3B et 7B paramètres) sans aucun entraînement.

• OVO-Bench :
  • Sur l'architecture Qwen2.5-VL-7B, SAVEMem a amélioré le score global de 52,27 à 62,69, surpassant les méthodes récentes sans entraînement (par exemple FluxMem, HERMES) et les approches compétitives basées sur l'entraînement (par exemple ViSpeak).
  • Des gains significatifs ont été observés dans la Perception Visuelle en Temps Réel (+10,41 points) et le Retracing Arrière (+10,41 points).
  • La méthode a montré une force particulière dans les tâches nécessitant des détails visuels fins (OCR, STU, ACR) et la détection d'hallucinations.
• StreamingBench & ODV-Bench :
  • Des améliorations constantes ont été observées sur les deux architectures de base. Sur le modèle 7B, le score ODV-Bench Statique a augmenté de 8,7 points (de 48,3 à 57,0).
• Efficacité :
  • À 128 images, SAVEMem a réduit l'utilisation de la mémoire GPU de pointe de 48 % par rapport à l'architecture de base (18,5 Go contre 35,8 Go), tout en maintenant une croissance sub-linéaire des tokens.

Importance et revendications

L'article revendique que découpler la compression sémantique ignorant la requête de la récupération adaptative sensible à la requête est une direction pratique pour mettre à l'échelle la compréhension de flux vidéo sans besoin d'entraînement. En injectant des signaux sémantiques dans la phase de compression et en adaptant la portée de récupération par requête, SAVEMem aborde le "compromis perception-mémoire" inhérent au flux. Les auteurs soulignent que leur approche permet aux modèles de gérer des flux illimités sur des GPU grand public en imposant un budget mémoire constant tout en conservant les informations sémantiquement critiques.

Les auteurs reconnaissent des limites, notant que la méthode est intrinsèquement sensible au compromis entre récupération sélective et couverture complète pour les tâches nécessitant un balayage temporel exhaustif (par exemple, le comptage). Ils notent également que la banque de pseudo-questions est actuellement générique et non adaptée au domaine, et que la conception sans entraînement exclut l'optimisation conjointe des deux étapes.