Résumé Technique : CausalMem pour la compréhension efficace de flux vidéo

Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) actuels sont confrontés à des défis importants en matière de compréhension de vidéo en streaming. Les difficultés principales découlent de deux facteurs :

1. Croissance illimitée des tokens : Les scénarios de streaming impliquent des vidéos potentiellement infinies, ce qui entraîne une accumulation linéaire de tokens visuels qui dépasse les limites de contexte et les budgets de mémoire des MLLM existants (par exemple, une vidéo de deux heures à 1 FPS peut générer plus de 700k tokens).
2. Imprévisibilité : Contrairement au traitement hors ligne, le streaming vidéo n'a pas accès aux images futures ou aux requêtes de l'utilisateur à l'avance. Cela rend les méthodes de compression basées sur la redondance globale et les stratégies d'estimation guidées par le texte inapplicables, car elles nécessitent des informations non causales.

Les solutions existantes, telles que la compression du cache KV ou l'élagage de tokens (token pruning), reposent souvent sur un accès global à la vidéo ou sur un guidage spécifique par la requête, échouant ainsi à fournir un mécanisme de mémoire à budget fixe et dynamique capable de fonctionner sous une causalité stricte.

Méthodologie : CausalMem

Le papier propose CausalMem, une nouvelle approche sans entraînement (training-free) conçue pour construire une banque de mémoire visuelle à budget fixe et dynamique. La méthode opère sous une causalité stricte, ce qui signifie qu'elle traite les images séquentiellement sans connaissance du contenu futur. Le mécanisme central se compose de deux composantes principales :

1. Base Sémantique en Ligne

Pour estimer la redondance des tokens visuels entrants sans connaissance du futur, CausalMem maintient une Base Sémantique en Ligne ($B$) qui modélise dynamiquement les sémantiques principales du flux vidéo observé.

• Initialisation : La base est initialisée à partir des tokens visuels de la première image en utilisant une décomposition en valeurs singulières (SVD) compacte pour extraire les vecteurs sémantiques dominants.
• Mise à jour dynamique : À mesure que les nouvelles images arrivent, les tokens visuels sont projetés sur la base actuelle. Le résidu (la différence entre le token original et sa reconstruction) représente l'information nouvelle.
  • Les tokens présentant de grands résidus (faible redondance) sont sélectionnés comme candidats.
  • Ces candidats subissent une décomposition QR pour extraire de nouveaux vecteurs de base orthogonaux.
  • La base est mise à jour en conservant les $q$ vecteurs les plus actifs, l'activité étant suivie via une moyenne mobile exponentielle des scores d'activation instantanés. Cela garantit que la base s'adapte à l'évolution des sémantiques tout en restant compacte.

2. Banque de Mémoire Visuelle Dynamique

CausalMem maintient une banque de mémoire de taille fixe ($M$) avec un budget de tokens prédéfini ($b$).

• Insertion : Les nouveaux tokens visuels de l'image actuelle sont temporairement ajoutés à la banque de mémoire.
• Compression et Sélection : Si la banque dépasse le budget, les tokens sont évalués pour leur rétention selon deux facteurs :
  1. Score de Redondance : Calculé sur la base de la norme du résidu du token par rapport à la Base Sémantique en Ligne. Les tokens avec des résidus plus élevés (plus informatifs) sont privilégiés.
  2. Récence Temporelle : Un score basé sur l'horodatage du token pour assurer une adaptation fluide du flux.
• Mise à jour : Les tokens ayant les meilleurs scores sont conservés pour former la banque de mémoire mise à jour, tandis que les autres sont écartés. Cela garantit que la banque contient toujours les tokens les plus informatifs et temporellement pertinents dans le cadre du budget fixe.

Contributions Clés

1. Perspective Novatrice : L'étude aborde l'efficacité de la compréhension vidéo en streaming sous l'angle d'une banque de mémoire à budget fixe et dynamique sous causalité stricte, répondant aux limites des méthodes existantes basées sur l'offline ou la requête.
2. Mécanisme sans Entraînement : CausalMem est une méthode "plug-and-play" qui ne nécessite aucun réentraînement du MLLM sous-jacent. Elle utilise une base sémantique en ligne pour estimer la redondance et mettre à jour la banque de mémoire de manière dynamique.
3. Efficacité et Préservation : La méthode atteint une compression élevée des tokens visuels (par exemple, >20× pour des vidéos d'une heure) tout en préservant les sémantiques principales, opérant dans une empreinte de stockage fixe (par exemple, ~82 Mo pour 12k tokens).

Résultats Expérimentaux

Les auteurs ont validé CausalMem sur deux MLLM représentatifs (LLaVA-OneVision et Qwen2.5-VL) sur des benchmarks de streaming et de mode hors ligne.

• Benchmarks de Streaming : Sur OVO-Bench et StreamingBench, CausalMem a obtenu des gains de précision moyens de +3,2 % et +3,0 % respectivement par rapport à la ligne de base, surpassant les méthodes de streaming existantes comme StreamingTOM, LiveVLM et ReKV.
• Benchmarks Hors Ligne : Même appliquée à des tâches hors ligne sous causalité stricte (simulant des conditions de streaming), CausalMem a démontré une performance supérieure, surpassant les méthodes de compression spécialisées sur Video-MME, MLVU, LongVideoBench et LVBench.
• Efficacité : La méthode réduit considérablement la surcharge de mémoire GPU et le temps d'inférence par rapport aux lignes de base où le nombre de tokens croît linéairement. Elle passe mieux à l'échelle avec l'augmentation du nombre d'images, maintenant des temps d'inférence stables.
• Comparaison avec l'État de l'Art (SOTA) : Appliquée à Qwen2.5-VL, la méthode a atteint des performances comparables ou supérieures à des modèles propriétaires avancés comme Gemini 1.5 Pro et GPT-4o sur des benchmarks de streaming spécifiques.

Signification et Revendications

Le papier affirme que CausalMem résout avec succès le "problème insoluble" de la compréhension efficace de la vidéo en streaming pour les MLLM existants. Sa signification réside dans :

• Calcul Borné : Elle permet le traitement de flux vidéo de longueur arbitraire avec un calcul et une surcharge de stockage bornés, une exigence critique pour les applications de streaming réelles.
• Préservation Sémantique : En utilisant une base sémantique en ligne, la méthode maximise le gain d'information dans un espace de mémoire limité, imitant efficacement la capacité du cerveau humain à filtrer la redondance tout en retenant les informations saillantes.
• Généralisabilité : En tant qu'approche sans entraînement, elle peut être facilement intégrée à divers MLLM pour améliorer leurs capacités de streaming sans nécessiter de réentraînement intensif ou de changements architecturaux.

Les auteurs concluent que CausalMem fournit une solution robuste pour maintenir une mémoire visuelle compacte mais informative, permettant aux MLLM de gérer efficacement la nature dynamique du contenu vidéo en streaming.