Résumé Technique : video-SALMONN S

Énoncé du Problème

La compréhension de vidéos en streaming de longue durée est une capacité critique pour les futurs agents d'IA, pourtant les modèles actuels de pointe (SOTA) de grands modèles de langage (LLM) vidéo font face à des limitations significatives. La plupart des modèles existants fonctionnent de manière hors ligne, nécessitant un nombre fixe de jetons visuels d'entrée, ce qui entraîne une perte d'information substantielle pour les vidéos dépassant cette limite. Bien que des approches récentes de streaming tentent de gérer des entrées vidéo continues via la fusion ou le sous-échantillonnage de jetons, elles entraînent souvent une perte d'information cumulative sur de longues durées (par exemple, plus de 3 heures), résultant en des performances inférieures aux modèles hors ligne. De plus, les méthodes existantes reposant sur une mémoire externe ou une sélection de trames spécialisée nécessitent souvent des conceptions complexes ou des données d'entraînement spécialisées, limitant ainsi leur extensibilité. Une lacune clé demeure dans la modélisation des dépendances à long terme où un agent doit apprendre des connaissances procédurales à partir de flux vidéo observés des heures auparavant et les appliquer à une prise de décision en temps réel.

Méthodologie : video-SALMONN S

Les auteurs proposent video-SALMONN S, un LLM audio-visuel en streaming enrichi par la mémoire, conçu pour traiter des vidéos dépassant 3 heures à 1 FPS et une résolution de 360p sous un budget mémoire fixe. L'innovation centrale est l'intégration de l'Entraînement au Moment du Test (Test-Time Training - TTT) comme mécanisme de mémoire en streaming, une première pour les LLM vidéo.

1. Couche TTTMEM

Au lieu de s'appuyer uniquement sur la compression de jetons, video-SALMONN S emploie une couche TTTMEM qui transforme les représentations multimodales à court terme en une mémoire à long terme intégrée dans les paramètres du modèle (poids rapides).

• Mécanisme : La couche fonctionne comme un réseau de neurones récurrent mettant à jour les poids rapides ($W_t$) d'un MLP pour chaque mini-lot entrant de jetons vidéo ($X_t$).
• Fonctions de Perte : Les poids sont mis à jour pour minimiser deux objectifs :
  1. Perte de Reconstruction Multivue : Reconstruit l'entrée actuelle.
  2. Perte de Prédiction à Longue Échelle : Prédit les entrées d'un instant temporel distant ($X_{t-T}$), agissant comme un régularisateur de cohérence temporelle pour empêcher l'écrasement des informations historiques critiques.
• Gestion des Jetons : Contra�à les méthodes qui fusionnent les jetons (ce qui peut causer un sur-lissage), video-SALMONN S utilise une stratégie d'élimination basée sur la similitude. Elle combine les nouveaux jetons de mémoire avec les précédents et élimine les jetons ayant la similitude cosinus la plus élevée avec leurs voisins, préservant ainsi la capacité de représentation du contexte à longue échelle de la couche TTT.

2. Schéma d'Entraînement en Deux Étapes

Pour répondre aux contraintes de mémoire GPU lors de l'entraînement avec de longues séquences, une stratégie en deux étapes est employée :

• Étape 1 (Démarrage à Froid - Cold-Start) : Les paramètres de la TTTMEM (matrices de projection) et le LLM sont entraînés conjointement avec des contextes de longueur moyenne pour établir le mécanisme de mise à jour des poids rapides.
• Étape 2 (Montée en Échelle - Scale-Up) : Les paramètres de projection de la TTTMEM sont gelés, mais la règle de mise à jour des poids rapides est maintenue. Le modèle est ensuite entraîné sur des séquences nettement plus longues et un nombre de jetons de mémoire accru, optimisant la capacité du LLM à extraire l'information de la mémoire étendue.

3. Lecture de Mémoire Sensible à la Modalité

Pour gérer le budget de mémoire fixe tout en répondant à des requêtes spécifiques, le modèle emploie un mécanisme de lecture de mémoire dépendant du prompt et sensible à la modalité.

• Au lieu de traiter tous les jetons de mémoire, le LLM compresse le cache Key-Value (KV) en sélectionnant uniquement les jetons les plus pertinents basés sur les scores d'attention entre le prompt et les segments de mémoire.
• Cela imite le processus humain de récupération d'informations spécifiques de la mémoire à long terme vers la mémoire de travail, garantissant une utilisation constante de la mémoire tout en respectant les contraintes de streaming.

Contributions Clés

1. Modèle video-SALMONN S : Le premier LLM vidéo en streaming utilisant l'Entraînement au Moment du Test (TTT) comme mécanisme de mémoire. Il atteint des performances SOTA sur des vidéos de plus de 3 heures (1 FPS, 360p) sous un budget mémoire fixe, surpassant les bases de référence en streaming et non-streaming.
2. Couche TTTMEM & Entraînement : Introduction d'une nouvelle couche incorporant des objectifs de prédiction à longue échelle et un schéma d'entraînement en deux étapes pour améliorer la modélisation des dépendances à long terme et la capacité de mémoire sans perte d'information.
3. Benchmark ELViM : Le benchmark Episodic Learning from Video Memory (ELViM) est introduit pour évaluer explicitement si les LLM vidéo en streaming peuvent acquérir des connaissances procédurales à partir d'expériences vidéo passées (observées des heures auparavant) et les réutiliser pour la prise de décision en temps réel. Cela comble une lacune dans les benchmarks existants qui se concentrent principalement sur la perception à court terme.

Résultats

Le modèle a été évalué sur des benchmarks de vidéos longues généraux (Video-MME, LVBench, VideoEvalPro) et sur le benchmark ELViM proposé.

• Benchmarks Vidéo Longue : video-SALMONN S a systématiquement surpassé les bases de référence fortes en streaming et non-streaming de 3 à 7 % en précision absolue. Plus précisément, il a obtenu des améliorations de 1,7 %, 2,9 % et 5,4 % par rapport à son homologue non-streaming sur Video-MME (Long), LVBench et VideoEvalPro, respectivement.
• Performance ELViM : Le modèle a démontré une amélioration de la précision absolue de 15 % par rapport aux modèles non-streaming performants sur ELViM, soulignant sa capacité supérieure à apprendre de la mémoire vidéo et à la rappeler.
• Efficacité : La couche TTTMEM ajoute un overhead minimal (environ 0,1 s) au temps d'inférence, et le modèle maintient une empreinte mémoire GPU fixe (~24 Go pour 16k jetons) comparable aux méthodes de streaming de base.
• Études d'Ablation : La perte de prédiction à longue échelle s'est révélée cruciale pour conserver l'information sur de longues distances temporelles. Le mécanisme de lecture sensible à la modalité a apporté des améliorations constantes par rapport aux méthodes de compression de cache KV sans entraînement comme AdaReTaKe.

Signification et Revendications

L'article affirme que video-SALMONN S représente une étape significative vers les futurs agents d'IA capables de fonctionner continuellement sur des entrées en streaming avec une mémoire bornée. En passant d'une compression de jetons statique à une mémoire dynamique basée sur les paramètres via le TTT, le modèle atténue la perte d'information cumulative inhérente aux approches de streaming actuelles.

L'introduction du benchmark ELViM est mise en avant comme un outil d'évaluation principiel pour l'apprentissage continu et la mémoire à long terme dans les systèmes multimodaux, allant au-delà des simples tâches de perception pour évaluer la capacité d'un agent à acquérir des compétences procédurales à partir d'expériences audio-visuelles étendues. Les auteurs positionnent ce travail comme fondamental pour les applications nécessitant une prise de décision à long terme, l'assistance instructive et les outils d'accessibilité pour les utilisateurs dépendant d'informations audio-visuelles étendues.