💻 computer science

LongVU-TTT: Causal Test-Time Training for Visual Resampling in Long Video Understanding

LongVU-TTT introduit un rééchantillonneur de Test-Time Training causal avec des poids rapides adaptatifs et un sélecteur hybride pour compresser efficacement les séquences vidéo longues tout en préservant les preuves temporelles critiques, atteignant des performances de pointe sur plusieurs bancs d'essai de compréhension vidéo.

Auteurs originaux : Mahmoud Ahmed, Sameh Abdulah, Olatunji Ruwase, Sam Ade Jacobs, Mathis Bode, Mohamed Elhoseiny

Publié 2026-08-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mahmoud Ahmed, Sameh Abdulah, Olatunji Ruwase, Sam Ade Jacobs, Mathis Bode, Mohamed Elhoseiny

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Regarder une longue vidéo avec une intelligence artificielle revient à demander à une personne de se souvenir de chaque seconde d'un film de deux heures tout en répondant simultanément à une question spécifique sur celui-ci. Les systèmes d'IA actuels qui comprennent la vidéo sont construits sur une base où un composant de type caméra scanne chaque image et transmet une description à un cerveau linguistique. Le problème est qu'à mesure que la vidéo s'allonge, la quantité d'informations augmente tellement que le cerveau linguistique ne peut pas tout contenir dans sa mémoire à court terme. Pour y faire face, les ingénieurs ont tenté de résumer la vidéo en sélectionnant quelques images représentatives ou en fusionnant des moments similaires, mais ces méthodes suppriment souvent les détails mêmes nécessaires pour comprendre comment une scène évolue au fil du temps. Le défi fondamental demeure : comment une IA peut-elle traiter des centaines d'images d'une vidéo sans perdre l'histoire, tout en faisant tenir l'information dans un espace de mémoire limité ?

Une équipe de chercheurs a développé une nouvelle approche appelée LongVU-TTT pour résoudre ce goulot d'étranglement. Au lieu de forcer le cerveau linguistique à assumer toute la charge de suivi du temps, ils ont inséré une couche de traitement spécialisée entre la caméra et le cerveau. Cette couche agit comme un filtre dynamique qui observe la vidéo pendant sa lecture, mettant constamment à jour sa propre compréhension interne de ce qui se passe. Plutôt que de traiter chaque image comme une image statique, ce système apprend à reconnaître quand le contenu visuel change. Il y parvient en ajustant ses propres connexions internes en temps réel lors du traitement du flux, créant ainsi un résumé continu de l'historique de la vidéo. Lorsqu'un changement significatif se produit, comme un personnage entrant dans une pièce ou une voiture tournant un coin, le système signale ce moment comme important.

Les chercheurs ont constaté que cette méthode d'ajustement continu et instantané fonctionne mieux que les techniques précédentes qui reposaient sur des modèles fixes ou de simples moyennes. En utilisant une structure qui respecte la disposition bidimensionnelle d'une image — un peu comme la façon dont nos yeux perçoivent les formes et les contours plutôt qu'une simple liste plate de pixels — le système capture des détails locaux que d'autres méthodes ignorent. Crucialement, l'équipe a découvert que ce résumé interne continu n'est pas une archive parfaite du passé. Il fonctionne davantage comme un observateur habile qui se souvient du flux général des événements et des changements récents, mais ne peut se rappeler chaque détail spécifique du début d'une longue vidéo. De ce fait, le système combine sa compréhension dynamique avec un processus de sélection intelligent. Il conserve les images où les changements les plus importants ont eu lieu et remplit le reste de la mémoire avec des échantillons espacés uniformément pour garantir que la chronologie soit couverte.

Lors de leurs tests, les chercheurs ont traité des vidéos contenant jusqu'à 512 images, les compressant à seulement 128 images pour que le cerveau linguistique puisse les lire. Malgré cette réduction massive, le système a obtenu de meilleurs résultats que les modèles existants sur cinq bancs d'essai conçus pour tester la compréhension vidéo. Il a montré une force particulière dans les tâches exigeant que l'IA suive les changements au fil du temps, surpassant d'autres méthodes avancées par des marges mesurables. L'étude a également clarifié une limite vitale : bien que l'état interne du système soit excellent pour regrouper des moments liés et mettre en évidence des changements, il ne peut remplacer la nécessité de conserver la preuve visuelle réelle d'événements lointains. Les meilleurs résultats ont été obtenus lorsque le système utilisait sa connaissance interne pour guider la sélection des images, garantissant que la preuve visuelle la plus critique soit préservée pour la réponse finale.

Pour rendre cela possible sur du matériel informatique standard, l'équipe a également conçu une méthode pour gérer les demandes massives de mémoire liées à l'entraînement sur de longues vidéos. Ils ont développé une méthode qui fragmente le traitement en blocs plus petits et gérables, et déplace les données entre la mémoire principale de l'ordinateur et son processeur d'une manière qui permet au système de fonctionner de manière fluide sans ralentissement. Cela leur a permis d'entraîner le modèle sur de longues séquences en utilisant des cartes graphiques standards largement disponibles, plutôt que de nécessiter des clusters de supercalculateurs spécialisés et coûteux. Le résultat est un système capable de comprendre de longues vidéos avec une précision et une efficacité accrues, prouvant que la clé pour gérer de longues séquences ne réside pas seulement dans l'ajout de mémoire, mais dans la capacité à savoir exactement quels moments mémoriser.

Résumé Technique : LongVU-TTT

Énoncé du Problème

Les modèles de grands langages multimodaux (MLLM) pour les vidéos longues font face à un goulot d'étranglement fondamental : à mesure que la longueur de la vidéo augmente, le nombre de jetons visuels croît de manière linéaire, tandis que la complexité quadratique de l'auto-attention dans le LLM rend le traitement de séquences longues extrêmement coûteux en termes de calcul. Les stratégies de compression existantes (par exemple, le regroupement spatial, la fusion de jetons ou la suppression différentielle) réduisent généralement les caractéristiques au niveau des images avant de modéliser explicitement les changements temporels. Par conséquent, ces modèles compressent souvent l'information sans une compréhension fondée sur des principes de ce qui a changé à travers les images. De plus, bien que les architectures récurrentes comme les modèles d'espace d'état (SSM) offrent une propagation temporelle, leurs opérateurs de séquence aplatis ne parviennent pas à encoder explicitement les interactions locales en 2D qui complètent les représentations globales des encodeurs Vision Transformer (ViT).

Méthodologie : LongVU-TTT

Les auteurs introduisent LongVU-TTT, un MLLM vidéo qui insère un resampler de Test-Time Training (TTT) convolutionnel dédié entre l'encodeur ViT et le LLM. Cette architecture traite les images de manière récurrente pour enrichir les représentations avec un contexte temporel avant la compression.

Composants Clés

Resampler TTT Convolutionnel (TTT-Conv) :
- Contrairement aux travaux TTT antérieurs qui utilisent des poids rapides basés sur des MLP ou des séquences aplaties, LongVU-TTT paramètre les poids rapides sous forme de convolutions 2D groupées. Cela préserve la structure spatiale ( $H \times W$ ) des caractéristiques des images lors de la propagation temporelle.
- La couche emploie des mises à jour de poids rapides causales : pour chaque image, l'état caché (poids rapides) est mis à jour en se basant uniquement sur les images précédentes.
- La règle de mise à jour minimise une perte d'alignement auto-supervisée ( $\mathcal{L}$ ) entre la projection de la valeur de l'image actuelle et la cartographie produite par les poids rapides actuels.
- Matérialisation Causale Parallèle : Pour équilibrer l'ordonnancement causal et l'efficacité du GPU, les auteurs utilisent une stratégie où les gradients bruts sont calculés indépendamment par image au sein d'un bloc (chunk), puis agrégés via des sommes de préfixes pour matérialiser simultanément les états de poids. Cela échange de la mémoire d'activation contre du calcul parallèle, géré via un checkpointing d'activation asynchrone.
Sélection d'Images Hybride Pilotée par la Saillance :
- L'optimisation de la boucle interne génère des signaux de gradient qui servent de mesure naturelle de l'importance de l'image, éliminant ainsi le besoin d'un scoreur appris auxiliaire.
- Deux signaux sont extraits :
  - Décalage de Direction du Gradient ( $G_t$ ) : Mesure la distance cosinus entre les gradients de poids rapides des images successives pour détecter les changements au niveau de la scène.
  - Delta de Perte d'Alignement ( $R_t$ ) : Mesure les augmentations positives de la perte d'alignement pour détecter les changements au niveau des événements au sein d'une scène.
- Un sélecteur hybride combine ces signaux (pondérés par $\alpha=0,4$ ) avec un échantillonnage uniforme. Il conserve les $k$ images les plus saillantes (le "Highlight Set") et remplit le budget restant avec des images échantillonnées uniformément (le "Uniform Set") pour assurer la couverture temporelle.
Optimisations Système :
- Pour permettre l'entraînement sur 512 images avec des GPU de 40 Go sans parallélisme de séquence, les auteurs implémentent :
  - Traitement ViT par Blocs (Batch-Tiled) : Partitionne le lot d'images du ViT en blocs indépendants, différant le reduce-scatter de gradient ZeRO-3 jusqu'au bloc final.
  - Déchargement Asynchrone des Activations sur CPU : Transfère les activations vers la mémoire CPU pendant la passe avant (forward pass) et les précharge de manière asynchrone pendant la passe arrière (backward pass), chevauchant la communication avec le calcul.

Contributions Clés

Innovation Architecturale : Un resampler TTT convolutionnel avec des mises à jour de poids rapides causales qui adapte les poids 2D groupés pour contextualiser les caractéristiques vidéo avant le goulot d'étranglement des jetons visuels du LLM.
Mécanisme de Sélection : Un sélecteur d'images hybride piloté par la saillance qui exploite les décalages de direction de gradient et les deltas de perte d'alignement pour conserver les transitions de scènes et les changements visuels sans modèles auxiliaires.
Étude Contrôlée : Une comparaison systématique des opérateurs temporels (Transformers, Gated DeltaNet, Mamba2, TTT-MLP) au stade du projecteur, démontrant que l'ordonnancement de mise à jour causal et le traitement local 2D explicite sont des choix de conception critiques.
Aperçu Diagnostique : Preuve montrant que les poids rapides du projecteur fonctionnent comme des agrégateurs temporels plutôt que comme des mémoires épisodiques fiables ; leur bénéfice s'atténue à mesure que les preuves deviennent plus distantes, motivant la rétention d'images explicites pour le raisonnement à long terme.

Résultats Expérimentaux

Le modèle a été évalué sur cinq benchmarks : MLVU, LongVideoBench, Video-MME, NExT-QA, et LVBench.

Performance : LongVU-TTT traite jusqu'à 512 images et les réduit à 128 images pour le LLM. Il atteint une performance compétitive sur les cinq benchmarks, surpassant sa base d'entraînement la plus proche (LLaVA-Video) sur tous les points.
- Sur MLVU, TTT-Conv améliore les performances de +2,12 par rapport à TTT-MLP et de +3,04 par rapport à Mamba2 bidirectionnel dans des conditions contrôlées.
- Il surpasse les resamplers basés sur l'attention et les récurrents à état fixe sur trois benchmarks.
Résultats d'Ablation :
- Causal vs Non-Causal : Les mises à jour causales sont supérieures aux mises à jour non causales.
- 2D vs 1D : La convolution 2D groupée (TTT-Conv) surpasse la formulation MLP 1D (TTT-MLP).
- Rétention d'État : Le transport de l'état des poids rapides à travers les blocs améliore les performances, mais réinitialiser l'état à chaque image ou utiliser des grilles mélangées réduit cet avantage.
- Sélection : La stratégie de sélection hybride (combinant les signaux de gradient et l'échantillonnage uniforme) surpasse les méthodes de sélection aléatoire, uniforme ou à signal unique.
Efficacité : Les optimisations du système étendent le nombre maximal d'images entraînables à 4× sur du matériel 40 Go et réduisent la latence de l'étape d'entraînement jusqu'à 2,23× à 64 GPU par rapport aux bases standards.

Signification et Revendications

Le papier présente modestement sa contribution non pas comme un nouveau record de performance (SOTA) à travers tous les modèles hétérogènes, mais comme une étude contrôlée de la TTT au stade du projecteur d'un MLLM vidéo.

Agrégation Temporelle vs Mémoire Épisodique : Une conclusion centrale est que l'état de poids rapide agit comme un agrégateur temporel plutôt que comme un magasin de mémoire épisodique fiable à long terme. Le bénéfice de l'état rapide diminue à mesure que l'écart temporel entre la preuve et la requête augmente. Par conséquent, le modèle repose sur la rétention d'images explicites (via le sélecteur hybride) pour le raisonnement à long terme, utilisant la couche TTT principalement pour contextualiser les caractéristiques avant la sélection.
Principes de Conception : Ce travail souligne que la préservation de la structure spatiale 2D et l'imposition d'un ordonnancement de mise à jour causal sont essentiels pour un modelage temporel efficace au stade du projecteur.
Scalabilité : Les optimisations système proposées démontrent que l'entraînement de vidéos longues (jusqu'à 512 images) est réalisable sur du matériel standard de 40 Go sans nécessiter d'infrastructure de parallélisme de séquence ou de gestion de l'attention distribuée spécialisée.

Les auteurs concluent que LongVU-TTT traite efficacement la redondance spatiotemporelle en dérivant des signaux de compression directement des mises à jour de la boucle interne TTT, capturant le changement visuel comme un sous-produit de la propagation temporelle plutôt qu'en s'appuyant sur des métriques de similitude externes.