ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding

L'article présente ReMoRa, un modèle de langage multimodal conçu pour la compréhension de vidéos longues qui surpasse les méthodes existantes en traitant directement des représentations de mouvement raffinées et débruitées, évitant ainsi le coût computationnel prohibitif du traitement de séquences complètes d'images RGB.

L'essentiel

🎬 ReMoRa : Le Détective qui lit les "Brouillons" des Films

Imaginez que vous voulez comprendre une histoire racontée dans un film de deux heures.

Le problème actuel :
La plupart des intelligences artificielles (IA) actuelles fonctionnent comme un étudiant très sérieux mais un peu lent. Pour comprendre le film, elles essaient de regarder chaque image (chaque "frame") une par une, comme si elles feuilletaient un livre image par image.

• Si le film est court, pas de problème.
• Si le film est long (une heure, deux heures), l'IA se noie. Elle doit regarder des milliers d'images identiques (un ciel bleu qui ne bouge pas, un mur en arrière-plan). C'est comme essayer de lire un livre en comptant chaque grain de papier : c'est épuisant, lent et inutile.

La solution de ReMoRa :
ReMoRa est une nouvelle IA qui a une idée géniale : elle ne regarde pas le film fini, elle regarde le "brouillon" du réalisateur.

1. L'Analogie du "Dessin Animé" (Les Clés et les Mouvements)

Dans le monde de la vidéo numérique, les films sont souvent compressés pour tenir sur votre téléphone. Pour cela, on utilise une astuce :

• Les Images Clés (I-frames) : Ce sont des photos complètes et nettes, prises à des moments importants (comme les dessins principaux d'une bande dessinée).
• Les Mouvements (Vecteurs) : Pour le reste du temps, au lieu de redessiner tout le décor, on note juste : "Le personnage a bougé de 2 cm vers la droite" ou "La voiture a accéléré". C'est une liste de mouvements, très légère, sans redessiner le fond.

ReMoRa est la seule IA qui sait lire directement ce "brouillon" (les images clés + la liste des mouvements) au lieu de devoir d'abord reconstruire tout le film image par image.

2. Le Problème du "Brouillon" (Le Bruit)

Il y a un petit hic : ces listes de mouvements sont souvent grossières et bruitées.

• Imaginez un dessinateur qui a hâte : il dessine le mouvement d'un bras avec des traits tremblés et imprécis.
• L'IA traditionnelle, en regardant ces traits tremblés, pourrait penser que le personnage a trébuché alors qu'il marchait simplement.

La Magie de ReMoRa (Le Module RMR) :
ReMoRa possède un super-pouvoir appelé le module RMR (Refined Motion Representation). C'est comme un correcteur de dessin ou un traducteur.

• Il prend les traits tremblés et imprécis du "brouillon".
• Il les nettoie, les lisse et les transforme en un mouvement fluide et précis (comme si on avait dessiné l'animation complète).
• Résultat : L'IA comprend exactement ce qui se passe, même si elle n'a vu que les notes du réalisateur.

3. La Mémoire Infinie (Le Module HMSS)

Pour les très longs films, même avec les notes, il y a trop d'informations à retenir.

• Les anciennes IA avaient une mémoire à court terme : elles oubliaient ce qui s'est passé au début du film quand elles arrivaient à la fin.
• ReMoRa utilise une technique appelée State Space Model (modèle d'espace d'état). Imaginez un journaliste très organisé qui ne lit pas tout le texte mot à mot, mais qui résume chaque chapitre en une phrase clé, tout en gardant le fil de l'histoire.
• Cela permet à ReMoRa de regarder un film de 2 heures sans se fatiguer, en gardant en mémoire les événements du début pour les relier à la fin.

🏆 Pourquoi est-ce si important ?

Grâce à cette méthode, ReMoRa est :

1. Plus rapide : Elle ne perd pas de temps à redessiner les murs et les ciels qui ne bougent pas.
2. Plus économe : Elle a besoin de beaucoup moins de puissance de calcul (et donc moins d'électricité).
3. Plus intelligente : Elle comprend mieux les actions subtiles.

Exemple concret du papier :
Si on demande à une IA : "Que fait l'homme après avoir glissé sur la rampe ?"

• Une IA classique pourrait dire : "Il est tombé" (parce qu'elle a vu un mouvement rapide et flou).
• ReMoRa, en lisant les mouvements précis, dira : "Il a atterri sur ses pieds et a vérifié son pantalon". Elle a vu la nuance entre une chute et un atterrissage contrôlé.

En résumé

ReMoRa est comme un détective qui, au lieu de regarder chaque seconde d'une vidéo (ce qui est lent et coûteux), lit le scénario technique du film. Avec un peu de magie (le module de nettoyage), il reconstitue l'histoire parfaitement, comprend les actions fines et se souvient de tout, le tout en un temps record.

C'est un grand pas en avant pour permettre aux robots et aux assistants virtuels de comprendre nos vidéos du quotidien, nos films longs et nos documents de surveillance, sans avoir besoin d'un super-ordinateur pour chaque seconde.

Résumé technique

1. Problématique

La compréhension de vidéos longues (de plusieurs minutes à plusieurs heures) par les Modèles de Langage Multimodaux (MLLM) reste un défi majeur. Les approches actuelles souffrent de deux limitations principales :

• Complexité computationnelle : Le traitement d'un flux complet de frames RGB (images) entraîne une complexité quadratique due au mécanisme d'attention auto-similaire (self-attention), rendant le traitement de séquences longues prohibitif.
• Redondance et échantillonnage : Les méthodes existantes reposent souvent sur un échantillonnage uniforme de frames. Un échantillonnage dense est trop coûteux, tandis qu'un échantillonnage espacé risque de manquer des événements critiques brefs mais importants. De plus, ces méthodes codent à plusieurs reprises des contenus visuels redondants (ex: arrière-plans statiques).

L'objectif est de concevoir un modèle capable de comprendre les vidéos longues avec une efficacité computationnelle accrue, sans sacrifier la précision temporelle ni la fidélité des mouvements.

2. Méthodologie : ReMoRa

ReMoRa propose une approche novatrice en traitant directement le flux vidéo compressé (domaine compressé) plutôt que les frames RGB décodées. L'architecture s'inspire des codecs vidéo modernes (comme H.264/HEVC) qui décomposent une vidéo en deux types de données :

1. Images clés (I-frames) : Frames complètes servant d'ancres d'apparence.
2. Vecteurs de mouvement (P/B-frames) : Descripteurs légers capturant l'évolution temporelle entre les images clés.

L'architecture de ReMoRa se compose de trois modules principaux :

A. Représentation Compressée et Entrée Adaptative

Au lieu d'un échantillonnage uniforme, le modèle utilise une construction de Groupes d'Images (GOP) adaptative aux scènes.

• Les I-frames sont encodées par un encodeur d'images (SigLIP ViT) pour extraire les embeddings d'apparence.
• Les P/B-frames sont représentées uniquement par leurs champs de vecteurs de mouvement (block-based motion vectors), évitant ainsi le décodage coûteux des pixels intermédiaires.

B. Module de Représentation de Mouvement Raffiné (RMR - Refined Motion Representation)

Les vecteurs de mouvement natifs des codecs sont bruyants, grossiers (basés sur des blocs) et incohérents temporellement.

• Le module RMR est un encodeur pré-entraîné pour transformer ces vecteurs bruts en représentations de mouvement denses et de haute fidélité, alignées sur un flux optique dense (optical flow).
• Il utilise un pré-entraînement avec un modèle de flux optique (Co-Tracker3) pour apprendre à "dénouer" et densifier les mouvements, comblant ainsi le fossé entre les données compressées brutes et la réalité du mouvement.

C. Module d'État de l'Espace Hiérarchique de Mouvement (HMSS - Hierarchical Motion State Space)

Pour gérer la longueur extrême des séquences tout en évitant la complexité quadratique de l'attention :

• Le modèle utilise une architecture basée sur les Modèles d'État de l'Espace (SSM), spécifiquement le mécanisme Mamba, qui offre une complexité linéaire par rapport à la longueur de la séquence.
• Étape 1 (Fusion locale) : Pour chaque GOP, un scan bidirectionnel Mamba fusionne les embeddings des I-frames avec les représentations de mouvement raffinées, créant une représentation unique "consciente du mouvement" pour le groupe.
• Étape 2 (Modélisation globale) : Une seconde couche Mamba agrège les représentations de tous les GOPs pour capturer les dépendances temporelles à long terme sur toute la vidéo.

Enfin, ces features temporelles sont projetées dans l'espace d'embedding d'un LLM pré-entraîné (Qwen2) pour la génération de réponses.

3. Contributions Clés

1. ReMoRa : Un MLLM vidéo qui opère directement sur les flux compressés, utilisant des I-frames et des représentations de mouvement au lieu de frames RGB redondantes, permettant une mise à l'échelle efficace pour les vidéos longues.
2. Module RMR : Une innovation pour améliorer la fidélité des vecteurs de mouvement bruits et grossiers issus des codecs, les transformant en signaux de mouvement fins et denses sans décodage complet.
3. Module HMSS : Une architecture de modélisation temporelle hiérarchique utilisant des SSMs pour traiter les dépendances à long terme en temps linéaire, respectant la structure naturelle des GOPs des codecs.
4. Performance : Démonstration que l'approche "domaine compressé" surpasser les méthodes basées sur l'échantillonnage uniforme de frames sur des tâches complexes.

4. Résultats Expérimentaux

Le modèle a été évalué sur une suite complète de benchmarks de compréhension vidéo, notamment LongVideoBench, NExT-QA, MLVU, VideoMME et Perception Test.

• Performance globale : ReMoRa a obtenu le meilleur score moyen (69.8) parmi tous les modèles comparés.
• Benchmarks spécifiques :
  • LongVideoBench : 60.8 (meilleur score, +1.3 par rapport au second).
  • NExT-QA : 84.2 (meilleur score, +1.0 par rapport au second).
  • MLVU : 72.1 (meilleur score, +1.3 par rapport au second).
• Efficacité : Bien que ReMoRa ajoute des composants (RMR, HMSS), il maintient une efficacité computationnelle comparable à des modèles basés sur des SSMs comme BIMBA et réduit l'utilisation de la mémoire GPU de plus de 50 % par rapport aux modèles basés sur l'attention standard (ex: LLaVA-Video).
• Analyse qualitative : Les résultats montrent une capacité supérieure à suivre des actions humaines subtiles et séquentielles (ex: vérifier ses vêtements après une glissade, distinguer un rebond d'un lancer) là où les modèles de base échouent en raison d'une mauvaise interprétation du mouvement.

5. Signification et Impact

Ce travail marque un tournant important dans la recherche sur les MLLMs vidéo :

• Paradigme du domaine compressé : Il valide l'hypothèse que l'exploitation directe des structures de compression vidéo (I/P/B-frames) est non seulement viable, mais supérieure pour la compréhension de vidéos longues, car elle élimine la redondance visuelle intrinsèque.
• Équilibre Efficacité-Précision : En raffinant les vecteurs de mouvement bruts via le module RMR, l'article résout le compromis traditionnel entre la légèreté computationnelle des données compressées et la nécessité d'une fidélité temporelle fine.
• Applications pratiques : Cette approche ouvre la voie à des applications réalistes nécessitant une analyse de vidéos longues (robots domestiques, technologies d'assistance pour les malvoyants, résumé vidéo) sur du matériel standard, sans nécessiter des ressources de calcul massives.

En résumé, ReMoRa démontre que la compréhension vidéo longue ne nécessite pas de traiter chaque pixel de chaque frame, mais plutôt d'exploiter intelligemment la structure temporelle et les mouvements déjà présents dans le flux vidéo compressé.