💬 NLP

CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling

Le papier présente CoPE-VideoLM, un modèle de langage vidéo qui améliore l'efficacité et réduit la latence en exploitant les primitives de codec (vecteurs de mouvement et résidus) pour remplacer l'encodage d'images complètes, tout en maintenant ou dépassant les performances sur une large gamme de tâches de compréhension vidéo.

Auteurs originaux : Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de raconter l'histoire complète d'un film à un ami, mais que vous avez une règle stricte : vous ne pouvez utiliser que 100 mots pour tout expliquer.

C'est le problème que rencontrent les intelligences artificielles (les "VideoLM") lorsqu'elles regardent des vidéos. Pour respecter cette limite de mots (appelée "fenêtre de contexte"), elles ont l'habitude de ne regarder que quelques images clés (les "keyframes"), comme si elles regardaient un film en ne voyant que les pages 1, 10, 20 et 30 d'un livre. Résultat ? Elles ratent les scènes d'action rapides, les détails subtils et le lien entre les moments. De plus, traiter chaque image complète coûte très cher en temps et en énergie, comme si vous deviez redessiner tout le décor à chaque fois que quelqu'un bouge un doigt.

CoPE-VideoLM est une nouvelle méthode qui change la donne. Voici comment elle fonctionne, expliquée simplement :

1. Le problème : Regarder le film en "HD" inutilement

Les méthodes actuelles traitent chaque image de la vidéo comme une photo haute définition complète. C'est comme si, pour décrire un match de foot, vous deviez décrire chaque herbe de la pelouse, même quand le ballon ne bouge pas. C'est énorme, lent et inutile.

2. La solution : Utiliser les "plans de montage" du film

Les vidéos sur internet (YouTube, Netflix) ne sont pas stockées comme une suite de photos. Elles sont compressées par des codecs (comme le H.264).

Les images clés (I-frames) : Ce sont des photos complètes, comme les pages de début d'un chapitre.
Les images de mouvement (P-frames) : Au lieu de redessiner toute l'image, le codec dit simplement : "L'objet X s'est déplacé de 2 pixels vers la droite, et le ciel est devenu un tout petit peu plus bleu."

C'est là que CoPE-VideoLM devient génial. Au lieu de forcer l'IA à redessiner toute la scène, il lui donne directement ces instructions de mouvement (les vecteurs de mouvement et les résidus).

3. L'analogie du Chef et du Dessinateur

Imaginez un restaurant très occupé (l'IA) :

L'ancienne méthode (Standard VideoLM) : Le chef demande au dessinateur de redessiner tout le décor du restaurant à chaque seconde, même si seul un serveur a bougé. C'est lent, épuisant et ça prend beaucoup de place.
La méthode CoPE : Le chef dit au dessinateur : "Dessine la scène de base une fois. Ensuite, pour les secondes suivantes, écris juste : 'Le serveur a marché de la cuisine à la table 4' et 'La lumière a changé'."

Le dessinateur (l'IA) comprend parfaitement l'histoire, mais il a besoin de 93% moins de mots pour le faire.

4. Les résultats magiques

Grâce à cette astuce intelligente :

Vitesse fulgurante : L'IA commence à répondre beaucoup plus vite (jusqu'à 86% plus rapide). C'est comme passer d'un train de marchandises à un TGV.
Mémoire allégée : Elle utilise beaucoup moins de "mots" (tokens) pour comprendre la vidéo, ce qui lui permet de regarder des vidéos beaucoup plus longues sans se perdre.
Compréhension fine : Contrairement à l'ancienne méthode qui ratait les petits détails, CoPE-VideoLM voit les mouvements précis et les actions rapides, car elle lit directement les instructions de mouvement du film.

En résumé

CoPE-VideoLM ne regarde pas la vidéo comme un humain qui regarde des photos. Il la regarde comme un monteur de film qui lit les notes techniques. Il comprend que la plupart des images sont juste des copies de la précédente avec un petit mouvement.

En utilisant cette astuce, il rend les intelligences artificielles plus rapides, plus économes en énergie et capables de comprendre des vidéos longues et complexes, tout en utilisant une fraction de la puissance de calcul habituelle. C'est comme passer d'une voiture qui consomme 20 litres aux 100km à une voiture électrique ultra-efficace, sans sacrifier la vitesse ni le confort.

1. Problématique et Contexte

Les modèles de langage vidéo (VideoLMs) représentent une avancée majeure pour la compréhension des dynamiques temporelles dans les vidéos. Cependant, ils font face à deux limitations critiques :

Contraintes de fenêtre de contexte et échantillonnage : Pour s'adapter aux limites de la fenêtre de contexte (souvent 32k ou 128k tokens), les méthodes actuelles reposent sur un échantillonnage de "keyframes" (images clés). Cela entraîne une couverture temporelle très espacée, risquant de manquer à la fois des événements macroscopiques et des détails microscopiques essentiels.
Surcharge computationnelle : Traiter chaque image clé comme une image complète (RGB) via un encodeur visuel génère un nombre élevé de tokens visuels. Cela augmente considérablement le temps de pré-remplissage (prefill time) et le temps jusqu'au premier token (Time-To-First-Token ou TTFT), ce qui est problématique pour les applications temps réel (robotique, interaction humaine).
Redondance ignorée : Les vidéos compressées contiennent une redondance temporelle massive entre les images consécutives. Les VideoLMs actuels ignorent cette structure native, traitant chaque image comme un contenu indépendant et dense.

2. Méthodologie : CoPE-VideoLM

L'approche proposée, CoPE-VideoLM, exploite directement les primitives des codecs vidéo (spécifiquement les vecteurs de mouvement et les résidus) pour créer une représentation tokenisée efficace et structurée.

A. Représentation Codec-Aware

Au lieu de décoder et d'encoder chaque image en RGB, le modèle utilise la structure des Groupes d'Images (GOP) :

I-frames (Images clés) : Encodées indépendamment. Elles sont traitées par un encodeur visuel standard (ex: SigLIP) pour produire des tokens denses ( $M$ tokens).
P-frames (Images prédictives) : Elles ne contiennent que les changements par rapport à l'image précédente. Au lieu de les décoder en RGB, le modèle utilise directement leurs deux composantes natives :
- Vecteurs de mouvement ( $\tau$ ) : Décrivent les déplacements de blocs.
- Résidus ( $\delta$ ) : Capturent les corrections de pixels après compensation de mouvement.

B. Architecture du Δ-Encoder

Pour intégrer ces primitives dans le modèle de langage, les auteurs introduisent un Δ-Encoder (Delta-Encoder) léger et à deux branches :

Branche Mouvement : Utilise un MLP et un Motion Transformer pour compresser les vecteurs de mouvement en un petit nombre de tokens ( $K_\tau$ ).
Branche Résidus : Utilise un ResNet-18 léger et un Residual Transformer pour compresser les résidus en tokens ( $K_\delta$ ).
Fusion : Les tokens de mouvement et de résidus sont concaténés pour former un ensemble compact de Δ-tokens ( $N$ tokens, typiquement $N=8$ ) par P-frame, bien inférieur aux $M$ tokens d'une image RGB (ex: 196 tokens).

C. Stratégie d'Entraînement en Deux Étapes

Pour assurer la compatibilité entre les tokens Δ (codec) et les tokens d'image (RGB), une stratégie d'entraînement spécifique est utilisée :

Pré-entraînement du Δ-Encoder : L'objectif est d'aligner l'espace d'embedding des Δ-tokens avec celui de l'encodeur visuel. Le modèle apprend à reconstruire les caractéristiques d'une image cible ( $I(t)$ ) à partir de l'image de référence ( $I(t-1)$ ), des vecteurs de mouvement et des résidus, en minimisant une perte de régression patch par patch.
Fine-tuning End-to-End : Le Δ-Encoder pré-entraîné est intégré au VideoLM. Le modèle est ensuite affiné sur des tâches de question-réponse vidéo. Les tokens I-frames et P-frames sont intercalés dans l'ordre temporel naturel pour former le flux d'entrée du LLM.

3. Contributions Clés

Tokenisation Native Codec : Première méthode à encoder directement les vecteurs de mouvement et les résidus dans un VideoLM, préservant l'ordre temporel et les détails d'apparence sans décoder le RGB complet.
Architecture Légère : Introduction d'un encodeur dual-branch (Δ-Encoder) qui atteint des taux de compression élevés avec un surcoût paramétrique négligeable (< 15M paramètres).
Alignement par Pré-entraînement : Un cadre de pré-entraînement innovant qui permet une convergence rapide lors du fine-tuning en alignant les représentations codec avec l'espace visuel standard.
Évolutivité Temporelle : La méthode découple le taux d'images (FPS) du budget de tokens. On peut traiter des vidéos à 1 FPS (ou plus) en utilisant des P-frames fusionnées, permettant une couverture temporelle dense avec un nombre de tokens réduit.

4. Résultats Expérimentaux

Les auteurs ont évalué CoPE-VideoLM sur 14 benchmarks couvrant la QA vidéo générale, le raisonnement temporel/motion, la compréhension de vidéos longues et la compréhension spatiale.

Efficacité des Tokens :
- Réduction de l'utilisation des tokens visuels jusqu'à 93 % par rapport aux VideoLMs standards.
- Réduction du TTFT (Time-To-First-Token) jusqu'à 86 % (ex: de 2.39s à 0.33s sur une configuration donnée).
Performance :
- Surpasse les modèles open-source de taille comparable (comme LLaVA-Video-7B) sur plusieurs benchmarks (PerceptionTest, NextQA, TempCompass) tout en utilisant beaucoup moins de tokens.
- Maintient ou dépasse les performances sur des tâches complexes de raisonnement temporel et de compréhension de vidéos longues.
- Surpasse les approches précédentes basées sur les codecs (comme Video-LaVIT ou EMA) qui négligent soit les résidus, soit l'ordre temporel.
Scalabilité :
- Permet de traiter des vidéos de plusieurs heures (jusqu'à 8h à 1 FPS) dans une fenêtre de contexte de 1M tokens, là où les méthodes denses satureraient immédiatement.

5. Signification et Impact

Ce travail marque un changement de paradigme pour les VideoLMs : au lieu de traiter la vidéo comme une séquence d'images statiques redondantes, il exploite la structure de compression inhérente aux formats vidéo modernes.

Efficacité Computationnelle : En évitant le décodage et l'encodage RGB pour la majorité des images, CoPE-VideoLM réduit drastiquement la charge mémoire et le temps de calcul, rendant les modèles vidéo accessibles sur du matériel grand public et adaptés au temps réel.
Qualité de Représentation : L'utilisation des primitives codec (mouvement + résidus) fournit un signal temporel plus pur et moins bruité que l'échantillonnage d'images, améliorant la capacité du modèle à raisonner sur les actions et les dynamiques.
Avenir des VideoLMs : Cette approche ouvre la voie à des modèles capables de "regarder" de très longues vidéos avec une granularité fine, sans être limités par les contraintes de contexte des LLMs actuels, posant les bases pour la prochaine génération d'agents IA multimodaux.