💻 computer science

Persistent Object Narratives for Token-Efficient Video Language Models

L'article présente SlotNarrative, une interface de modèle de langage vidéo efficace en termes de jetons qui organise le contenu vidéo en récits d'objets persistants à l'aide de jetons d'identité et d'état compacts, atteignant un compromis précision-jetons favorable en découplant le regroupement d'objets de la compression image par image.

Auteurs originaux : Junzhe Chen, Siyuan Meng, Xiaojie Guo

Publié 2026-08-06

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Junzhe Chen, Siyuan Meng, Xiaojie Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot super intelligent comment comprendre un film. Vous avez une immense bibliothèque de livres (le cerveau du robot), mais il ne peut lire que quelques pages à la fois avant d'être submergé. Si vous essayez de montrer au robot chaque image d'un film — des milliers d'images par minute — il s'étouffe. Il se perd dans le volume colossal de pixels et oublie que le personnage qui court dans la première scène est le même que celui qui saute dans la dernière. C'est le grand casse-tête que les scientifiques tentent de résoudre dans le domaine des Modèles de Langage de Grande Taille pour la Vidéo (Video Large Language Models). Ce sont des systèmes d'IA conçus pour « regarder » des vidéos et répondre à des questions à leur sujet, mais ils ont du mal à suivre des objets au fil du temps sans épuiser toute leur mémoire. Le défi clé consiste à trouver un moyen de résumer une vidéo longue en une histoire minuscule et efficace que le robot puisse réellement lire, sans perdre le fil de l'intrigue.

Entrez en scène SlotNarrative, une nouvelle méthode proposée par des chercheurs de l'Université de Tianjin qui agit comme un éditeur ingénieux pour ces robots d'IA. Au lieu de nourrir le robot avec un tas chaotique de milliers d'images vidéo, SlotNarrative organise la vidéo en « récits d'objets persistants ». Pensez-y de cette façon : si vous deviez décrire un match de football à un ami qui a manqué tout le match, vous ne listeriez pas chaque seconde du jeu. Au lieu de cela, vous diriez : « Il y avait un attaquant nommé Alex qui a couru sur le terrain, puis il a fait une passe, puis il a marqué. » Vous suivez l'histoire d'Alex, pas les pixels de son maillot.

L'article suggère que SlotNarrative fonctionne en regroupant d'abord les caractéristiques visuelles en « slots » (créneaux) — de petits seaux qui capturent ce qui ressemble à des objets. Ensuite, il utilise un système de mémoire spécial et invisible pour lier ces seaux entre eux au fil du temps. Même si l'objet disparaît derrière un arbre ou que la caméra change de plan, le système se souvient : « Ah, c'est toujours Alex ! » Enfin, il rédige un rapport minuscule de taille fixe pour le robot. Ce rapport comporte deux parties : un « Jeton d'Identité » (une carte d'identité permanente pour l'objet, comme « Alex l'Attaquant ») et un ensemble de « Jeton d'État » (un journal de bord de ce qui lui est arrivé dans différentes parties de la vidéo).

Les chercheurs ont constaté que cette méthode est incroyablement efficace. Ils ont réussi à condenser toute l'histoire visuelle d'une vidéo en seulement 144 positions de « tokens » (les unités d'information que lit le robot). C'est une fraction minuscule des milliers de tokens utilisés par d'autres méthodes. Malgré l'utilisation de si peu d'espace, le système a très bien performé lors de quiz vidéo standards, battant souvent d'autres méthodes compactes. L'article suggère qu'en séparant le « qui » (l'identité) du « ce qui s'est passé » (l'état), le robot peut bien mieux comprendre les vidéos sans être confus par la quantité massive de données. Cependant, les auteurs notent également que, bien que cela fonctionne très bien pour suivre des objets, le système éprouve parfois des difficultés avec des séquences temporelles très complexes et de longue durée ou des scènes encombrées où les objets s'embrouillent, montant qu'il reste encore du travail pour rendre ces éditeurs d'IA parfaits.

Résumé Technique : Narrations d'Objets Persistants pour les Modèles de Langage Vidéo à Efficacité de Jetons

Énoncé du Problème

Les modèles de langage vidéo (Video-LLMs) ont fait progresser la compréhension vidéo ouverte, mais font face à deux limitations primaires dans leurs interfaces visuelles :

Intensité des Jetons : Les méthodes actuelles de construction par trame génèrent des jetons visuels proportionnels à la résolution temporelle et spatiale, ce qui se traduit souvent par des milliers de jetons par vidéo (ex. LLaVA-OneVision, LLaVA-Video).
Absence de Structure d'Objet Explicite : Les techniques de compression existantes (ex. mémoire parcimonieuse, compression spatio-temporelle adaptative) réduisent le nombre de jetons mais ne parviennent pas à organiser explicitement les preuves d'objets récurrents. Par conséquent, le modèle de langage doit inférer la correspondance des objets et l'évolution de leur état à partir de séquences compressées sans liaison explicite, ce qui entraîne une ambiguïté lorsque les objets réapparaissent après une occlusion ou une coupure de scène.

Bien que l'apprentissage centré sur les objets offre une base théorique pour regrouper les caractéristiques en "slots" (créneaux) de type objet, les approches existantes basées sur les slots traitent généralement ces derniers comme locaux et échangeables, échouant ainsi à lier les observations récurrentes à des instances d'objets persistantes à travers le temps. À l'inverse, les méthodes reposant sur des pipelines externes de détection et de suivi introduisent une dépendance vis-à-vis de composants non appris.

Méthodologie : SlotNarrative

Les auteurs proposent SlotNarrative, une interface basée sur les slots et centrée sur les objets, qui organise les preuves vidéo en narrations d'objets persistantes. Le cadre fonctionne via trois modules fonctionnels :

1. Représentation Vidéo Centrée sur les Objets

Un encodeur SigLIP gelé extrait les caractéristiques de patch des trames échantillonnées. Un adaptateur de caractéristiques et un encodeur de slot récurrent regroupent ces caractéristiques en $K=11$ vecteurs de slots de type objet ( $S_t$ ) et en cartes d'attention normalisées par patch ( $A_t$ ).

État Local : Le système estime le mouvement local, la géométrie et la visibilité en utilisant une correspondance de patch pondérée par masque et un encodeur de trajectoire causal.
Gestion des Scènes : Lors de la détection de coupures de scènes, l'initialisation du slot récurrent est réinitialisée pour éviter de traiter les montages comme des mouvements d'objets extrêmes, tout en conservant la mémoire au niveau du clip.

2. Mémoire d'Objet Persistante

Un module de mémoire sans paramètres lie les observations de slots locales aux entrées d'objets persistantes au niveau du clip.

Ré-identification : Lorsqu'un slot passe de l'état invisible à visible, le système le compare aux entrées de mémoire inactives en utilisant cinq indices complémentaires : similitude des caractéristiques du slot, similité de l'apparence agrégée, similitude de l'état de trajectoire, similitude de l'observation récente et proximité de position.
Logique de Correspondance : Un score pondéré, sans paramètres, détermine la ré-identification. Une stratégie de correspondance gloutonne (greedy) un-à-un empêche les doublons. Si un objet réapparaît sous un index de slot brut différent, la mémoire préserve l'ID persistant, comblant ainsi efficacement les intervalles manquants.
Aucun Paramètre Entraînable : La mémoire elle-même ne contient aucun poids apprenable ; elle repose sur des poids d'indices fixes (ex. 0,3 pour les caractéristiques de slot, 0,2 pour l'apparence) et des seuils.

3. Tokenisation de Type État-Objet

Pour s'interfacer avec un modèle de langage gelé, les entrées d'objets conservées sont sérialisées en une séquence visuelle de taille fixe :

Sélection de l'Inventaire : Les entrées sont classées par durée de visibilité, changement d'état et "objectivité" (une métrique combinant la surface du slot et l'entropie de l'attention). Les $M=16$ meilleures entrées sont conservées.
Décomposition en Jetons : Chaque entrée conservée est représentée par :
- Un Jeton d'Identité : Résume l'apparence persistante en utilisant des caractéristiques de l'architecture dorsale (backbone) agrégées dans le temps et pondérées par la visibilité.
- $J=8$ Jetons d'État : Encodent l'apparence au niveau du segment, la géométrie, la visibilité, l'état de la trajectoire et les événements de ré-identification.
Budget Fixe : Cette conception alloue exactement $M(1 + J) = 144$ positions de jetons visuels par vidéo, indépendamment du nombre de trames échantillonnées. Les positions inutilisées sont masquées.

Stratégie d'Entraînement

Le modèle est entraîné selon trois étapes séquentielles :

Étape 1 : Apprend le regroupement de type objet et la cohérence locale en utilisant la reconstruction de caractéristiques, le SlotContrast et l'apprentissage de représentation synergique sur des clips non étiquetés.
Étape 2 : Entraîne les modules de trajectoire et de présence via la prédiction d'observations futures et des cibles dérivées de la confiance.
Étape 3 : Aligne la représentation typée objet-état avec le modèle de langage (Qwen2-7B-Instruct). Seuls les projecteurs d'identité/état, les normalisations de couche et les plongements (embeddings) typés sont entraînés ; l'architecture dorsale visuelle, la mémoire et le modèle de langage restent gelés.

Contributions Clés

Interface Centrée sur les Objets par Slots : Organise les preuves vidéo autour d'entrées d'objets persistantes au niveau du clip plutôt qu'autour de trames ou de slots par trame échangeables, en utilisant une mémoire sans paramètres pour associer les observations récurrentes sans dépendre de pipelines de suivi externes.
Représentation Typée État-Objet : Sépare l'apparence persistante de l'objet de son état variable dans le temps. Cette décomposition produit une interface compacte et fixe de 144 jetons (1 jeton d'identité + 8 jetons d'état $\times$ 16 objets) pour un Video-LLM gelé.
Efficacité et Performance : Démontre un compromis précision-jetons visuels favorable sur plusieurs benchmarks, établissant les narrations d'objets persistantes comme une interface visuelle structurée.

Résultats Expérimentaux

Les auteurs ont évalué SlotNarrative sur trois benchmarks de VideoQA en accès ouvert : MSVD-QA, MSRVTT-QA et ActivityNet-QA.

Efficacité des Jetons : Avec seulement 144 positions de jetons visuels allouées, SlotNarrative atteint :
- 75,6 % de précision sur MSVD-QA.
- 69,8 % de précision sur MSRVTT-QA.
- 50,3 % de précision sur ActivityNet-QA.
Comparaisons :
- Comparé à la base la plus proche centrée sur les objets, Slot-VLM (192 jetons), SlotNarrative utilise 25 % de jetons en moins tout en améliorant la précision de 0,7, 0,2 et 2,0 points respectivement.
- Il surpasse les méthodes à jetons denses (ex. LLaVA-OneVision avec ~6 000 jetons) sur les jeux de données de vidéos courtes et reste compétitif sur les vidéos plus longues (ActivityNet-QA) malgré la réduction significative des jetons.
Études d'Ablation :
- Trajectoire et Mémoire : Les deux composantes améliorent significativement la performance. Supprimer la mémoire seule fait chuter la précision d'environ 3,2 points sur MSVD-QA ; supprimer la trajectoire la fait chuter d'environ 1,8 point. Leur combinaison produit les meilleurs résultats.
- Jetons Typés : Séparer les jetons d'identité et d'état est crucial. Utiliser uniquement des jetons d'identité (16 jetons) ou uniquement des jetons d'état (128 jetons) entraîne des chutes de précision significatives (44,1 % et 42,4 % respectivement sur ActivityNet-QA) par rapport à l'interface complète de 144 jetons (50,3 %).
- Sensibilité au Budget : Réduire la couverture des objets ( $M$ ) est plus coûteux que de réduire la résolution temporelle ( $J$ ). Augmenter le budget au-delà de 144 jetons produit des rendements décroissants.

Signification et Revendications

L'article affirme que SlotNarrative établit un nouveau paradigme pour les interfaces de Video-LLM en privilégiant les narrations d'objets persistantes plutôt que les preuves par trame. La signification réside dans :

Compression Structurée : Il fournit une interface visuelle compacte, structurée et temporellement organisée qui lie explicitement les observations récurrentes, réduisant la charge du modèle de langage pour inférer la correspondance des objets.
Efficacité des Jetons : Il atteint une performance compétitive avec un budget de jetons fixe et bas (144 jetons), découplant la longueur de l'entrée de la durée et de la résolution de la vidéo.
Association Apprise : Il démontre que des unités de type objet peuvent être découvertes et associées à travers des intervalles manquants directement à partir de caractéristiques visuelles sans recourir à des modèles externes de détection ou de suivi.

Les auteurs reconnaissent modestement des limites, notant que bien que l'interface soit compacte, l'ordre temporel à longue portée et la fragmentation dans les scènes encombrées restent des défis. Ils suggèrent que les travaux futurs devraient se concentrer sur une découverte d'objets et des indices de mouvement plus riches sans revenir à de longues séquences de jetons par trame.