💬 NLP

STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models

STORMS est un cadre en deux étapes qui améliore le raisonnement spatio-temporel des modèles vidéo-langage en les entraînant à internaliser des preuves visuelles dynamiques dans des trajectoires latentes continues bornées, permettant ainsi d'atteindre une précision supérieure avec une latence d'inférence nettement inférieure par rapport aux méthodes reposant sur des outils externes ou une chaîne de pensée textuelle explicite.

Auteurs originaux : Yiming Liang, Yixiao Chen, Yiyang Zhou, Yixuan Wang, Shoubin Yu, Andong Deng, Fuxiao Liu, Qin Zhang, Chen Chen, Mohit Bansal, Huaxiu Yao

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiming Liang, Yixiao Chen, Yiyang Zhou, Yixuan Wang, Shoubin Yu, Andong Deng, Fuxiao Liu, Qin Zhang, Chen Chen, Mohit Bansal, Huaxiu Yao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La Vidéo est Difficile à « Penser »

Imaginez que vous regardez une vidéo de quelqu'un préparant un sandwich. Pour répondre à une question comme « Que vont-ils faire ensuite ? », votre cerveau doit suivre le mouvement de leurs mains, l'ordre des ingrédients et la façon dont la scène change d'une seconde à l'autre.

Les modèles d'IA actuels (Modèles Vidéo-Langage) sont excellents pour regarder des images, mais ils peinent avec la vidéo car la vidéo est un puzzle en mouvement.

L'Ancienne Méthode : Pour résoudre ce problème, l'IA actuelle essaie souvent de « parler » son chemin à travers le problème. Elle s'arrête, écrit une longue liste de pensées (comme un journal intime), sélectionne des images spécifiques à revoir, ou même fait appel à des outils externes pour l'aider.
L'Inconvénient : C'est comme essayer de résoudre un problème de mathématiques en écrivant chaque étape sur un papier, puis en l'effaçant, puis en le réécrivant. C'est lent, lourd et cela demande beaucoup d'énergie (puissance de calcul).

La Solution : TORM (Le « Film Interne »)

Les auteurs proposent TORM (ReasOning Spatio-Temporel via Modélisation InteRnalisée).

Au lieu de forcer l'IA à écrire ses pensées ou à demander de l'aide, TORM apprend à l'IA à simuler la vidéo dans son propre « cerveau » en utilisant un code caché et compact.

Pensez-y ainsi :

L'Ancienne IA : Comme un détective qui doit s'arrêter, sortir une loupe, prendre une photo des preuves, rédiger un rapport, puis prendre une autre photo.
L'IA TORM : Comme un détective qui ferme les yeux et rejoue la scène dans son esprit parfaitement, puis vous donne instantanément la réponse.

Comment ça Marche : L'Entraînement en Deux Étapes

Le papier décrit un processus d'entraînement astucieux en deux étapes pour enseigner à l'IA cette compétence de « film mental ».

Étape 1 : Le « Professeur » Montre le Film

Pendant l'entraînement, le système crée une « Vidéo de Pensée » spéciale.

Il prend une vraie vidéo et une question.
Il utilise une IA puissante pour générer une nouvelle vidéo courte qui ne montre que les parties pertinentes pour la réponse (par exemple, juste les mains qui mélangent la boisson).
Le modèle voit cette « Vidéo de Pensée » et on lui dit : « Vos états cérébraux cachés (les jetons latents) doivent ressembler à cette vidéo. »
L'Analogie : Imaginez un professeur montrant à un élève un court extrait parfait d'un but de football. Le professeur dit : « Ne rédigez pas un paragraphe sur le but. À la place, imaginez la sensation du ballon frappant le filet dans votre tête, et assurez-vous que votre « image mentale » correspond à cet extrait. »

Étape 2 : La Pratique « Silencieuse »

Une fois que l'IA a appris à faire correspondre ses états cérébraux internes à ces extraits vidéo, l'entraînement change.

La « Vidéo de Pensée » est retirée.
On pose la question à l'IA à nouveau.
On lui dit : « Allez-y, pensez dans votre tête (en utilisant ces états internes que vous avez appris), mais ne me montrez pas la vidéo. Donnez-moi juste la réponse finale. »
L'Analogie : Le professeur arrête de montrer les extraits. Maintenant, l'élève doit fermer les yeux, rejouer le film mental qu'il a appris à l'Étape 1, et crier la réponse. Il n'a plus le droit de prendre des notes ni de regarder l'écran.

Le Résultat : Rapide et Efficace

Lorsque l'IA est testée (inférence) :

Elle ne génère pas de nouvelles vidéos.
Elle ne revoit pas les images.
Elle n'appelle pas d'outils externes.

Elle exécute simplement une courte et rapide « simulation » dans son code caché (un « déploiement latent ») puis énonce la réponse.

Pourquoi est-ce mieux ?

Vitesse : Parce qu'elle n'a pas à générer de lourds fichiers vidéo ni à rechercher des images, elle est beaucoup plus rapide. Le papier montre qu'elle est environ 30 fois plus rapide que les méthodes qui dépendent d'outils externes.
Précision : Elle devient en fait meilleure pour répondre à des questions vidéo complexes car elle a appris à « ressentir » le mouvement et le timing en interne, plutôt que de simplement les décrire avec des mots.

Résumé

TORM est une nouvelle façon d'enseigner à l'IA la compréhension de la vidéo. Au lieu de faire écrire à l'IA une longue histoire ou d'utiliser des outils externes pour comprendre ce qui va se passer ensuite, il apprend à l'IA à exécuter une simulation silencieuse et interne de la vidéo. Elle apprend cela en regardant des « vidéos de pensée » pendant l'entraînement, mais lors du test réel, elle utilise simplement son « film mental » interne pour donner une réponse rapide et précise.

L'Essentiel : Il fait passer le raisonnement vidéo de « faire le travail à voix haute » (lent et désordonné) à « réfléchir silencieusement » (rapide et efficace).

Résumé Technique : TORM - Modélisation Internalisée pour le Raisonnement Spatio-Temporel dans les Modèles Vidéo-Langage

Énoncé du Problème

Les tâches de raisonnement vidéo exigent que les modèles suivent le mouvement, l'ordre temporel et les états visuels évolutifs à travers les images. Bien que les Modèles de Vision-Langage de Grande Taille (LVLM) aient réussi dans la compréhension d'images statiques, l'étendre à la vidéo reste un défi. Les approches existantes reposent souvent sur une externalisation du raisonnement via des chaînes de pensée (CoT) textuelles, une réinsertion répétée des images, une décomposition temporelle ou l'utilisation d'outils externes.

L'article identifie des limitations critiques dans ces pipelines externes :

Inefficacité : Ils introduisent une latence substantielle au moment de l'inférence et une complexité d'ingénierie.
Perte d'information : Ils forcent des preuves visuelles-temporelles riches et continues à être sérialisées en jetons de texte discrets ou à être réencodées à plusieurs reprises, risquant ainsi de perdre des informations dynamiques fines.
Compromis : Il existe une tension fondamentale entre la préservation d'informations visuelles-temporelles intermédiaires riches (bénéfiques pour le raisonnement) et l'efficacité de l'inférence (entravée par la génération ou la récupération de preuves explicites au moment du test).

Méthodologie : TORM

Les auteurs proposent TORM (Raisonnement Spatio-Temporel via une Modélisation Internalisée), un cadre en deux étapes conçu pour enseigner aux LVLM à raisonner par le biais de trajectoires latentes continues bornées plutôt que par des CoT textuelles explicites ou des outils externes. L'intuition centrale est que le raisonnement visuel peut se produire implicitement au sein des états cachés avant la verbalisation.

Architecture Principale

TORM enrichit le processus standard de génération de réponse à partir d'une question vidéo avec un court segment de simulation latente contenant $K$ jetons latents (fixé à $K=8$ dans les expériences).

Inférence : Lorsque le modèle génère un jeton spécial <|latent_start|>, il entre dans un « mode de simulation latente ». Au lieu de prédire des jetons de texte discrets, le décodeur génère des états cachés continus (jetons latents) qui sont réinjectés en tant qu'embeddings d'entrée pour les étapes suivantes. Ce processus se poursuit jusqu'à la génération de <|latent_end|>, après quoi le décodage textuel normal reprend pour la réponse finale. Ce processus est borné pour garantir une latence fixe.
Aucun Outil Externe : Contrairement à d'autres méthodes, TORM ne régénère pas de vidéos, ne réinsère pas d'images et n'appelle pas d'outils externes lors de l'inférence.

Pipeline de Données

Pour entraîner le modèle à internaliser le raisonnement, les auteurs construisent une séquence d'entraînement avec trois signaux alignés pour chaque paire Question-Réponse :

Images Clés : Images extraites de la vidéo source et pertinentes pour la question.
Vidéo de Pensée : Une courte vidéo dynamique générée visualisant les mouvements et les changements d'état pertinents pour la question (générée à l'aide d'un plan CoT d'un modèle enseignant et d'un modèle de génération vidéo comme Wan 2.1).
Réponse : La séquence de jetons de réponse cible.

Stratégie d'Entraînement en Deux Étapes

Le processus d'entraînement est divisé en deux étapes pour d'abord ancrer l'espace latent, puis internaliser le raisonnement :

Étape I : Entraînement Supervisé Ancré dans le Latent
- Le modèle est entraîné à aligner les états latents prédits ( $z_i$ ) avec les caractéristiques de la vidéo de pensée générée ( $g_i$ ).
- La vidéo de pensée est encodée, et ses caractéristiques sont regroupées pour correspondre au nombre fixe de créneaux latents ( $K$ ).
- La fonction de perte combine la perte d'entropie croisée standard des jetons de réponse ( $L_{ans}$ ) avec une perte MSE ( $L_{latent}$ ) afin de minimiser la distance entre les états latents et les caractéristiques de la vidéo de pensée.
- Objectif : Ancrer les créneaux latents dans des preuves visuelles dynamiques sans nécessiter de supervision textuelle CoT explicite.
Étape II : Consolidation Axée sur la Réponse
- La supervision latente directe (perte MSE) est supprimée.
- Le modèle est entraîné uniquement sur la perte des jetons de réponse ( $L_{ans}$ ), tandis que les créneaux latents restent dans la séquence d'entrée.
- Objectif : Encourager le modèle à internaliser le comportement de raisonnement appris à l'Étape I, rendant le processus latent auto-organisé et robuste pour l'inférence sans cibles explicites.

Contributions Clés

Cadre TORM : Un cadre de raisonnement vidéo qui effectue une simulation dynamique interne dans un espace latent continu, éliminant le besoin de CoT textuel explicite ou d'inférence lourde basée sur des outils.
Stratégie d'Entraînement en Deux Étapes : Une approche novatrice combinant l'alignement latent avec la supervision par vidéo de pensée (Étape I) et la consolidation axée sur la réponse (Étape II) pour internaliser le raisonnement spatio-temporel.
Pipeline de Supervision par Vidéo de Pensée : Une méthode évolutive pour aligner les traces dynamiques générées, les images clés et les annotations QA afin d'entraîner le raisonnement vidéo latent.
Efficacité et Performance : Démontrant que le raisonnement internalisé peut atteindre une haute précision tout en réduisant considérablement la surcharge d'inférence par rapport aux pipelines lourds en outils ou basés sur la génération vidéo.

Résultats Expérimentaux

Les auteurs ont évalué TORM sur six benchmarks : VideoMME, MVBench, TempCompass, Video-Holmes, VideoEspresso et MMVU.

Performance : TORM a constamment surpassé les bases de référence Supervised Fine-Tuned (SFT) standard (par exemple, Qwen2.5-VL-7B-SFT) sur tous les benchmarks. Il a également égalé ou dépassé des modèles spécialisés reposant sur des pipelines de calcul coûteux au moment du test (par exemple, LongVT, Video-Thinker).
- Exemple : Sur VideoMME, TORM a atteint une précision de 61,0 %, surpassant la base SFT (55,4 %) et rivalisant avec des modèles propriétaires comme GPT-4o (71,9 %) et Gemini-1.5-Pro (75,0 %) tout en utilisant un socle open-source.
- Exemple : Sur MMVU, TORM a atteint 65,9 %, surpassant Video-R1 (64,2 %) et Qwen2.5-VL-CoT (60,0 %).
Latence : TORM a démontré une réduction massive de la latence d'inférence.
- LongVT et Video-Thinker nécessitaient environ 15 à 17 secondes par élément.
- TORM traitait les éléments à environ 0,47 seconde par élément (2,14 éléments/seconde), soit une accélération d'environ 30 fois, en évitant la récupération répétée d'images et les appels d'outils externes.
Études d'Ablation :
- Taille Latente : Un budget de 8 jetons latents offrait le meilleur équilibre. Des budgets plus grands (16 ou 256) dégradaient les performances, suggérant que des trajectoires latentes compactes sont plus efficaces que le maintien de jetons visuels redondants.
- Étapes d'Entraînement : Les deux étapes (Étape I d'ancrage et Étape II de consolidation) étaient nécessaires ; l'utilisation d'une seule étape seule entraînait des performances inférieures.
- Analyse de Récupération : Des sondes ont montré que les états latents appris conservaient mieux les informations temporelles spécifiques à la vidéo que les représentations textuelles, atteignant un Hit@1 de 71 % dans la récupération au sein de la même vidéo contre 29 % pour le texte.

Importance et Revendications

L'article affirme que TORM représente une étape pratique vers un raisonnement visuel natif efficace dans les modèles vidéo-langage. En déplaçant la charge du raisonnement dynamique de l'orchestration d'outils au moment de l'inférence vers un processus latent internalisé, TORM adresse le compromis entre la qualité du raisonnement et l'efficacité computationnelle.

Les auteurs soulignent que :

Les preuves visuelles dynamiques sont utilisées uniquement pendant l'entraînement pour enseigner les états latents.
À l'inférence, le modèle réutilise ce comportement appris grâce à une trajectoire latente compacte à budget fixe sans générer de nouvelles vidéos ni invoquer d'outils externes.
Cette approche permet aux LVLM de gérer des tâches complexes de raisonnement spatio-temporel avec l'efficacité d'un processus de décodage à modèle unique, évitant la latence et la complexité des pipelines de raisonnement externes.

L'article reconnaît des limitations, notant que la qualité de l'entraînement dépend des vidéos de pensée générées et que l'évaluation actuelle se concentre sur les questions à choix multiples. Des travaux futurs sont suggérés pour le raisonnement ouvert et d'autres architectures.