💬 NLP

Tracing the Arrow of Time: Diagnosing Temporal Information Flow in Video-LLMs

Ce papier diagnostique les faibles capacités de raisonnement temporel des LLM vidéo en identifiant des goulots d'étranglement tant dans les encodeurs visuels que dans les conceptions de projecteurs, ce qui conduit à une nouvelle architecture atteignant une performance quasi parfaite sur la tâche de la flèche du temps et améliorant considérablement les benchmarks plus larges de raisonnement temporel.

Auteurs originaux : Peitao Han, Fei Cheng, Lis K. Pereira, Qianying Liu, Shigeru Kitazawa

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peitao Han, Fei Cheng, Lis K. Pereira, Qianying Liu, Shigeru Kitazawa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une vidéo d'un verre tombant d'une table et se brisant. Si vous passez cette vidéo à l'envers, vous voyez les éclats voler magiquement vers le haut et se réassembler pour former un verre parfait. Même un tout-petit sait que cela semble faux. Les humains possèdent un « sens du temps » inné qui nous indique dans quel sens le temps s'écoule.

Ce papier enquête sur la raison pour laquelle les modèles d'IA avancés, appelés Video-LLM (Modèles de Langage à Grande Échelle pour la Vidéo), sont terribles dans cette tâche simple. Alors que les humains réussissent presque 100 % du temps, ces modèles d'IA devinent souvent au hasard, comme un lancer de pièce.

Les auteurs ont décidé de jouer au détective pour découvrir où l'IA perd la trace du temps. Ils ont décomposé l'IA en trois parties principales et ont tracé la « flèche du temps » à travers chacune d'elles.

Voici l'histoire de leur découverte, utilisant des analogies simples :

1. La Caméra (L'Encodeur Visuel)

D'abord, ils ont examiné la partie de l'IA qui « voit » la vidéo. Ils ont trouvé deux types de caméras :

La Caméra « Image par Image » : Elle regarde chaque image de la vidéo individuellement, comme si l'on feuilletait un album photo. Elle manque le mouvement entre les photos. Le papier a constaté que ces caméras sont aveugles au temps. Elles ne peuvent pas dire si le verre tombe ou vole vers le haut.
La Caméra « Film » : Elle regarde la séquence vidéo entière d'un coup, comprenant comment les images se connectent. Ces caméras peuvent voir la flèche du temps. Lorsque les auteurs ont testé uniquement cette partie de l'IA (sans le reste du cerveau), elle a donné la bonne réponse 85 à 90 % du temps.

Le Problème : L'IA possède une bonne « caméra film », mais quelque chose se passe mal avant que l'information n'atteigne le cerveau.

2. Le Traducteur (Le Projecteur)

La caméra vidéo parle un langage différent de celui du « cerveau » de l'IA (le Modèle de Langage). Un intermédiaire appelé un Projecteur traduit la vidéo en tokens semblables à du texte que le cerveau peut comprendre.

Les auteurs ont testé deux types de traducteurs :

Le « Résumé » (Q-Former) : Ce traducteur tente d'être efficace. Il regarde la vidéo entière et l'écrase en quelques phrases clés, comme une critique de film. Malheureusement, ce faisant, il jette la chronologie. Il dit au cerveau ce qui s'est passé, mais pas quand ni dans quel ordre. Le papier a constaté que ce traducteur détruit l'information temporelle, ce qui fait échouer l'IA.
Le Traducteur « Préservant le Temps » (MLP) : Ce traducteur est prudent. Il conserve la séquence des événements intacte, comme un scénario listant chaque scène dans l'ordre. Lorsqu'ils ont utilisé ce traducteur, les performances de l'IA ont décollé.

La Découverte : Le goulot d'étranglement n'était pas la caméra ; c'était le traducteur. Le traducteur standard effaçait accidentellement la partie « temps » du message.

3. Le Cerveau (Le LLM)

Enfin, ils ont examiné le cerveau lui-même. Ils ont constaté que le cerveau est en fait assez bon pour comprendre le temps si il reçoit les informations correctement.

Cependant, ils ont remarqué que lorsque la caméra est entraînée à parler au cerveau (un processus appelé « alignement linguistique »), la caméra commence à oublier les détails spécifiques du temps pour se concentrer sur la correspondance des mots. C'est comme une caméra qui apprend à décrire un verre si bien qu'elle oublie si le verre tombe ou monte.
Le cerveau fonctionne mieux lorsqu'il reçoit des données temporelles brutes et non filtrées des couches antérieures de la caméra, transmises via le traducteur « Préservant le Temps ».

La Solution : Construire une IA Sensible au Temps

En utilisant ces indices, les auteurs ont construit un nouveau Video-LLM avec trois améliorations spécifiques :

Une Caméra « Film » : Celle qui comprend explicitement le mouvement.
Un Traducteur « Préservant le Temps » : Celui qui refuse d'écraser la chronologie.
Un Entraînement Spécial : Ils ont enseigné à l'IA spécifiquement la tâche de la « Flèche du Temps » (vidéos vers l'avant par rapport aux vidéos vers l'arrière).

Le Résultat :
Cette nouvelle IA ne s'est pas seulement améliorée ; elle a battu les humains. Elle a atteint une précision de 98,1 % au test de direction temporelle, contre une moyenne humaine de 89,2 %.

De plus, cet entraînement n'a pas seulement aidé au test temporel. Il a rendu l'IA meilleure dans d'autres tâches nécessitant une compréhension du temps, comme déterminer l'ordre des événements dans une histoire ou la direction d'un mouvement, améliorant ses scores sur d'autres benchmarks jusqu'à 6 points.

Résumé

Le papier conclut que pour qu'une IA comprenne le temps, elle a besoin de deux choses :

Une caméra qui enregistre réellement le temps, et pas seulement des images.
Un traducteur qui ne supprime pas la chronologie lors du passage du message au cerveau.

Une fois qu'ils ont réparé la « fuite » dans le traducteur, l'IA a enfin pu voir la flèche du temps clairement.

Résumé Technique : Traçage de la Flèche du Temps dans les Video-LLM

Énoncé du Problème

Bien que les humains résolvent la tâche de la Flèche du Temps (AoT) — déterminer si une vidéo est lue dans le sens direct ou inversé en se basant sur l'irréversibilité physique — avec une précision quasi parfaite, les Video-LLM (Large Language Models Vidéo) de pointe ne performent que marginalement au-dessus du hasard. Cet écart de performance soulève une question diagnostique critique : l'échec est-il dû à l'incapacité des backbones visuels à encoder l'information temporelle, ou le goulot d'étranglement réside-t-il ailleurs dans l'architecture du Video-LLM (par exemple, le projecteur ou le LLM) ? Les Video-LLM actuels, qui couplent généralement un encodeur de vision avec un LLM via un projecteur, peinent à raisonner temporellement, une condition préalable à la compréhension des dynamiques du monde réel.

Méthodologie

Les auteurs emploient une approche systématique de traçage composant par composant pour isoler l'endroit où l'information temporelle est encodée, préservée ou perdue au sein du pipeline du Video-LLM. L'étude est structurée autour de trois Questions de Recherche (RQ) :

1. RQ1 : L'Information Temporelle Peut-elle Être Encodée par l'Encodeur de Vision ?

Approche : Les auteurs découplent l'encodeur de vision du LLM et emploient une technique de "sondage attentif" (attentive probing). Un classifieur léger basé sur l'attention est entraîné au-dessus d'encodeurs de vision figés pour prédire le sens de la vidéo (direct/inversé).
Comparaison des Encodeurs : Ils comparent les encodeurs centrés sur les images (qui traitent les vidéos comme des images individuelles et s'appuient sur des embeddings de position pour les indices temporels, par exemple Qwen2VL, DINOv2) aux encodeurs centrés sur la vidéo (qui modélisent explicitement les dynamiques temporelles à travers les images, par exemple VJepa, InternVideo2).
Résultat : Les encodeurs centrés sur la vidéo avec une modélisation temporelle explicite encodent avec succès de forts signaux AoT (atteignant ~~85-88 % de précision lors du sondage). En revanche, les encodeurs centrés sur les images échouent de manière catastrophique, restant au niveau du hasard (~~50 %).

2. RQ2 : Comment l'Information Temporelle Peut-elle Être Transférée Efficacement vers les LLM ?

Approche : Les auteurs investiguent le "goulot d'étranglement de l'information" en analysant le projecteur (le composant mappant les caractéristiques visuelles vers les tokens du LLM) et la dynamique couche par couche de l'encodeur.
Analyse du Projecteur : Ils comparent trois conceptions de projecteurs :
- Q-Former : Utilise des tokens de requête apprenables pour s'attarder sur les représentations visuelles.
- MLP à Compression Temporelle : Regroupe les caractéristiques le long de la dimension temporelle avant la projection.
- MLP à Préservation Temporelle : Préserve la dimension temporelle ( $T'$ ) tout en ne regroupant que les dimensions spatiales ( $H' \times W'$ ).
Analyse Couche par Couche : Ils tracent les représentations de différentes couches de l'encodeur (spécifiquement InternVideo2 Étape 1 vs Étape 2) à travers le projecteur jusqu'au LLM.
Résultats :
- Goulot d'Étranglement du Projecteur : Le Q-Former perturbe l'information temporelle, provoquant un effondrement de la performance vers le niveau du hasard même lors de l'utilisation d'encodeurs centrés sur la vidéo puissants. Les MLP à préservation temporelle surpassent nettement le Q-Former et les MLP à compression temporelle, indiquant que la préservation de la résolution temporelle lors de la projection est critique.
- Impact de l'Alignement Linguistique : Bien que les encodeurs de l'Étape 1 (pré-entraînés uniquement sur la vidéo) préservent l'information temporelle explicite dans les couches débutantes à intermédiaires, les encodeurs de l'Étape 2 (alignés avec le langage via un entraînement de type CLIP) montrent une dégradation de la transférabilité temporelle. L'information temporelle dans l'Étape 2 devient moins explicite et plus difficile à décoder par le LLM, même avec un projecteur à préservation temporelle.

3. RQ3 : La Supervision AoT Peut-elle Améliorer le Raisonnement Temporel Plus Large ?

Approche : Les auteurs construisent un Video-LLM combinant un encodeur vidéo conscient du temps (InternVideo2 Étape 1), un projecteur MLP à préservation temporelle et un LLM. Ils affinent ce modèle avec une supervision AoT (classification direct/inversé) parallèlement à un ajustement d'instruction général.
Évaluation : Ils testent le modèle sur le benchmark AoT (AoTP P B) et sur des benchmarks plus larges de raisonnement temporel (VITATECS-Direction, TVBench), en comparaison avec des benchmarks vidéo généraux (MVBench, Video-MME) pour garantir qu'aucune dégradation des capacités générales n'intervient.

Contributions Clés

Diagnostic de l'Encodage Temporel : Démonstration que la modélisation temporelle explicite dans les encodeurs centrés sur la vidéo suffit à encoder de forts signaux AoT, tandis que les encodeurs centrés sur les images sont fondamentalement insuffisants pour cette tâche.
Identification des Goulots d'Étranglement Architecturaux : Identification de la conception du projecteur comme goulot d'étranglement principal. Plus précisément, les architectures Q-Former perturbent le flux temporel, tandis que les MLP à préservation temporelle sont essentiels pour transférer l'information temporelle vers le LLM.
Impact de l'Alignement Linguistique : Révélation que l'alignement linguistique de type CLIP (entraînement Étape 2) rend l'information temporelle moins explicitement accessible et plus difficile à transférer vers le LLM par rapport au pré-entraînement purement centré sur la vidéo (Étape 1).
Perce dans les Performances : Construction d'un Video-LLM surpassant les performances humaines sur le benchmark AoTP P B (98,1 % de précision contre 89,2 % pour les humains).
Généralisation : Démonstration que la supervision AoT agit comme un signal d'entraînement efficace améliorant les tâches de raisonnement temporel plus larges (jusqu'à +6,0 points sur VITATECS-Direction) sans nuire à la compréhension vidéo générale.

Résultats

Sondage : Les encodeurs centrés sur la vidéo (par exemple VJepa-H) ont atteint 88,8 % de précision sur le sondage AoT, tandis que les encodeurs centrés sur les images (par exemple Qwen2.5VLViT) oscillaient autour de 50,7 %.
Performance VQA : Les Video-LLM standards (par exemple InternVideo2VL avec Q-Former) ont performé au niveau du hasard (50,0 %) sur la VQA AoT malgré l'utilisation d'un encodeur centré sur la vidéo puissant.
Ablation du Projecteur : Le remplacement du Q-Former par un MLP à préservation temporelle sur InternVideo2 Étape 1 a fait passer la précision de la VQA AoT de 50,0 % à 95,1 %.
Modèle Final : Le modèle proposé (Encodeur Étape 1 + MLP à Préservation Temporelle + Supervision AoT) a atteint 98,1 % sur AoTP P B.
Tâches Plus Larges : Le modèle a amélioré VITATECS-Direction de 6,0 points et TVBench de 1,3 point. Les performances sur les benchmarks généraux (MVBench, Video-MME) sont restées stables, indiquant que les gains sont spécifiques au raisonnement temporel.

Signification

L'article soutient que l'échec des Video-LLM actuels en matière de raisonnement temporel ne tient pas uniquement à un manque d'encodage temporel dans le backbone visuel, mais plutôt à un échec du transfert d'information causé par des conceptions de projecteurs inappropriées et les effets secondaires de l'alignement linguistique. En traçant la "flèche du temps" à travers l'architecture, les auteurs fournissent une explication mécaniste de ces échecs et proposent des principes architecturaux pratiques (encodeurs centrés sur la vidéo + projecteurs à préservation temporelle) pour les surmonter. Le travail suggère qu'une supervision explicite sur l'irréversibilité physique (AoT) est une stratégie viable et efficace pour améliorer les capacités de raisonnement temporel des modèles multimodaux.