Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs

Résumé technique : Diagnostic et surmontement de l'aveuglement au mouvement directionnel dans les LLM vidéo

Problème : Aveuglement au mouvement directionnel
Malgré les progrès rapides dans la compréhension temporelle des vidéos, les grands modèles linguistiques vidéo (Video-LLMs) présentent une défaillance fondamentale dans la perception de la direction du mouvement signée dans le plan de l'image. Sur des vidéos synthétiques simples où un objet unique se déplace strictement vers la gauche, la droite, le haut ou le bas, la plupart des Video-LLMs obtiennent des résultats proches du hasard (25 %), même lorsqu'ils identifient correctement l'apparence de l'objet (par exemple, sa couleur). Les auteurs qualifient ce phénomène d'aveuglement au mouvement directionnel.

Grâce à une analyse mécaniste, les auteurs diagnostiquent la cause racine non pas comme un manque de perception visuelle, mais comme un écart de liaison directionnelle. Ils démontrent que l'information sur la direction du mouvement reste accessible de manière linéaire tout au long du pipeline du Video-LLM — depuis l'encodeur de vision, en passant par le projecteur, jusqu'aux états cachés du LLM. Cependant, le token de lecture final échoue à lier de manière fiable ce signal interne à la bonne option de réponse verbale (par exemple, mapper le signal perçu « vers la gauche » à l'option textuelle « Gauche »). Cet écart persiste à travers diverses architectures et échelles, indiquant une limitation structurelle dans la façon dont ces modèles convertissent les signaux perceptuels en réponses au niveau du langage.

Méthodologie
L'article présente un cadre diagnostique contrôlé et une solution basée uniquement sur l'entraînement pour combler cet écart.

1. Famille de jeux de données MODIRECT :
   Pour isoler et évaluer la compréhension de la direction du mouvement, les auteurs introduisent MODIRECT, une famille de jeux de données comprenant trois sous-ensembles :

   • MODIRECT-INST : Un jeu de données d'ajustement d'instructions dérivé du domaine synthétique le plus simple (Primitive-on-Syn), utilisé pour entraîner les modèles sur des requêtes liées à la direction.
   • MODIRECT-SYNBENCH : Un benchmark synthétique contrôlé avec une conception factorielle $2 \times 2$ (Premier plan : Primitive vs. Découpage ; Arrière-plan : Synthétique vs. Réel). Cela permet une évaluation rigoureuse des performances en domaine et de la généralisation hors domaine (OOD).
   • MODIRECT-REALBENCH : Un benchmark du monde réel sélectionné à partir de jeux de données existants (Something-Something-V2, KTH, TOMATO) pour tester la transférabilité vers des vidéos naturelles, sans supervision de direction réelle pendant l'entraînement.

2. Analyse diagnostique :
   Les auteurs utilisent le sondage linéaire et l'analyse des vecteurs de concepts (différence des moyennes) pour tracer le signal de direction du mouvement.

   • Constats : Bien que l'ajustement d'instructions sur le domaine source (Primitive-on-Syn) comble avec succès l'écart de liaison pour ce domaine spécifique, les performances se dégradent considérablement sur des domaines OOD complexes (par exemple, Cutout-on-Real).
   • Cause racine de l'échec OOD : L'analyse des vecteurs de concepts de direction du mouvement révèle que, bien que l'orientation (direction dans l'espace de représentation) s'aligne entre les domaines après l'ajustement, l'amplitude du signal chute brutalement dans des environnements visuels complexes. Le modèle apprend la structure correcte de la direction, mais le signal devient trop faible pour être lu de manière fiable par la tête linguistique.

3. DeltaDirect :
   Pour remédier au déficit d'amplitude, les auteurs proposent DeltaDirect, un objectif auxiliaire appliqué uniquement lors de l'entraînement au niveau du projecteur.

   • Mécanisme : DeltaDirect prédit des vecteurs de mouvement 2D normalisés à partir des deltas de caractéristiques entre images adjacentes ($\delta_t = F_{t+1} - F_t$) avant que les caractéristiques n'entrent dans le LLM.
   • Supervision : Il utilise des vecteurs de mouvement analytiquement disponibles issus de données synthétiques comme cibles de supervision. La perte encourage la sortie du projecteur à porter un signal de déplacement signifié plus fort.
   • Inférence : La branche auxiliaire est supprimée après l'entraînement, laissant l'architecture du modèle, le format d'entrée et le processus de décodage inchangés.

Contributions clés

1. Identification de l'aveuglement au mouvement directionnel : L'article établit que les Video-LLMs échouent à distinguer les directions de mouvement signées de base malgré une forte reconnaissance d'apparence, diagnostiquant cela comme un écart de liaison directionnelle plutôt qu'un échec de perception.
2. Diagnostic de l'échec de généralisation : Grâce à l'analyse des vecteurs de concepts, les auteurs montrent que l'ajustement d'instructions aligne les orientations de direction entre les domaines mais échoue à maintenir l'amplitude du signal dans des conditions visuelles complexes, entraînant des écarts de généralisation OOD.
3. MODIRECT et DeltaDirect : L'introduction d'une famille de jeux de données contrôlés pour la direction du mouvement et d'un objectif au niveau du projecteur piloté par le diagnostic (DeltaDirect) qui renforce les signaux de mouvement sans altérer l'inférence.

Résultats

• Performance synthétique : Sur MODIRECT-SYNBENCH, l'ajustement d'instructions seul améliore la précision d'environ 26 % à environ 79 %. L'ajout de DeltaDirect porte la moyenne à 85,4 %, avec un gain significatif de 11,2 points sur le domaine le plus difficile (Cutout-on-Real).
• Transfert vers le monde réel : Sans avoir vu de vidéos du monde réel pendant l'entraînement, DeltaDirect améliore la précision de la direction du mouvement dans le monde réel sur MODIRECT-REALBENCH de 21,9 points par rapport à la base standard (de 43,1 % à 65,0 %).
• Compréhension vidéo générale : Crucialement, DeltaDirect préserve ou améliore les performances sur des benchmarks standards de compréhension vidéo générale (par exemple, MVBench, NExT-QA), démontrant que la supervision du mouvement ne se fait pas au détriment des capacités vidéo plus larges.
• Évolutivité : L'approche est efficace sur différents backbones (LLaVA-Video, LLaVA-OneVision, Qwen3-VL) et régimes d'entraînement (LoRA et affinement complet).

Signification et affirmations
L'article affirme que l'échec des Video-LLMs en matière de direction du mouvement n'est pas dû à un manque de données visuelles ou de capacité du modèle, mais à un échec spécifique dans la liaison des signaux perceptuels internes aux sorties verbales. En localisant cet échec à un « déficit d'amplitude » dans les domaines complexes, les auteurs soutiennent que la supervision pilotée par le diagnostic est une voie viable pour combler les écarts perception-langage. DeltaDirect démontre que la supervision explicite des vecteurs de mouvement à l'interface visuel-langage peut considérablement améliorer la compréhension du mouvement tout en maintenant les capacités vidéo générales, suggérant que les Video-LLMs futurs pourraient bénéficier d'interventions ciblées similaires au-delà du simple passage à l'échelle des modèles ou des jeux de données. Ce travail souligne l'importance des benchmarks synthétiques contrôlés pour diagnostiquer des primitives perceptuelles spécifiques qui sont souvent entremêlées dans les évaluations du monde réel.