Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models

1. Problématique : Le Piège Temporel (Temporal Trap)

Les modèles de langage multimodaux (MLLM) sont souvent entraînés en plusieurs étapes, où le fine-tuning supervisé basé sur la vidéo (Video-SFT) est considéré comme une étape cruciale pour améliorer la compréhension visuelle dynamique. L'hypothèse sous-jacente courante est que l'amélioration de la compréhension vidéo profite également à la compréhension d'images statiques, car une vidéo est une séquence d'images.

Cependant, les auteurs identifient un phénomène contre-intuitif qu'ils nomment le "Piège Temporel" (Temporal Trap) :

• Observation : Bien que le Video-SFT améliore systématiquement les performances sur les tâches vidéo, il entraîne souvent une dégradation des performances sur les benchmarks d'images statiques.
• Conflit : Il existe un compromis (trade-off) intrinsèque entre l'adaptation temporelle (compréhension du mouvement et de la séquence) et le raisonnement spatial (compréhension fine des détails statiques).
• Question centrale : Le fine-tuning vidéo est-il un "repas gratuit" (free lunch) pour les MLLM, ou sacrifie-t-il la capacité spatiale au profit de la capacité temporelle ?

2. Méthodologie et Analyse Expérimentale

Les auteurs ont mené une étude systématique à travers plusieurs dimensions pour caractériser ce phénomène :

• Architectures et Échelles : Ils ont évalué plusieurs familles de modèles (Qwen2.5-VL, LLaVA-Next-Video, LLaVA-1.5) avec des tailles de paramètres variant de 3B à 72B.
• Budget Temporel (Frame Sampling) : Ils ont varié le nombre d'images échantillonnées lors de l'entraînement vidéo (8, 16, 32 et 64 frames).
• Benchmarks : L'évaluation a porté sur des ensembles de données standards pour les images (MME, MMStar, MMBench, POPE) et pour la vidéo (Video-MME, MVBench, TempCompass, Video-MMMU).
• Analyse Théorique : Une analyse mathématique conservative a été réalisée pour modéliser les conflits de gradients entre les objectifs d'image et de vidéo dans un espace de paramètres partagé.

3. Résultats Clés

A. Existence du Piège Temporel

Les résultats montrent une tendance cohérente :

• Amélioration Vidéo : Les performances sur les tâches vidéo augmentent de manière fiable avec le Video-SFT.
• Dégradation Image : Sur la plupart des benchmarks d'images, les performances baissent après le fine-tuning vidéo. Cette dégradation est particulièrement marquée pour les tâches de perception fine (reconnaissance d'attributs, de célébrités, OCR) et de localisation d'objets.
• Résilience du Raisonnement : Paradoxalement, les capacités de raisonnement logique (mathématiques, code, déduction) semblent plus robustes, voire s'améliorent légèrement, suggérant que le Video-SFT préserve la logique séquentielle mais altère la représentation spatiale pure.

B. Impact de la Taille du Modèle

• Les modèles plus grands (ex: 72B) sont plus résistants au piège temporel que les modèles plus petits (3B-32B), mais la dégradation spatiale persiste même pour les plus grands modèles.
• L'attention visuelle des modèles plus grands reste plus focalisée sur l'objet cible après le fine-tuning, tandis que les modèles plus petits deviennent plus dispersés.

C. Rôle du Budget Temporel (Nombre de Frames)

• Loi des rendements décroissants : Augmenter le nombre de frames d'entraînement améliore les performances vidéo, mais ces gains saturent rapidement.
• Effet négatif sur l'image : Un nombre élevé de frames (ex: 64) introduit une redondance temporelle qui perturbe davantage les représentations visuelles statiques, aggravant la dégradation des performances sur les images. Le modèle apprend à se focaliser sur le mouvement au détriment des détails statiques.

4. Analyse Théorique

Les auteurs proposent une explication basée sur l'alignement des gradients :

• Conflit de Gradients : Dans un espace de paramètres partagé, le gradient de l'objectif vidéo ($g_{vid}$) peut être négativement aligné avec le gradient de l'objectif image ($g_{img}$).
• Condition de Dégradation : Si le produit scalaire $\langle g_{img}, g_{vid} \rangle < 0$, une mise à jour optimisant la vidéo augmente nécessairement la perte sur l'image (détérioration spatiale).
• Biais du Budget Temporel : À mesure que le nombre de frames ($m$) augmente, le composant "spécifique au temps" du gradient ($g_{tmp}$) devient dominant par rapport au composant "spatial partagé" ($g_{sh}$). Cela inverse l'alignement attendu, transformant une mise à jour potentiellement coopérative en un conflit.

5. Solution Proposée : Stratégie Hybride de Frames (Hybrid-Frame)

Pour atténuer ce compromis, les auteurs proposent une stratégie d'allocation de frames adaptative et consciente des instructions :

• Principe : Au lieu d'utiliser un nombre fixe de frames pour toutes les vidéos, le système détermine dynamiquement le nombre de frames nécessaire en fonction de la complexité temporelle de la question (instruction).
• Implémentation : Ils utilisent un petit modèle VLM (Qwen3-VL-8B ou Qwen2.5-VL-3B) comme prédicteur pour estimer le budget de frames optimal (8, 16, 32 ou 64) basé sur cinq dimensions : durée de l'événement, continuité du mouvement, relations causales, interactions d'objets et attributs visuels fins.
• Résultats :
  • Cette stratégie permet de partiellement mitiger le compromis image-vidéo.
  • Elle améliore les performances sur les benchmarks d'images (MMStar, POPE) par rapport aux modèles entraînés avec un nombre fixe élevé de frames, tout en maintenant des gains significatifs sur les tâches vidéo.
  • Elle réduit les coûts de calcul en évitant l'exposition temporelle redondante.

6. Contributions et Signification

Contributions principales :

1. Étude Systématique : Première analyse approfondie de l'impact du Video-SFT sur les capacités visuelles unifiées (image + vidéo) des MLLM.
2. Identification du "Piège Temporel" : Mise en évidence d'un compromis inévitable où l'amélioration temporelle se fait souvent au détriment de la capacité spatiale.
3. Analyse Théorique : Fourniture de conditions suffisantes locales expliquant mathématiquement pourquoi l'augmentation du budget temporel exacerbe ce conflit.
4. Solution Pratique : Démonstration que l'allocation adaptative des frames (Hybrid-Frame) est une méthode efficace pour rééquilibrer les performances sans sacrifier l'une des modalités.

Signification :
Ce travail remet en question l'hypothèse selon laquelle l'entraînement vidéo est automatiquement bénéfique pour tous les aspects de la vision. Il souligne que les pipelines d'entraînement unifiés actuels n'ont pas encore atteint une véritable synergie image-vidéo. La conclusion majeure est que préserver la compréhension spatiale reste un défi central lors de l'entraînement conjoint, et que l'efficacité de l'entraînement vidéo dépend non seulement de la quantité de données, mais de la pertinence temporelle de ces données par rapport à la tâche.