MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

1. Problématique

La compréhension temporelle des vidéos est essentielle pour que les Modèles de Langage Multimodaux (MLLM) puissent raisonner sur les événements vidéo. Malgré les progrès récents dans la compréhension vidéo générale, les MLLM actuels peinent encore à effectuer un raisonnement temporel fin.

Les approches existantes, y compris celles basées sur l'apprentissage par renforcement (RL), présentent deux limitations majeures :

1. Limitation au grounding mono-segment : La plupart des méthodes actuelles entraînent les modèles à associer une requête à un seul segment vidéo. Cela empêche la capture d'informations temporelles complexes et multi-séquentielles nécessaires à la compréhension fine.
2. Échec du modèle de raisonnement temporel : Les approches RL actuelles se concentrent souvent sur la justesse de la réponse finale (via des récompenses de format ou de précision) sans inciter le modèle à intégrer explicitement des repères temporels (timestamps) dans son processus de raisonnement. Cela conduit à des chaînes de pensée (CoT) superficielles qui négligent l'analyse temporelle détaillée.

De plus, une étude préliminaire montre que près de 30 % des tâches de grounding mono-segment peuvent être résolues par des "raccourcis" (reconnaissance d'objets clés) sans véritable raisonnement temporel, ce qui fausse l'évaluation des capacités réelles du modèle.

2. Méthodologie : MUSEG

Les auteurs proposent MUSEG (Multi-SEgment Grounding), une nouvelle méthode basée sur le RL qui améliore la compréhension temporelle grâce à un grounding multi-segment conscient des horodatages.

A. Tâche d'entraînement : Grounding Multi-Segment

Au lieu de se limiter à un segment par requête, MUSEG entraîne les modèles à aligner une requête textuelle sur plusieurs segments vidéo pertinents.

• Cela force le modèle à comprendre la structure temporelle globale et les relations entre différents événements, rendant la tâche impossible à résoudre par de simples raccourcis visuels.
• Le jeu de données d'entraînement est équilibré entre des requêtes mono-segment et multi-segment.

B. Conception de la Fonction de Récompense (Reward Design)

MUSEG introduit une fonction de récompense personnalisée composée de trois éléments clés :

1. Récompense de Matching de Segments (Segment Matching Reward) :
   • Matching Global : Mesure le chevauchement global entre l'ensemble des segments prédits et les segments de vérité terrain (Ground Truth).
   • Matching Local : Apparie séquentiellement les segments prédits et les segments de vérité terrain (triés par timestamp) et calcule une métrique NGIoU (Normalized GIoU) pour chaque paire. Cela pénalise les modèles qui prédisent un nombre incorrect de segments ou qui les désynchronisent.
2. Récompense Temporelle (Timestamp Reward) :
   • Cette récompense vérifie si les horodatages mentionnés dans la réponse finale apparaissent également dans le processus de raisonnement (la partie <thought>).
   • Elle incite le modèle à justifier ses choix par des preuves temporelles explicites plutôt que par des généralités.
3. Récompense de Format :
   • Assure que le modèle suit la structure requise : <thought>...</thought><answer>...</answer>.

C. Stratégie d'Entraînement par Phases (Phased Rewards)

Les auteurs observent que forcer l'utilisation de timestamps tout au long de l'entraînement peut limiter l'exploration de stratégies de raisonnement plus flexibles à long terme. Ils proposent donc une stratégie en deux phases :

• Phase 1 (Début) : Combinaison de la récompense de format, de la récompense de matching de segments et de la récompense temporelle. Cela aide le modèle à établir une stratégie de raisonnement consciente du temps.
• Phase 2 (Fin) : Suppression de la récompense temporelle explicite. Le modèle est libre d'explorer des stratégies de raisonnement plus efficaces tout en maintenant la précision temporelle acquise, ce qui conduit à une meilleure généralisation.

3. Contributions Clés

1. Proposition de MUSEG : Une méthode RL innovante qui intègre le grounding multi-segment pour permettre aux MLLM de raisonner sur des événements temporellement distribués.
2. Recette d'entraînement RL sur mesure : Conception de nouvelles fonctions de récompense (notamment la récompense temporelle et le matching local) et d'une stratégie d'entraînement par phases pour favoriser un raisonnement temporel fin.
3. Validation Expérimentale : Démonstration que MUSEG surpasse systématiquement les méthodes existantes (SFT et RL) sur des tâches de grounding et de compréhension vidéo temporelle, avec une excellente capacité de généralisation.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de 3B et 7B paramètres (basés sur Qwen2.5-VL) et évalués sur plusieurs benchmarks :

• Tâches In-Domain (Grounding Temporel) : Sur les ensembles de données Charades-STA, THUMOS14, THUMOS15 et Perception Test, MUSEG-7B atteint des performances supérieures aux modèles de base et aux méthodes concurrentes (comme VideoChat-R1 ou TimeZero).
  • Gain significatif (>10 %) par rapport au modèle de base Qwen2.5-VL-7B.
  • Meilleure performance sur les tâches multi-segments là où les autres modèles échouent ou régressent.
• Tâches Out-of-Domain (Compréhension Temporelle Large) : Sur E.T. Bench (sous-ensembles REF, GND, CAP, COM), MUSEG démontre une forte capacité de généralisation, surpassant même GPT-4o sur certains indicateurs de compréhension complexe.
• Études de Cas Qualitatives : Les exemples montrent que MUSEG réussit à localiser précisément plusieurs tentatives d'une action (ex: "clean and jerk") et à corriger les erreurs temporelles des modèles de base (ex: associer une action à un timestamp incorrect).

5. Signification et Impact

Ce travail marque une avancée significative dans le domaine de la compréhension vidéo par les IA :

• Dépassement des limites du RL standard : Il démontre que l'application directe de techniques RL textuelles aux vidéos est insuffisante et nécessite une adaptation spécifique (récompenses temporelles, multi-segments).
• Amélioration du Raisonnement : En forçant le modèle à "penser" avec des timestamps, MUSEG améliore non seulement la précision de la localisation, mais aussi la cohérence logique des réponses.
• Généralisation : La capacité du modèle à transférer ses compétences de raisonnement temporel à des tâches variées (référencement, légendage dense, QA complexe) suggère que la compréhension temporelle est une compétence fondamentale pour les MLLM futurs.

En résumé, MUSEG propose un cadre robuste pour transformer les MLLM en agents capables de comprendre non seulement ce qui se passe dans une vidéo, mais quand et comment les événements se déroulent dans le temps.