DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

Sur la base du document fourni, voici un résumé technique détaillé de DynFrame.

Énoncé du problème

Les récents Modèles de Langage Multimodaux à Grande Échelle (MLLM) ont fait progresser la compréhension vidéo en couplant un raisonnement étape par étape avec une récupération de preuves visibles à la demande. Cependant, les systèmes existants de « réflexion avec vidéo » souffrent de deux lacunes structurelles :

1. Densité d'échantillonnage fixe : Bien que les modèles puissent décider où regarder (fenêtre temporelle), la fréquence d'images (densité d'échantillonnage) au sein de cette fenêtre est généralement un hyperparamètre système fixe. Par conséquent, la récupération de preuves fines nécessite souvent des appels de récupération répétés, ce qui gonfle la longueur du contexte d'inférence et complique l'entraînement.
2. Déséquilibre de l'attribution du crédit : Les approches d'apprentissage par renforcement (RL) actuelles optimisent souvent toute la trajectoire de génération avec un seul signal d'avantage. Cela entremêle le crédit pour la décision « où regarder » (jetons de récupération) avec la décision « comment répondre » (jetons de raisonnement), conduisant à un apprentissage sous-optimal lorsque l'un des composants est correct et l'autre non.

Méthodologie

Les auteurs proposent DynFrame, un cadre entraînable de bout en bout qui unifie la récupération adaptative d'images avec un raisonnement vision-langage dynamiquement entrelacé. Les composants principaux sont :

1. Interface de récupération tokenisée
DynFrame traite l'adaptation de la fréquence d'images comme une décision apprenable au sein de la trajectoire de génération autoregressive. Au lieu d'appels d'outils externes, le modèle émet des jetons natifs pour spécifier la commande de récupération :

• <span>ts–te</span> : Définit la fenêtre temporelle.
• <fps>f</fps> : Définit la fréquence d'échantillonnage des images.
  Cela permet au modèle d'acquérir des preuves multi-granulaires (images denses pour le mouvement, éparses pour la sémantique) en une seule étape de récupération.

2. Injection dynamique d'images
Dès la génération du jeton de fermeture </fps>, le système déclenche un mécanisme d'injection à la volée. Il extrait $N$ images de la fenêtre spécifiée à la fréquence d'images prédite, les encode via un encodeur de vision figé, et ajoute des jetons visuels horodatés au tampon de génération. Le décodeur re-préremplit ensuite les états KV pour permettre au raisonnement post-injection de porter une attention bidirectionnelle aux images nouvellement récupérées.

3. GRPO découplé par segment (SD-GRPO)
Pour remédier au déséquilibre de l'attribution du crédit, les auteurs introduisent SD-GRPO, un algorithme d'apprentissage par renforcement qui divise le déploiement à la limite de récupération ($T_{fps}$) :

• Segment d'échantillonnage ($t \le T_{fps}$) : Reçoit une récompense spécifique ($R_{samp}$) basée sur le chevauchement de l'intervalle temporel prédit avec la vérité terrain et la précision de la fréquence d'images (FPS) prédite.
• Segment de raisonnement ($t > T_{fps}$) : Reçoit une récompense spécifique à la réponse ($R_{ans}$) basée sur la justesse de la tâche (par exemple, correspondance exacte ou IoU).
  Les avantages au niveau des jetons sont calculés séparément pour ces segments, garantissant que le modèle est explicitement récompensé pour prendre de bonnes décisions de récupération indépendamment de la qualité de la réponse finale, et vice versa.

4. Curation des données
Le cadre est entraîné sur deux ensembles de données curatés :

• DM-CoT-74k : Un ensemble de données pour l'ajustement fin supervisé (SFT) avec des commandes de récupération entrelacées et un raisonnement ancré.
• DM-RL-45k : Un ensemble de données pour l'apprentissage par renforcement avec des intervalles temporels et des cibles de FPS de vérité terrain, utilisés pour calculer les récompenses découplées.

Contributions clés

1. Adaptation native tokenisée : DynFrame transforme l'acquisition adaptative de preuves temporelles d'une opération d'outil planifiée externement en une capacité de raisonnement native du modèle en émettant l'intervalle temporel et la densité d'échantillonnage sous forme de jetons natifs.
2. Optimisation découplée par segment : L'introduction de SD-GRPO permet une attribution ciblée du crédit, séparant l'optimisation de la décision d'échantillonnage du raisonnement de la réponse, ce qui stabilise la co-adaptation de la récupération et du raisonnement.
3. Ensembles de données curatés : La création de DM-CoT-74k et DM-RL-45k pour soutenir l'entraînement d'une récupération adaptative tokenisée native et robuste.

Résultats expérimentaux

DynFrame a été évalué sur six benchmarks couvrant l'ancrage temporel, la vidéoQA ancrée et la compréhension de vidéos longues (NExT-GQA, Charades-STA, ActivityNet-MR, Video-MME, MLVU, LVBench).

• Performance : DynFrame-8B a obtenu des résultats de pointe sur la plupart des métriques, surpassant de solides bases de référence 7B–8B (y compris Video-o3, VITAL et VideoChat-R1.5). DynFrame-4B était compétitif avec ces bases de référence plus grandes malgré la moitié des paramètres.
• Efficacité : Contrairement aux méthodes de récupération multi-tours qui augmentent considérablement la longueur du contexte, DynFrame atteint une haute précision avec un seul tour de récupération, maintenant un contexte d'inférence plus gérable.
• Études d'ablation :
  • Le retrait du découplage par segment (utilisation de GRPO standard) a entraîné une baisse de performance, confirmant la nécessité d'une attribution de crédit séparée.
  • Le remplacement de la prédiction dynamique de la fréquence d'images par un taux fixe a dégradé les performances, validant le besoin d'une densité adaptative.
  • Le modèle a démontré une robustesse face à un échantillonnage initial épars ($f_1$), récupérant avec succès les preuves manquantes grâce à la récupération dynamique.

Signification

L'article affirme que DynFrame représente un passage de passes visuelles rigides et définies par le système à une acquisition de preuves flexible et pilotée par le modèle. En apprenant à décider à la fois où regarder et avec quelle densité échantillonner, le modèle peut acquérir efficacement des preuves multi-granulaires adaptatives à la tâche. Le cadre SD-GRPO proposé fournit un mécanisme pour entraîner ces comportements complexes de récupération-raisonnement sans entremêler les signaux d'apprentissage pour les différentes étapes du processus de génération. Cette approche permet à des modèles plus petits (4B) de rivaliser avec des bases de référence plus grandes et établit de nouvelles normes de performance pour la compréhension de vidéos longues.