Résumé Technique : Chaîne d'Éclairs pour la Compréhension Vidéo

Énoncé du Problème

La compréhension vidéo nécessite que les modèles identifient et raisonnent sur des objets visuels sémantiquement discriminatifs à travers le temps. Cependant, les solutions existantes, agnostiques aux objets, peinent à gérer les variations substantielles des objets au fil du temps. Les approches actuelles les plus avancées relèvent généralement de deux paradigmes présentant des limitations critiques :

1. Méthodes RL classiques : Bien qu'elles utilisent l'apprentissage par renforcement (RL) pour affiner les décisions, elles opèrent souvent sous un régime de perception en une seule étape où le codage visuel est effectué une fois. Cela manque d'interaction dynamique et multi-étapes avec les preuves visuelles.
2. Méthodes basées sur la Chaîne de Pensée (CoT) : Elles adoptent un raisonnement étape par étape mais restent fondamentalement centrées sur le langage. Elles reposent sur des cadres d'inférence statiques et manquent d'un ancrage explicite dans des preuves visuelles fines durant le processus de raisonnement.

Par conséquent, ces deux paradigmes tendent à s'appuyer sur des indices superficiels et visuellement saillants (pilotés par la saillance) plutôt qu'à ancrer les prédictions sur des preuves visuelles subtiles mais critiques. Cela conduit à un raisonnement incohérent, des conclusions biaisées et une incapacité à capturer des dépendances temporelles et au niveau des objets complexes.

Méthodologie : Chaîne d'Éclairs

Pour pallier ces limitations, les auteurs proposent la Chaîne d'Éclairs, un cadre de raisonnement guidé par la recherche et ancré sur les objets de manière progressive. La philosophie centrale est de permettre aux Modèles de Langage Multimodaux à Grande Échelle (MLLM) de « penser avec les vidéos » en recherchant et en vérifiant activement des preuves visuelles à travers les images. Le cadre se compose de deux composantes étroitement couplées :

1. Formulation du Raisonnement Vidéo Ancré sur les Objets (OGVRF)

Cette composante traite le raisonnement vidéo comme un processus multi-étapes sur des représentations au niveau des objets, plutôt que comme une cartographie en une seule passe.

• Définition de l'État : L'état de raisonnement $h^{(k)}$ à l'étape $k$ résume les preuves précédemment sélectionnées et le contexte multimodal.
• Espace d'Actions : Les actions sont définies comme la sélection d'instances d'objets spécifiques $(t_k, m_k)$ parmi les objets détectés dans l'image $t_k$.
• Mécanisme de Recherche : Au lieu de s'engager dans une seule voie autoregressive, le modèle emploie une Recherche Arborescente Monte Carlo (MCTS) pour explorer plusieurs trajectoires de raisonnement ancrées sur les objets. Cela permet au modèle d'équilibrer exploration et exploitation, atténuant l'engagement prématuré envers des preuves visuellement saillantes mais sans rapport avec la tâche.
• Contraintes Temporelles : Une contrainte monotone ($t_{k+1} \ge t_k$) assure que le raisonnement progresse dans le temps, bien que l'arbre de recherche permette de revisiter des objets précédemment ancrés via des branches alternatives.
• Initialisation Supervisée : Les trajectoires de haute qualité identifiées par la MCTS sont distillées dans le modèle via un Affinement Supervisé (SFT) pour créer une politique de référence ($\pi_{ref}$).

2. Apprentissage de Politique de Décision Multi-tours (MTDP)

Cette composante optimise la politique de raisonnement sous des récompenses éparses au niveau de la tâche pour assurer un raisonnement multi-étapes stable.

• Algorithme : Les auteurs utilisent l'Optimisation de Politique Relative par Groupes (GRPO). Pour chaque échantillon d'entraînement, un groupe de trajectoires de raisonnement ancrées sur les objets est échantillonné.
• Conception de la Récompense : Une fonction de récompense composite est utilisée pour aligner la sélection de preuves sur la justesse au niveau de la tâche plutôt que sur la saillance visuelle :
  $$R = R_{ans} + \alpha \cdot \frac{1}{K} \sum R_{evid}$$
  Où $R_{ans}$ est la récompense de justesse de la réponse, $R_{evid}$ est la récompense de qualité des preuves au niveau des objets, et $\alpha$ équilibre les deux. Cela incite le modèle à supprimer les indices saillants mais non pertinents et à se concentrer sur les preuves pertinentes pour la tâche.
• Optimisation : La politique est mise à jour en utilisant un objectif pondéré par l'importance tronqué avec régularisation KL par rapport à la politique de référence, encourageant le modèle à explorer des trajectoires à haute récompense tout en maintenant la stabilité.

Contributions Clés

L'article expose trois contributions principales :

1. Formulation du Raisonnement Vidéo Ancré sur les Objets (OGVRF) : Un cadre structuré qui modélise le raisonnement vidéo comme un processus multi-étapes sur des représentations au niveau des objets. Il ancre explicitement les preuves visuelles pertinentes pour la tâche à travers les images, atténuant la sur-reliance sur des indices pilotés par la saillance.
2. Politique de Décision Multi-tours (MTDP) : Un mécanisme d'apprentissage qui formule le raisonnement multi-étapes comme un problème d'optimisation de trajectoire stochastique. Grâce à l'optimisation de politique avec des récompenses conscientes de l'ancrage, il permet aux MLLM d'explorer et de consolider itérativement des trajectoires de raisonnement à haute récompense, soutenant des décisions interprétables et auto-correctrices.
3. Validation Empirique Étendue : Des évaluations complètes sur des benchmarks de raisonnement vidéo général (NExTQA, Video-Holmes, CG-Bench-Reasoning, VRBench) et ancré (NExT-GQA) démontrent des gains de performance constants et une forte généralisation.

Résultats Expérimentaux

Les auteurs ont évalué la Chaîne d'Éclairs en utilisant des architectures de base Qwen2.5-VL (3B et 7B paramètres) par rapport à diverses bases de comparaison, incluant des modèles propriétaires (GPT-4o, OpenAI o4-mini) et des MLLM open-source.

• Raisonnement Vidéo Général (NExTQA) : La Chaîne d'Éclairs-7B a atteint une précision de 83,3 %, surpassant la base Qwen2.5-VL-7B (79,7 %) et des systèmes propriétaires tels que VideoAgent (71,3 %) et LLoVi (66,3 %). Les améliorations étaient particulièrement notables dans les catégories de raisonnement Causal (83,7 % contre 79,8 %) et Temporel (80,4 % contre 77,6 %).
• Benchmarks de Raisonnement Complexe : Sur Video-Holmes, CG-Bench-Reasoning et VRBench, la méthode a montré des améliorations constantes. Par exemple, sur Video-Holmes, la Chaîne d'Éclairs-7B a atteint une précision moyenne de 42,5 %, dépassant la base Qwen2.5-VL-7B (38,8 %) et s'approchant de GPT-4o (42,0 %) tout en la surpassant dans des catégories spécifiques comme l'Enchaînement des Intentions et Motifs (IMC) et l'Inférence Causale Temporelle (TCI).
• Études d'Ablation :
  • Composantes : La suppression individuelle de la MCTS, du SFT ou du GRPO a entraîné des baisses de performance, confirmant la nécessité de l'ensemble du pipeline.
  • Profondeur de Recherche : Des déploiements modérés de MCTS (par exemple, 8) ont amélioré les performances sans surcharge computationnelle significative. L'augmentation des déploiements au-delà de 8 a produit des rendements décroissants ou augmenté la latence.
  • Conception de la Récompense : Une récompense équilibrée ($\alpha=0,5$) entre la justesse de la réponse et la qualité des preuves a produit les meilleurs résultats ; une focalisation excessive sur les preuves intermédiaires a dégradé la précision finale.
  • Durée Vidéo : La méthode a considérablement amélioré les performances sur les vidéos longues (≥1 000 images), réduisant l'écart entre les performances sur les vidéos courtes et longues observé dans les bases de comparaison.

Importance et Revendications

L'article revendique que la Chaîne d'Éclairs comble avec succès le fossé entre la perception visuelle de bas niveau et le raisonnement logique de haut niveau dans la compréhension vidéo. En ancrant explicitement chaque étape de raisonnement à des régions spécifiques de preuves visuelles, le cadre permet une prise de décision compositionnelle et multi-étapes qui est à la fois précise et interprétable.

Les auteurs soulignent que leur approche va au-delà de la perception passive pour atteindre un raisonnement actif, émulant une cognition ancrée sur les objets à l'image de l'humain. Les résultats suggèrent que la modélisation progressive de la prise de décision ancrée sur les objets améliore substantiellement la généralisation hors domaine et la robustesse à travers diverses tâches de raisonnement vidéo, offrant une voie viable vers des systèmes d'IA multimodaux plus fiables sans dépendre exclusivement de modèles propriétaires massifs.