Narrative Aligned Long Form Video Question Answering

1. Problématique et Contexte

Les récents progrès des Modèles de Langage Multimodaux (MLLM) ont stimulé le développement de benchmarks pour le raisonnement sur des vidéos longues. Cependant, l'article identifie une lacune majeure : la plupart des benchmarks existants (comme CinePile, CG-Bench) reposent sur des indices localisés et échouent à capturer le raisonnement narratif.

Le raisonnement narratif nécessite la capacité de :

• Suivre les intentions des personnages.
• Relier des événements distants dans le temps.
• Reconstruire des chaînes causales sur l'ensemble d'un film.

Les modèles actuels ont tendance à se fier à des correspondances de motifs superficiels ou à des connaissances préalables plutôt qu'à intégrer des indices narratifs dispersés. De plus, les benchmarks existants utilisent souvent des formats à choix multiples (faciles à deviner) ou se limitent à des vidéos de moins d'une heure, ne reflétant pas la complexité des longs métrages.

2. Contribution Principale : Le Benchmark NA-VQA

Pour combler ce vide, les auteurs introduisent NA-VQA (Narrative-Aligned Video Question Answering), un benchmark conçu spécifiquement pour évaluer le raisonnement temporel profond et narratif.

• Données : Le dataset comprend 88 films complets (durée moyenne de 2 heures) et 4 400 paires Question-Réponse ouvertes.
• Structure des preuves : Chaque question est ancrée dans plusieurs segments de preuve (spans) étiquetés selon leur distance temporelle par rapport à la question :
  • Court (Short) : Preuves proches.
  • Moyen (Medium) : Preuves à distance intermédiaire.
  • Loin (Far) : Preuves séparées par de longues durées, nécessitant une mémoire à long terme.
• Taxonomie de raisonnement : Les questions sont classées en sept catégories pour couvrir la complexité narrative : Causal, Narratif, Centré sur le personnage, Thématique, Basé sur les objectifs, Social et Hypothétique.
• Génération de données : Un pipeline automatisé multi-étapes (extraction d'événements, génération de QA, validation et raffinement par LLM) assure que les réponses sont strictement ancrées dans le contenu visuel et non dans des connaissances externes.

3. Méthodologie : Video-NaRA

Face aux limitations des architectures existantes qui traitent les vidéos comme de simples séquences de frames, les auteurs proposent Video-NaRA (Narrative Reasoning and Alignment), une architecture centrée sur la mémoire narrative.

Le pipeline se compose de trois étapes clés :

1. Construction de la Mémoire Narrative :

   • Au lieu de stocker des frames brutes, le modèle (Qwen-VL 2.5) analyse les clips pour extraire des informations sémantiques (personnages, motivations, intentions).
   • Il regroupe les clips cohérents dans des "slots" narratifs, créant des chaînes d'événements liés par l'intrigue, les personnages et les objets.
   • Ces chaînes sont stockées dans une banque de mémoire structurée.

2. Module de Récupération (Retrieval) :

   • Pour une requête donnée, le système ne parcourt pas toutes les frames. Il interroge la banque de mémoire narrative.
   • Une fonction de score combine la pertinence sémantique (similarité cosinus entre la requête et les clips) et l'importance narrative du slot (pour privilégier les chaînes d'événements cohérentes).
   • Seuls les clips les plus pertinents (top-k) sont récupérés pour le raisonnement.

3. Raisonnement Génératif :

   • Les clips récupérés sont passés à un modèle de raisonnement (fine-tuné) qui génère une réponse ouverte en s'appuyant sur les chaînes narratives extraites, permettant de répondre aux questions "pourquoi" et "comment".

4. Résultats Expérimentaux

Les auteurs ont évalué NA-VQA sur une large gamme de modèles (MLLM propriétaires, modèles open-source, architectures courtes et longues).

• Échec des modèles de l'état de l'art (SOTA) : Les modèles actuels, même les plus performants, échouent systématiquement sur les questions nécessitant des preuves "Far" (lointaines). Ils peinent à établir des liens causaux entre des événements séparés par de longues durées.
• Performance de Video-NaRA :
  • Video-NaRA améliore le raisonnement à long terme de jusqu'à 3 % par rapport aux approches de base (baselines).
  • Il surpasse les modèles zero-shot et les modèles fine-tunés standards, en particulier sur les catégories complexes comme le raisonnement causal et thématique.
• Analyse par ablation :
  • La suppression de la mémoire narrative entraîne une baisse significative des performances, surtout sur la récupération de preuves lointaines (chute de ~2,5 points sur la métrique "Evidence" pour le Far).
  • La suppression du module de récupération (CLIP) réduit également la précision, confirmant que la combinaison de la structure narrative et de la récupération précise est cruciale.

5. Signification et Conclusion

Ce travail démontre que l'échec des modèles actuels sur les vidéos longues n'est pas principalement dû à la longueur du contexte, mais à l'absence de mécanismes explicites pour maintenir et raisonner sur des structures narratives.

• Apport scientifique : NA-VQA fournit une évaluation rigoureuse de la capacité des modèles à reconstruire des histoires complexes, au-delà de la simple reconnaissance d'objets ou d'actions isolées.
• Impact architectural : Video-NaRA prouve qu'une approche hybride, combinant une mémoire structurée par l'intrigue et une récupération ciblée, est supérieure au traitement uniforme de séquences vidéo pour les tâches de raisonnement complexe.
• Avenir : Les auteurs prévoient de rendre le dataset NA-VQA public, ce qui devrait catalyser la recherche sur la modélisation narrative, les systèmes multimodaux augmentés par la mémoire et la compréhension de vidéos très longues.

En résumé, l'article propose un changement de paradigme : passer d'une compréhension basée sur la reconnaissance de motifs locaux à une compréhension basée sur la reconstruction de chaînes causales narratives pour résoudre les défis du raisonnement vidéo à long terme.