Résumé technique : Génération de vidéos ancrées sur des documents pour l'explication de figures scientifiques complexes

Énoncé du problème

Les figures scientifiques, en particulier les diagrammes architecturaux et les pipelines, compressent des méthodologies complexes en un canevas visuel unique. Cependant, la compréhension de ces figures requiert plus qu'une simple interprétation statique ; elle exige une narration étape par étape, ancrée dans le document, qui aligne les mises en évidence visuelles avec des régions spécifiques de la figure. Les systèmes actuels de génération de vidéos et les benchmarks ne parviennent pas à fournir cette capacité. Les approches existantes traitent les figures comme des images statiques pour le légendage ou pour répondre à des questions isolées, ou génèrent des explications animées à partir de concepts abstraits (par exemple, du code ou des théorèmes) sans les ancrer à une figure source spécifique. De plus, les systèmes de génération de présentations traitent souvent les figures comme des inserts opaques, déplaçant des curseurs sur des régions sans raisonner sur l'ordre logique ou la signification scientifique des composants. Les générateurs de vidéos basés sur la diffusion hallucinent souvent des détails non supportés, échouant à préserver la fidélité du diagramme scientifique original.

Le défi central est de générer une vidéo qui :

1. Narrait une figure étape par étape en se basant sur l'article scientifique environnant.
2. Ancre chaque étape de la narration à des régions spécifiques et validées de la figure originale.
3. Maintient l'alignement temporel entre l'explication parlée et les mises en évidence visuelles, en respectant les principes d'apprentissage multimédia (contiguïté temporelle, signalisation et segmentation).

Méthodologie : MINARD

Pour répondre à ces limitations, les auteurs introduisent MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition). MINARD est un pipeline qui décompose la tâche en trois équipes spécialisées et collaboratives, séparant les décisions de « quoi dire », de « ce qu'il est valide de pointer » et de « où pointer ».

1. L'équipe de Narration ($\mathcal{N}$)

Cette équipe lit l'intégralité de l'article source et la figure cible pour générer une narration ordonnée, étape par étape. Elle emploie un flux de travail multi-agents :

• Récupération ($A_{ret}$) : Assemble un ensemble de preuves spécifique à la figure ($K_F$) contenant la légende, les références textuelles, les paragraphes pertinents décrivant les étapes de la figure et les phrases de contribution. Cela ancre la narration dans le texte du document plutôt que dans les connaissances préalives du LLM.
• Planificateur et Rédacteur ($A_{plan}, A_{draft}$) : Le planificateur récupère une séquence pédagogique de concepts (ex: entrées $\to$ modules $\to$ sorties $\to$ conclusion) basée sur $K_F$ et la structure de la figure. Le rédacteur convertit ce plan en segments de narration en langage naturel.
• Critique et Réviseur ($A_{crit}, A_{rev}$) : Quatre critiques spécialisés vérifient le brouillon par rapport à $K_F$ pour la fidélité (absence de modules hallucinés), la couverture (absence de branches omises), la cohérence (ordre de parcours logique) et la saillance (accentuation des contributions clés). Un agent réviseur fusionne les retours pour produire la narration finale.

2. L'équipe de Perception ($\Phi$)

Cette équipe détermine quelles parties de la figure sont des cibles valides pour la mise en évidence, garantissant que le système n'hallucine pas de localisations. Elle opère indépendamment de la narration :

• Texte et Vision ($A_{ocr}, A_{vis}$) : Utilise l'OCR pour extraire les régions textuelles ($T$) et la détection/segmentation à vocabulaire ouvert (ex: SAM3) pour extraire les régions visuelles ($V$) telles que les icônes, les blocs et les flèches.
• Clustering ($A_{clus}$) : Regroupe les détections visuellement proches (ex: lier une étiquette à son bloc de diagramme correspondant) en clusters ($C$) pour être mis en évidence comme des unités uniques.
• Constructeur ($A_{reg}$) : Assigne des identifiants stables et des boîtes englobantes pour créer une liste blanche de cibles valides $U = T \cup V \cup C$. Cet inventaire est dérivé uniquement de l'image de la figure.

3. L'équipe d'Ancrage ($\mathcal{G}$)

Cette équipe aligne chaque étape de la narration $s_i$ avec les régions de la liste blanche $U$ via un processus de sélection par étapes et sous contraintes sémantiques :

• Étape 1 (Narration-vers-texte) : Ancre les étapes de la narration aux régions textuelles dérivées de l'OCR en premier (ex: lier « STANZA » dans le texte au label du module STANZA).
• Étape 2 (Ancrage visuel candidat) : Utilise la proximité spatiale et l'appartenance au cluster pour hériter des étapes de narration candidates pour les régions visuelles basées sur le texte ancré à proximité.
• Étape 3 (Sélection visuelle contrainte) : Un modèle de langage-vision sélectionne les étapes de narration correctes pour une région mise en évidence à partir de l'ensemble de candidats restreint, évitant ainsi une mise en évidence trop large.
• Validation et Rendu : Un validateur déterministe supprime les liaisons invalides hors de $U$ et répare les sélections incomplètes. Le moteur de rendu synthétise la vidéo en superposant les mises en évidence sur la figure originale, synchronisées avec l'audio TTS.

Benchmark : FigTalk

Les auteurs introduisent FigTalk, le premier benchmark pour les parcours commentés de figures architecturales dérivés de présentations de conférences.

• Composition : 114 paires figure-vidéo. FigTalk-Gold (49 vidéos) contient une narration humaine entièrement vérifiée et des traces d'ancrage exactes. FigTalk-Extended (65 vidéos) contient des explications architecturales vérifiées mais avec des traces d'ancrage plus faibles ou incomplètes.
• Stratification : Les figures sont classées en niveaux Facile, Moyen et Difficile basés sur la complexité structurelle (nombre de composants, profondeur du DAG, nombre de sous-figures), et non sur la taille de l'image.
• Métriques :
  • Narration : Évaluée sur l'Appariement d'Ordre, la Fidélité Interne/Externe, la Couverture de Concept et le Rappel de la Conclusion.
  • Ancrage : Utilise le Soft-DTW (similarité au niveau de la trame via un juge VLM, applicable à tous les systèmes) et le DTW basé sur l'IoU (précision/rappel strict au niveau de la région pour les systèmes produisant des régions explicites). Pour l'ensemble Extended, une grille évalue la Fidélité des Composants, la Couverture de Concept et le Taux de Mise en Évidence Excessive.

Résultats Clés

Les expériences sur FigTalk démontrent que MINARD surpasse significativement les lignes de base existantes, particulièrement sur les figures complexes.

• Qualité de la Narration : La narration ancrée sur le document (MINARD) améliore considérablement la Couverture de Concept et le Rappel de la Conclusion par rapport à une narration basée uniquement sur la figure. Elle récupère l'intention scientifique (ex: noms de méthodes, rationales de conception) qui est invisible dans la figure seule.
• Performance d'Ancrage :
  • Sur FigTalk-Gold, MINARD obtient les meilleurs scores sur Soft-DTW et IoU-DTW à travers tous les modèles de base (GPT-5, Claude, Gemini).
  • Échelle de Complexité : L'écart de performance s'élargit considérablement sur les figures Difficiles. Alors que l'ancrage VLM non contraint et les générateurs basés sur la diffusion (ex: Veo, CogVideoX) s'effondrent sur les structures complexes (hallucinant souvent ou échouant à préserver l'ordre causal), MINARD maintient une haute fidélité.
  • Préférence Humaine : Dans les études humaines, MINARD est préféré dans 74 % des comparaisons de narration et 63 % des comparaisons d'ancrage par rapport aux bases, notamment concernant la fidélité et l'absence de mise en évidence excessive.
• Études d'Ablation :
  • La Récupération est le principal moteur de la fidélité scientifique ; la supprimer provoque une chute brutale de la Couverture de Concept et du Rappel de la Conclusion.
  • La Décomposition Structurée (Perception $\to$ Ancrage) est critique. Supprimer les contraintes mène à une mise en évidence excessive et à une perte d'alignement temporel.

Signification et Revendications

L'article affirme que MINARD représente un changement de paradigme : passer de traiter les figures comme des images opaques à les traiter comme des séquences structurées de composants explicables.

• Modularité : En séparant la narration, la perception et l'ancrage, le système rend les échecs interprétables et permet des améliorations ciblées.
• Fidélité : Contra-irement aux systèmes de re-rendu (ex: basés sur Manim ou des modèles de diffusion) qui régénèrent les visuels et dérivent souvent de la source, MINARD préserve la correspondance exacte au niveau des composants de la figure originale, ce qui est crucial pour la communication scientifique.
• Valeur Éducative : Le système s'aligne sur la théorie de l'apprentissage multimédia, fournissant des explications segmentées et temporellement alignées qui guident l'attention vers les composants saillants, améliorant ainsi la compréhension de pipelines scientifiques complexes.

Les auteurs notent des limitations : le champ d'application actuel est restreint aux figures de type architecture (pipelines, diagrammes de systèmes) plutôt qu'aux graphiques ou diagrammes statistiques, et le pipeline est plus coûteux en calcul que les bases à passage unique en raison des boucles de raffinement. Cependant, les résultats suggèrent que pour les figures scientifiques complexes, une décomposition structurée et ancrée sur le document est essentielle pour générer des explications fidèles et semblables à celles d'un humain.