Technische Samenvatting: Paper-Grounded Video Generatie voor het Uitleggen van Complexe Wetenschappelijke Figuren

Probleemstelling

Wetenschappelijke figuren, met name architecturale diagrammen en pipelines, comprimeren complexe methodologieën in één enkel visueel canvas. Het begrijpen van deze figuren vereist echter meer dan alleen statische interpretatie; het vereist een paper-grounded, stapsgewijze narratie die visuele highlights afstemt op specifieke regio's van de figuur. Huidige videosystemen en benchmarks schieten tekort in het bieden van deze capaciteit. Bestaande benaderingen behandelen figuren als statische afbeeldingen voor bijschriftgeneratie of geïsoleerde vraag-en-antwoordprocessen, of ze genereren geanimeerde uitleg vanuit abstracte concepten (bijv. code of stellingen) zonder dit te funderen op een specifieke bronfiguur. Bovendien behandelen presentatiegeneratiesystemen figuren vaak als ondoorzichtige invoegingen, waarbij cursors over regio's bewegen zonder te redeneren over de logische volgorde of de wetenschappelijke betekenis van componenten. Diffusie-gebaseerde video-generatoren genereren vaak niet-onderbouwde details, waardoor de getrouwheid van het originele wetenschappelijke diagram verloren gaat.

De kernuitdaging is het genereren van een video die:

1. Een figuur stapsgewijs narreert op basis van de omliggende wetenschappelijke paper.
2. Elke narratiestap fundert aan specifieke, gevalideerde regio's van de originele figuur.
3. Temporele uitlijning handhaaft tussen de gesproken uitleg en de visuele highlights, in overeenstemming met principes van multimediaal leren (temporele continuïteit, signalering en segmentatie).

Methodologie: MINARD

Om deze beperkingen aan te pakken, introduceren de auteurs MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition). MINARD is een pijplijn die de taak deelt op in drie gespecialiseerde, samenwerkende teams, waarbij de beslissingen over "wat er gezegd wordt", "wat valide is om naar te wijzen" en "waarheen er gewezen wordt" van elkaar worden gescheiden.

1. Het Narratieteam ($\mathcal{N}$)

Dit team leest de volledige bronpaper en de doel-figuur om een geordende, stapsgewise narratie te genereren. Het maakt gebruik van een multi-agent workflow:

• Retrieval ($A_{ret}$): Stelt een figuur-specifieke bewijsbundel ($K_F$) samen die de caption, tekstuele verwijzingen, relevante paragrafen die de stadia van de figuur beschrijven en zinnen over de bijdrage bevat. Dit fundeert de narratie in de tekst van de paper in plaats van in LLM-voorkennis.
• Planner & Drafter ($A_{plan}, A_{draft}$): De planner herstelt een pedagogische sequentie van concepten (bijv. inputs $\to$ modules $\to$ outputs $\to$ belangrijkste conclusie) op basis van $K_F$ en de figuurstructuur. De drafter zet dit plan om in natuurlijke taal-narratiesegmenten.
• Critic & Reviser ($A_{crit}, A_{rev}$): Vier gespecialiseerde critics controleren het concept tegenover $K_F$ op getrouwheid (geen gehalucineerde modules), dekking (geen weggelaten takken), coherentie (logische volgorde van doorloop) en salientie (nadruk leggen op sleutelbijdragen). Een revisie-agent voegt de feedback samen om de definitieve narratie te produceren.

2. Het Perceptieteam ($\Phi$)

Dit team bepaalt welke delen van de figuur geldige doelwitten zijn voor highlights, om te garanderen dat het systeem geen locaties hallucineert. Het opereert onafhankelijk van de narratie:

• Tekst & Visie ($A_{ocr}, A_{vis}$): Gebruikt OCR om tekstregio's ($T$) te extraheren en open-vocabulary detectie/segmentatie (bijv. SAM3) om visuele regio's ($V$) zoals iconen, blokken en pijlen te extraheren.
• Clustering ($A_{clus}$): Groepeert visueel nabije detecties (bijv. het koppelen van een label aan het bijbehorende diagramblok) in clusters ($C$) om als enkele eenheden gehighlight te worden.
• Builder ($A_{reg}$): Wint stabiele ID's en bounding boxes toe om een whitelist van geldige doelwitten $U = T \cup V \cup C$ te creëren. Dit inventaris is uitsluitend afgeleid van de figuurafbeelding.

3. Het Grounding Team ($\mathcal{G}$)

Dit team stemt elke narratiestap $s_i$ af op regio's in de whitelist $U$ via een gefaseerd, semantisch beperkt selectieproces:

• Fase 1 (Narration-to-text): Fundeert narratiestappen eerst op OCR-afgeleide tekstregio's (bijv. het koppelen van "STANZA" in de tekst aan de STANZA-module label).
• Fase 2 (Candidate visual grounding): Gebruikt ruimtelijke nabijheid en clusterlidmaatschap om kandidaat-narratiestappen over te erven voor visuele regio's op basis van nabijgelegen gegronde tekst.
• Fase 3 (Constrained visual selection): Een visie-taalmodel selecteert de juiste narratiestappen voor een gehighlight regio uit de beperkte kandidaatset, wat brede over-highlighting voorkomt.
• Validatie & Rendering: Een deterministische validator verwijdert ongeldige bindingen buiten $U$ en herstelt incomplete selecties. De renderer synthetiseert de video door highlights over de originele figuur te leggen, gesynchroniseerd met de TTS-audio.

Benchmark: FigTalk

De auteurs introduceren FigTalk, de eerste benchmark voor genarreerde architecturale-figuur walkthroughs afgeleid van conferentiepresentaties.

• Compositie: 114 figuur-video paren. FigTalk-Gold (49 video's) bevat volledig geverifieerde menselijke narratie en exacte grounding traces. FigTalk-Extended (65 video's) bevat geverifieerde architecturale uitleg maar met zwakkere of incomplete grounding traces.
• Stratificatie: Figuren worden gecategoriseerd in Easy, Medium en Hard niveaus op basis van structurele complexiteit (componentenaantal, DAG-diepte, sub-figuur aantal), niet op basis van afbeeldingsgrootte.
• Metrics:
  • Narration: Geëvalueerd op Order Matching, Internal/External Faithfulness, Concept Coverage en Takeaway Recall.
  • Grounding: Gebruikt Soft-DTW (frame-niveau gelijkenis via VLM-judge, toepasbaar op alle systemen) en IoU-gebaseerde DTW (strikte regio-niveau precisie/recall voor systemen die expliciete regio's outputten). Voor de Extended set evalueert een rubric Component Faithfulness, Concept Coverage en Excess Highlight Rate.

Belangrijkste Resultaten

Experimenten op FigTalk tonen aan dat MINARD de bestaande baselines aanzienlijk overtreft, met name bij complexe figuren.

• Narration Kwaliteit: Paper-gebaseerde narratie (MINARD) verbetert de Concept Coverage en Takeaway Recall substantieel vergeleken met figuur-alleen narratie. Het herstelt wetenschappelijke intentie (bijv. methodenamen, ontwerp-rationales) die onzichtbaar is in de figuur alleen.
• Grounding Prestaties:
  • Op FigTalk-Gold behaalt MINARD de beste scores op zowel Soft-DTW als IoU-gebaseerde DTW over alle backbones (GPT-5, Claude, Gemini).
  • Complexiteit Schaling: Het prestatieverschil wordt aanzienlijk groter bij Hard figuren. Terwijl ongecontroleerde VLM-grounding en diffusie-gebaseerde generatoren (bijv. Veo, CogVideoX) instorten op complexe structuren (vaak hallucinerend of falend in het behouden van de causale volgorde), behoudt MINARD een hoge getrouwheid.
  • Menselijke Voorkeur: In menselijke studies wordt MINARD in 74% van de narratievergelijkingen en in 63% van de groundingvergelijkingen verkozen boven baselines, vooral wat betreft getrouwheid en de afwezigheid van excessieve highlighting.
• Ablatie Studies:
  • Retrieval is de primaire drijfveer van wetenschappelijke getrouwheid; het verwijderen ervan veroorzaakt een scherpe daling in Concept Coverage en Takeaway Recall.
  • Gestructureerde Decompositie: Het gefaseerde groundingproces (Perceptie $\to$ Grounding) is cruciaal. Het verwijderen van beperkingen leidt tot over-highlighting en verlies van temporele uitlijning.

Betekenis en Claims

Het artikel claimt dat MINARD een verschuiving vertegenwoordigt van het behandelen van figuren als ondoorzichtige afbeeldingen naar het behandelen van figuren als gestructureerde sequenties van verklaarbare componenten.

• Modulariteit: Door narratie, perceptie en grounding te scheiden, maakt het systeem fouten interpreteerbaar en staat het gerichte verbeteringen toe.
• Getrouwheid: In tegenstelling tot re-rendering systemen (bijv. Manim-gebaseerd of diffusiemodellen) die visuals regenereren en vaak afwijken van de bron, behoudt MINARD de exacte component-niveau correspondentie van de originele figuur, wat cruciaal is voor wetenschappelijke communicatie.
• Educatieve Waarde: Het systeem sluit aan bij de theorie van multimediaal leren, door tijdsgebonden uitgelijnde, gesegmenteerde uitleg te bieden die de aandacht stuurt naar saillante componenten, wat het begrip van complexe wetenschappelijke pipelines verbetert.

De auteurs merken beperkingen op: de huidige scope is beperkt tot architectuur-stijl figuren (pipelines, systeemdiagrammen) en niet tot grafieken of statistische plots, en de pijplijn is computationeel duurder dan single-pass baselines vanwege de verfijningslussen. Echter, de resultaten suggereren dat voor complexe wetenschappelijke figuren, gestructureerde, paper-gebaseerde decompositie essentieel is voor het genereren van getrouwe, mensachtige uitleg.