💬 NLP

Helping Figures Tell their Story! Paper-Grounded Video Generation Explaining Complex Scientific Figures

Dieses Paper stellt MINARD vor, eine neuartige Pipeline und den FigTalk-Benchmark, die darauf ausgelegt sind, narrierte, regionsgebundene Walkthrough-Videos aus wissenschaftlichen Abbildungen und deren Quelldateien zu generieren, wodurch die Lücke aktueller Systeme bei der Erklärung komplexer visueller Abläufe durch schrittweise, dem Originaldokument getreue Erzählweisen effektiv schließt.

Ursprüngliche Autoren: Ishani Mondal, Javad Baghirov, Jordan Boyd-Graber

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ishani Mondal, Javad Baghirov, Jordan Boyd-Graber

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind auf einer wissenschaftlichen Konferenz. Der Sprecher blendet ein komplexes Diagramm auf der Leinwand ein – ein Geflecht aus Kästen, Pfeilen und Beschriftungen, das ein neues Computersystem darstellt. Er sagt: „Die Abbildung spricht für sich selbst“, und geht zum nächsten Folienblatt über, noch bevor Sie überhaupt wissen, wohin Sie schauen sollen.

Dieses Paper argumentt, dass KI in der Lage sein sollte, das zu tun, was ein guter menschlicher Sprecher tut: aus einem statischen, verwirrenden Bild eine schrittweise Video-Tour zu machen, die erklärt, was passiert, warum es wichtig ist und wohin man in jedem Moment schauen muss.

Hier ist die Aufschlüsselung ihrer Lösung, MINARD, und ihres neuen Testfeldes, FigTalk, unter Verwendung einfacher Analogien.

Das Problem: Die „statische Karte“ vs. der „Stadtführer“

Aktuelle KI-Systeme behandeln wissenschaftliche Abbildungen wie eine statische Fotografie. Sie sagen vielleicht: „Dies ist ein Kasten mit einem Pfeil“, aber sie verpassen die Geschichte dahendinter.

Das fehlende Puzzleteil: Sie wissen nicht, war Warum der Pfeil dorthin zeigt, oder dass der orangefarbene Kasten der wichtigste Teil ist, weil ein spezifischer Satz in der Forschungsarbeit dies so beschreibt.
Das Halluzinationsrisiko: Wenn Sie eine Standard-Video-KI bitten, ein Diagramm zu erklären, könnte sie Teile des Diagramms erfinden, die gar nicht existieren (wie das Hinzufügen eines roten Pfeils, wo keiner ist), weil sie versucht, die Geschichte zu „erraten“, anstatt das Quellmaterial zu lesen.

Die Lösung: MINARD (Das Drei-Personen-Team)

Die Autoren haben ein System namens MINARD entwickelt (benannt nach einem berühmten Kartografen des 19. Jahrhunderts, der komplexe Daten wunderschön visualisierte). Anstatt eines riesigen KI-Modells, das alles gleichzeitig versucht, agiert MINARD wie ein kleines Produktionsteam mit drei spezifischen Aufgaben:

Der Erzähler (Der Drehbuchautor):
- Aufgabe: Liest die gesamte Forschungsarbeit und betrachtet die Abbildung.
- Analogie: Stellen Sie sich einen Stadtführer vor, der die gesamte Geschichtsbuch des Museums gelesen hat, bevor er vor das Exponat tritt. Er sagt nicht nur: „Hier ist ein Gemälde.“ Er sagt: „Dieses Gemälde zeigt die Schlacht von 1812, und achten Sie darauf, wie der General hier hinzeigt, weil...“
- Kernmerkmal: Er nutzt ein „Kritiker“-Team, um das Skript faktisch zu prüfen, um sicherzustellen, dass die KI keine Fakten erfindet oder wichtige Schritte überspringt.
Das Wahrnehmungsteam (Der Späher):
- Aufgabe: Schaut nur auf die Abbildung (ignoriert das Skript vorerst), um jedes einzelne gültige Element zu finden: jedes Textlabel, jeden Kasten und jeden Pfeil.
- Analogie: Dies ist wie ein Inspizient, der eine Masterliste aller Requisiten auf der Bühne hat. Er erstellt eine „Whitelist“ aller gültigen Dinge, auf die man zeigen kann. Dies verhindert, dass die KI ins Leere zeigt oder einen Kasten erfindet, der nicht da ist.
Das Verankerungsteam (Der Regisseur):
- Aufgabe: Nimmt das Skript vom Erzähler und die Liste der Requisiten vom Späher und entscheidet dann genau, wann welcher Teil hervorgehoben werden soll.
- Analogie: Dies ist der Regisseur, der sagt: „Okay, wenn der Guide ‚schauen Sie auf den Motor‘ sagt, muss der Scheinwerfer nur auf den Motor gerichtet sein, nicht auf das ganze Auto.“ Er stellt sicher, dass die Hervorhebung perfekt mit den Worten überebtimmt.

Das Ergebnis: Ein originalgetreuer Rundgang

Wenn MINARD ein Video erstellt:

Zeichnet es das Bild nicht neu (was oft zu Fehlern führt).
Es behält das Originalbild bei und legt lediglich Hervorhebungen darüber (wie einen Laserpointer), die synchron zur Sprachaufnahme verlaufen.
Es erklärt das „Warum“, indem es Fakten aus der Forschungsarbeit zieht, anstatt nur das „Was“ aus dem Bild zu beschreiben.

Der Test: FigTalk (Die Prüfung)

Um zu beweisen, dass ihr System funktioniert, haben die Autoren FigTalk entwickelt, die erste „Prüfung“ für diese spezifische Aufgabe.

Der Aufbau: Sie sammelten 114 echte wissenschaftliche Abbildungen und die Videos von Menschen, die diese auf Konferenzen erklären.
Die Herausforderung: Sie baten KI-Systeme, diese Erklärungen zu rekonstruieren.
Die Metrik: Sie prüften nicht nur, ob die KI klug klang; sie prüften, ob die KI auf das Richtige zur richtigen Zeit zeigte (Verankerung/Grounding) und ob die Geschichte basierend auf der Forschungsarbeit faktisch korrekt war (Treue/Faithfulness).

Die Ergebnisse

Die „schwierigen“ Figuren gewinnen: Bei einfachen Diagrammen kommen andere KIs manchmal gut zurecht. Aber bei komplexen Diagrammen mit vielen Schritten (der „Hard“-Stufe) glänzt MINARD. Es bleibt präzise, während andere Systeme verwirrt werden, auf die falschen Dinge zeigen oder erfundene Details kreieren.
Menschliche Präferenz: Als Menschen die Videos ansahen, bevorzugten sie MINARDs Erklärungen zu 74 % gegenüber anderen Methoden. Sie fanden sie leichter nachvollziehbar und vertrauenswürdiger.
Das „Paper“ ist entscheidend: Die größte Verbesserung kam durch das Lesen der Forschungsarbeit durch die KI. Ohne das Paper konnte die KI zwar das Bild beschreiben, aber nicht die Wissenschaft dahinter erklären.

Was es NICHT ist (Einschränkungen)

Die Autoren sind sich klar darüber, was dieses System derzeit nicht leistet:

Es ist für Architekturdiagramme konzipiert (Flussdiagramme, Systemkarten). Es ist derzeit nicht dafür gebaut, Balkendiagramme, Graphen oder statistische Plots zu erklären (die eine andere Art der Erklärung erfordern).
Es ist langsamer als einige andere Methoden, da es Zeit benötigt, um zu „denken“ und nachzuprüfen, aber diese Langsamkeit ist es, was es präzise macht.

Kurz gesagt: MINARD ist ein System, das ein verwirrendes wissenschaftliches Diagramm in eine klare, faktengeprüfte Video-Tour verwandelt, indem es ein Team von KIs zusammenarbeiten lässt: eines, das das Skript aus der Forschungsarbeit schreibt, eines, das die Bestandteile findet, und eines, das den Scheinwerfer steuert.

Technisches Resümee: Papiergestützte Videogenerierung zur Erklärung komplexer wissenschaftlicher Abbildungen

Problemstellung

Wissenschaftliche Abbildungen, insbesondere Architekturdiagramme und Pipelines, komprimieren komplexe Methodologien in eine einzige visuelle Leinwand. Das Verständnis dieser Abbildungen erfordert jedoch mehr als eine statische Interpretation; es verlangt nach einer papiergestützten, schrittweisen Narration, die visuelle Hervorhebungen mit spezifischen Regionen der Abbildung abgleicht. Aktuelle Videogenerierungssysteme und Benchmarks versagen bei dieser Fähigkeit. Bestehende Ansätze behandeln Abbildungen entweder als statische Bilder für das Captioning oder für isolierte Fragen-Antworten, oder sie generieren animierte Erklärungen aus abstrakten Konzepten (z. B. Code oder Theoreme), ohne diese an eine spezifische Quellabbildung zu binden. Zudem behandeln Systeme zur Präsentationsgenerierung Abbildungen oft als opake Einschübe, wobei Cursor über Regionen bewegt werden, ohne über die logische Reihenfolge oder die wissenschaftliche Bedeutung der Komponenten zu argumentieren. Diffusionsbasierte Videogeneratoren neigen dazu, ungestützte Details zu halluzinieren, wodurch die Treue der ursprünglichen wissenschaftlichen Diagrammstruktur nicht gewahrt bleibt.

Die Kernherausforderung besteht darin, ein Video zu generieren, das:

Eine Abbildung Schritt für Schritt basierend auf dem umgebenden wissenschaftlichen Paper narriert.
Jeden Narrationsschritt an spezifische, validierte Regionen der Originalabbildung bindet (Grounding).
Die zeitliche Ausrichtung zwischen der gesprochenen Erklärung und den visuellen Hervorhebungen beibehält und dabei Prinzipien des multimedialen Lernens (zeitliche Kontiguität, Signalisierung und Segmentierung) befolgt.

Methodik: MINARD

Um diese Einschränkungen zu adressieren, führen die Autoren MINARD (Multimodal Interpretation of Narrated Architecture via Region Decomposition) ein. MINARD ist eine Pipeline, die die Aufgabe in drei spezialisierte, kollaborative Teams zerlegt, welche die Entscheidungen darüber, „was gesagt wird“, „was als Ziel gültig ist“ und „wohin gezeigt wird“, voneinander trennt.

1. Das Narrationsteam ( $\mathcal{N}$ )

Dieses Team liest das vollständige Quelldokument sowie die Zielabbildung, um eine geordnete, schrittweise Narration zu generieren. Es verwendet einen Multi-Agenten-Workflow:

Retrieval ( $A_{ret}$ ): Erstellt ein abbildungsspezifisches Evidenzbündel ( $K_F$ ), das die Bildunterschrift, Textverweise im Dokument, relevante Absätze, die die Stadien der Abbildung beschreiben, und Sätze zu den Beiträgen enthält. Dies bindet die Narration an den Text des Papers statt an LLM-Vorwissen.
Planner & Drafter ( $A_{plan}, A_{draft}$ ): Der Planner stellt eine pädagogische Sequenz von Konzepten wieder (z. B. Inputs $\to$ Module $\to$ Outputs $\to$ Kernaussage) basierend auf $K_F$ und der Struktur der Abbildung. Der Drafter überführt diesen Plan in natürliche Sprachsegmente der Narration.
Critic & Reviser ( $A_{crit}, A_{rev}$ ): Vier spezialisierte Kritiker prüfen den Entwurf gegen $K_F$ hinsichtlich Treue (keine halluzinierten Module), Abdeckung (keine ausgelassenen Zweige), Kohärenz (logische Traversierungsreihenfolge) und Salienz (Hervorhebung der wichtigsten Beiträge). Ein Reviser-Agent führt das Feedback zusammen, um die finale Narration zu erstellen.

2. Das Wahrnehmungsteam ( $\Phi$ )

Dieses Team bestimmt, welche Teile der Abbildung gültige Ziele für Hervorhebungen sind, um sicherzustellen, dass das System keine Standorte halluziniert. Es operiert unabhängig von der Narration:

Text & Vision ( $A_{ocr}, A_{vis}$ ): Nutzt OCR zur Extraktion von Textregionen ( $T$ ) und Open-Vocabulary-Detektion/Segmentierung (z. B. SAM3) zur Extraktion visueller Regionen ( $V$ ) wie Icons, Blöcke und Pfeile.
Clustering ( $A_{clus}$ ): Gruppiert visuell nahe beieinander liegende Detektionen (z. B. die Bindung eines Labels an seinen entsprechenden Diagrammblock) in Cluster ( $C$ ), die als einzelne Einheiten hervorgehoben werden sollen.
Builder ( $A_{reg}$ ): Weist stabile IDs und Bounding Boxes zu, um eine Whitelist gültiger Ziele $U = T \cup V \cup C$ zu erstellen. Dieses Inventar wird ausschließlich aus dem Bild der Abbildung abgeleitet.

3. Das Grounding-Team ( $\mathcal{G}$ )

Dieses Team gleicht jeden Narrationsschritt $s_i$ mit den Regionen in der Whitelist $U$ durch einen gestuften, semantisch beschränkten Auswahlprozess ab:

Stufe 1 (Narration-zu-Text): Bindet Narrationsschritte zuerst an die durch OCR extrahierten Textregionen (z. B. die Verknüpfung von „STANZA“ im Text mit dem Label des STANZA-Moduls).
Stufe 2 (Kandidaten-Visual-Grounding): Nutzt räumliche Nähe und Cluster-Zugehörigkeit, um die Kandidatennarrationsschritte auf visuelle Regionen basierend auf dem nahegelegenen, gebundenen Text zu vererben.
Stufe 3 (Beschränkte visuelle Auswahl): Ein Vision-Language-Modell wählt die korrekten Narrationsschritte für eine hervorgehobene Region aus dem eingeschränkten Kandidatensatz aus, um eine zu breite Hervorhebung zu verhindern.
Validierung & Rendering: Ein deterministischer Validator entfernt ungültige Bindungen außerhalb von $U$ und repariert unvollständige Selektionen. Der Renderer synthetisiert das Video, indem er Hervorhebungen über die Originalabbildung legt, synchronisiert mit der TTS-Audioausgabe.

Benchmark: FigTalk

Die Autoren führen FigTalk ein, den ersten Benchmark für narrierte Durchläufe von Architektur-Abbildungen, die aus Konferenzpräsentationen abgeleitet wurden.

Zusammensetzung: 114 Bild-Video-Paare. FigTalk-Gold (49 Videos) enthält vollständig verifizierte menschliche Narration und exakte Grounding-Spuren. FigTalk-Extended (65 Videos) enthält verifizierte architektonische Erklärungen, aber schwächere oder unvollständige Grounding-Spuren.
Stratifizierung: Abbildungen werden in die Stufen Easy, Medium und Hard kategorisiert, basierend auf der strukturellen Komplexität (Anzahl der Komponenten, DAG-Tiefe, Anzahl der Teilabbildungen), nicht auf der Bildgröße.
Metriken:
- Narration: Bewertet auf Order Matching, interner/externer Treue (Faithfulness), Konzeptabdeckung und Takeaway-Recall.
- Grounding: Verwendet Soft-DTW (Frame-Level-Ähnlichkeit via VLM-Judge, anwendbar auf alle Systeme) und IoU-basiertes DTW (strikte Region-Level Präzision/Recall für Systeme, die explizite Regionen ausgeben). Für den Extended-Satz bewertet eine Rubrik die Komponenten-Treue, die Konzeptabdeckung und die Rate übermäßiger Hervorhebungen.

Kernergebnisse

Experimente auf FigTalk zeigen, dass MINARD bestehende Baselines, insbesondere bei komplexen Abbildungen, signifikant übertrifft.

Qualität der Narration: Papiergestützte Narration (MINARD) verbessert die Konzeptabdeckung und den Takeaway-Recall im Vergleich zu rein bildbasierten Narrationen erheblich. Sie stellt die wissenschaftliche Intention (z. B. Methodennamen, Design-Rationalen) wieder her, die in der Abbildung allein unsichtbar ist.
Grounding-Leistung:
- Auf FigTalk-Gold erzielt MINARD die besten Werte sowohl bei Soft-DTW als auch bei IoU-basiertem DTW über alle Backbones (GPT-5, Claude, Gemini) hinweg.
- Skalierung der Komplexität: Die Leistungsdifferenz vergrößert sich bei Hard Figuren signifikant. Während unbeschränktes VLM-Grounding und diffusionsbasierte Generatoren (z. B. Veo, CogVideoX) bei komplexen Strukturen kollabieren (oft durch Halluzinationen oder das Versagen der kausalen Ordnung), bewahrt MINARD eine hohe Treue.
- Menschliche Präferenz: In Human-Studies wird MINARD in 74 % der Narrationsvergleiche und in 63 % der Grounding-Vergleiche gegenüber Baselines bevorzugt, insbesondere hinsichtlich der Treue und der Abwesen Sie von übermäßigen Hervorhebungen.
Ablationsstudien:
- Retrieval ist der primäre Treiber für wissenschaftliche Treue; das Entfernen führt zu einem starken Abfall der Konzeptabdeckung und des Takeaway-Recalls.
- Strukturierte Dekomposition: Der gestufte Grounding-Prozess (Wahrnehmung $\to$ Grounding) ist entscheidend. Das Entfernen von Beschränkungen führt zu übermäßigen Hervorhebungen und einem Verlust der zeitlichen Ausrichtung.

Bedeutung und Ansprüche

Das Paper behauptet, dass MINARD einen Wechsel darstellt: Weg von der Behandlung von Abbildungen als opake Bilder, hin zur Behandlung als strukturierte Sequenzen erklärbarer Komponenten.

Modularität: Durch die Trennung von Narration, Wahrnehmung und Grounding macht das System Fehler interpretierbar und erlaubt gezielte Verbesserungen.
Fidelität: Im Gegensatz zu Re-Rendering-Systemen (z. B. Manim-basiert oder Diffusionsmodelle), die Visuals neu generieren und oft vom Quellmaterial abweichen, bewahrt MINARD die exakte komponentenbasierte Korrespondenz der Originalabbildung, was für die wissenschaftliche Kommunikation entscheidend ist.
Pädagogischer Wert: Das System steht im Einklang mit der Theorie des multimedialen Lernens, indem es zeitlich ausgerichtete, segmentierte Erklärungen bereitstellt, die die Aufmerksamkeit auf saliente Komponenten lenken und so das Verständnis komplexer wissenschaftlicher Pipelines verbessern.

Die Autoren weisen auf Limitationen hin: Der aktuelle Umfang beschränkt sich auf Architektur-Stil-Abbildungen (Pipelines, Systemdiagramme) und nicht auf Charts oder statistische Plots; zudem ist die Pipeline aufgrund der Verfeinerungsschleifen rechenintensiver als Single-Pass-Baselines. Die Ergebnisse legen jedoch nahe, dass für komplexe wissenschaftliche Abbildungen eine strukturierte, papiergestützte Dekomposition essenziell ist, um treue, menschenähnliche Erklärungen zu generieren.