🤖 AI

SciFig: Towards Automating Editable Figure Generation for Scientific Papers

Das Paper stellt SciFig vor, ein End-to-End-Multi-Agenten-Framework, das den Kompromiss zwischen visueller Qualität und Editierbarkeit überwindet, indem es automatisch hochwertige, vollständig editierbare Methodik-Abbildungen aus wissenschaftlichen Texten generiert, zusammen mit einem neuen Benchmark (SciFig-Bench) und einem Evaluierungsprotokoll (SciFig-Eval), um dessen überlegene Leistung zu validieren.

Ursprüngliche Autoren: Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schreiben das Rezept für ein komplexes neues Gericht. Sie haben alle Schritte in Worten aufgeschrieben, aber Sie wissen, dass Sie ein Bild benötigen, um einem Koch wirklich zu helfen zu verstehen, wie die Zutaten von der Schüssel zum Herd fließen.

In der Welt der wissenschaftlichen Forschung werden diese „Bilder“ als Methodik-Abbildungen bezeichnet. Es sind die Diagramme, die zeigen, wie ein neues Computerprogramm oder eine neue wissenschaftliche Methode tatsächlich funktioniert.

Das Problem:
Im Moment ist das Erstellen dieser Diagramme so, als würde man versuchen, ein Meisterwerk mit einem Wachsmalstift zu zeichnen, während man Ofenhandschuhe trägt.

Das „Wachsmalstift“-Problem: Wenn Sie Standard-Zeichenwerkzeuge (wie PowerPoint) verwenden, können Sie das Bild zwar leicht bearbeiten, aber es sieht oft steif, flach und etwas langweilig aus – wie eine Strichmännchen-Skizze.
Das „Ofenhandschuhe“-Problem: Wenn Sie fancy KI-Bildgeneratoren verwenden, damit es schön und realistisch aussieht, erhalten Sie ein hochwertiges Bild, aber es ist wie eine Fotografie. Wenn Sie nur eine einzige Zutat ändern oder einen Pfeil verschieben wollen, können Sie nicht einfach klicken und ziehen. Sie müssen das ganze Bild wegwerfen und von vorne anfangen.

Die Lösung: SciFig
Die Autoren dieser Arbeit haben ein neues System namens SciFig entwickelt. Betrachten Sie SciFig als ein Team von vier spezialisierten Köchen, die zusammenarbeiten, um ein maßgeschneidertes, bearbeitbares und schönes Diagramm aus Ihrem geschriebenen Rezept zu erstellen.

So arbeitet das Team:

Der Planer (Der Architekt): Zuerst liest dieser Agent Ihren Text und erstellt den „Bauplan“. Er entscheidet: „Okay, dieser Teil kommt nach links, dieser Teil nach rechts und diese beiden müssen durch einen großen Pfeil verbunden werden.“ Er zeichnet noch nichts; er erstellt nur den Plan.
Der Layout-Agent (Der Baumeister): Dieser Agent nimmt den Bauplan und baut das Grundgerüst. Er erstellt ein strukturiertes Skelett (unter Verwendung eines digitalen Formats namens XML), das die Teile an ihrem Platz hält. Da es sich um ein Skelett und nicht um ein fertiges Gemälde handelt, können Sie die Wände immer noch leicht verschieben.
Der Komponenten-Agent (Der Dekorateur): Nun füllt dieser Agent die Details aus. Er fügt die „schicken“ Teile hinzu – wie realistische Texturen, Farben oder Icons – wodurch das Diagramm professionell und detailreich aussendert. Er bindet diese Dekorationen jedoch an das Skelett, sodass sie bearbeitbar bleiben.
Der Feedback-Agent (Der Kritiker): Schließlich betrachtet dieser Agent das Ergebnis. Er kann einem Menschen zuhören, der sagt: „Bewege dieses Kästchen nach oben“, oder er kann seine eigenen „Augen“ (ein KI-Vision-Modell) nutzen, um zu sagen: „Hey, diese zwei Pfeile kreuzen sich ungeschickt; lass uns das korrigieren.“ Dann passt er das Diagramm an, bis es perfekt ist.

Das Ergebnis:
Das Endprodukt ist ein Diagramm, das so gut aussieht, als hätte ein menschlicher Experte es gezeichnet, aber dennoch vollständig bearbeitbar bleibt. Sie können auf ein Kästchen klicken, eine Beschriftung ändern oder einen Pfeil bewegen, ohne das gesamte Bild zu ruinieren. Das System erledigt dies in etwa 10 Minuten.

Wie sie es getestet haben (SciFig-Bench & SciFig-Eval)
Um zu beweisen, dass ihr System funktioniert, haben die Experten nicht nur geraten. Sie haben:

Eine Bibliothek aufgebaut (SciFig-Bench): Sie haben 435 echte, hochwertige Diagramme aus führenden Informatik-Papern gesammelt. Diese dienten als die „Goldstandard“-Antworten.
Ein Bewertungsschema erstellt (SciFig-Eval): Anstatt eine KI einfach nur zu fragen: „Ist das hübsch?“, haben sie eine strikte 4-Punkte-Checkliste erstellt:
1. Vollständigkeit: Wurden alle wichtigen Teile enthalten?
2. Fideltität (Originaltreue): Sieht es aus wie die ursprüngliche Zeichnung des Autors?
3. Qualität: Ist der Text klar und das Layout logisch?
4. Design: Sind die Farben und Abstände ansprechend für das Auge?

Das Urteil:
Als sie SciFig mit anderen Methoden verglichen (einschließlich einzelner KI-Bildgeneratoren und anderer mehrstufiger Systeme), gewann SciFig in jeder Kategorie.

Es erzeugte Diagramme, die genauer und vollständiger waren.
Es sah besser aus und war leichter zu lesen.
Am wichtigsten war: In einem Blindtest mit 60 menschlichen Experten wurde SciFig in 81 % der Fälle als das beste Ergebnis gewählt – es schlug sogar die Originaldiagramme, die von den Autoren der Paper selbst gezeichnet wurden.

Kurz gesagt:
SciFig ist ein Werkzeug, das die harte Arbeit des Zeichnens wissenschaftlicher Diagramme automatisiert. Es kombiniert die Bearbeitbarkeit eines digitalen Zeichenprogramms mit der visuellen Schönheit eines KI-Bildgenerators und stellt sicher, dass Wissenschaftler ihre Ideen klar kommunizieren können, ohne stundenlang mit Zeichensoftware zu kämpfen.

Technisches Resümee: SciFig

Problemstellung

Hochwertige Methodik-Abbildungen sind essenziell für die wissenschaftliche Kommunikation, da sie dazu dienen, komplexe Methoden, Komponenten und Informationsflüsse in klare, revidierbare Diagramme zu destillieren. Die Erstellung dieser Abbildungen bleibt jedoch ein manueller, zeitaufwendiger Prozess. Bestehende automatisierte Ansätze stehen vor einem grundlegenden Kompromiss:

Strukturierte/Editierbare Ansätze: Methoden, die auf TikZ oder SVG basieren, erzeugen editierbare Ausgaben, lassen aber oft die visuelle Reichhaltigkeit, Textur und stilistische Variation menschlich gestalteter Illustrationen vermissen.
Bildgenerierungs-Ansätze: Modelle, die VLMs und Bildgeneratoren nutzen, produzieren polierte, publikationsreife Rasterbilder, liefern jedoch nicht editierbare Dateien, bei denen selbst geringfügige Revisionen eine vollständige Neugenerierung erfordern.

Darüber hinaus ist die Evaluierung generierter wissenschaftlicher Abbildungen anspruchsvoll. Aktuelle Evaluierungsprotokolle reduzieren die multidimensionale Qualität (Korrektheit, Vollständigkeit, Lesbarkeit, Design) oft auf einen einzelnen numerischen Wert aus einem einzelnen VLM, was Bias und eine Sensitivität gegenüber der Formulierung von Prompts einführt.

Methodik: Das SciFig-Framework

Die Autoren führen SciFig ein, ein End-to-End Multi-Agenten-Framework, das darauf ausgelegt ist, visuell reichhaltige, vollständig editierbare Methodik-Abbildungen aus wissenschaftlichen Texten zu generieren. Das System überbrückt die Lücke zwischen Raster-Expressivität und symbolischer Editierbarkeit, indem es XML-Abbildungen erzeugt, die in Standard-Diagrammwerkzeugen (z. B. draw.io, PowerPoint) bearbeitet werden können.

Systemarchitektur

SciFig zerlegt den Generierungsprozess in vier Stufen, die jeweils von einem dedizierten Agenten verwaltet werden:

Planning Agent (Planungs-Agent): Analysiert den Methodik-Text ( $T$ ) und die Abbildungsbeschreibung ( $D$ ), um einen textuellen Plan ( $P$ ) zu erstellen. Dieser Plan spezifiziert Layout-Richtung, Seitenverhältnis, Pipeline-Stufen, funktionale Gruppierungen und interne Verbindungen, wobei er das Was der Darstellung vom Wo der Elemente trennt.
Layout Agent (Layout-Agent): Konvertiert den Plan $P$ in ein initiales editierbares XML-Layout ( $L_0$ ). Dieses Layout kodiert Positionen, Größen und Verbindungen unter Verwendung einer dreistufigen Hierarchie (Module, Untergruppen, Blattkomponenten) und verwendet dicke/dünne Pfeile, um Inter-Modul- und Intra-Modul-Flüsse zu kennzeichnen.
Component Agent (Komponenten-Agent): Bestückt das Layout mit visuellen Elementen ( $V$ $V$ ). Er nutzt eine hybride Rendering-Strategie:
- PNG-Modus: Für visuell komplexe Komponenten (z. B. Heatmaps) erstellt ein Bildgenerierungsmodell ein reichhaltiges Element, das als Base64-Bild in das XML eingebettet wird.
- Textbox-Modus: Für benannte Operationen und Variablen werden stilisierte, beschriftete Rechtecke nativ im Vektorformat generiert.
Feedback Agent (Feedback-Agent): Verfeinert die Abbildung durch iterative Schleifen ( $K$ $K$ Runden). Er unterstützt zwei Modi:
- Human-in-the-loop: Forscher geben direkte Edits oder Instruktionen in natürlicher Sprache vor.
- VLM-in-the-loop: Ein VLM kritisiert die gerenderte Abbildung hinsichtlich Layout, Ausrichtung und Klarheit und schlägt Revisionen vor.

Die finale Ausgabe ist eine strukturierte XML-Datei, die $F = (V, L, E)$ repräsentiert, wodurch einzelne Komponenten repositioniert oder umgestaltet werden können, ohne die gesamte Abbildung neu generieren zu müssen.

Wichtigste Beiträge

1. SciFig-Framework

Ein Multi-Agenten-System, das Methodik-Abbildungen generiert, die ein Gleichgewicht zwischen visueller Reichhaltigkeit und voller Editierbarkeit halten. Es unterstützt sowohl menschliche als auch VLM-basierte Feedbackschleifen zur Verfeinerung.

2. SciFig-Bench

Ein durch Menschen verifizierter Benchmark, bestehend aus 435 Methodik-Abbildungen und den dazugehörigen Quelltexten/Bildunterschriften. Der Datensatz deckt 37 KI/ML-zentrierte Domänen über 15 Top-Tier-Veranstaltungen (z. B. NeurIPS, ICML, CVPR) ab. Ein zusätzlicher Satz von 1.784 Abbildungen wurde zur Entwicklung von Evaluierungsrubriken verwendet.

3. SciFig-Eval

Ein vierachsiger Evaluierungsprotokoll, der darauf abzielt, die Einschränkungen der Einzel-Score-VLM-Beurteilung zu überwinden:

Vollständigkeit und Korrektheit: Nutzt Cross-Model Visual Question Answering (VQA) mit 50 Ja/Nein-Fragen, um die Informationsabdeckung zu bewerten.
Referenzbasierte Treue: Misst die visuelle Ähnlichkeit (DINOv2), die Figur-Text-Relevanz (SigLIP2) und die OCR-Textgenauigkeit (F1-Score) im Vergleich zu den vom Autor gezeichneten Referenzen.
Rubrikbasierte Inhaltsqualität: Verwendet 20 binäre Fragen, die aus realen Abbildungen abgeleitet wurden, um technische Genauigkeit, Klarheit, Konsistenz und Lesbarkeit zu bewerten.
Perzeptive Designqualität: Nutzt 8 deterministische Heuristiken (z. B. WCAG-Kontrast, Data-Ink-Ratio, Weißraum-Uniformität), um niedrige Design-Eigenschaften ohne Referenz-Bias zu bewerten.

Experimentelle Ergebnisse

Die Autoren evaluierten SciFig gegen sieben Baselines, darunter Single-Agent-Bildgeneratoren (GPT-5.4-Image, Qwen-Image, Nano Banana Pro) und agentische Pipelines (Paper2Poster, AutoFigure, etc.).

Leistung: SciFig erreichte die höchsten Scores über alle vier Achsen von SciFig-Eval hinweg. Bemerkenswerterweise übertraf es die beste Baseline (PaperBanana) um 0,4 Punkte in der Vollständigkeit & Korrektheit sowie um 0,4 Punkte in der Rubrikbasierten Inhaltsqualität.
Editierbarkeit: Im Gegensatz zu Raster-Generatoren produziert SciFig XML-Abbildungen, in denen Labels und Symbole editierbar und lesbar bleiben, wodurch die Unschärfe oder Korruption vermieden wird, die bei Bildgenerierung häufig auftritt.
Menschliche Evaluation: In einer blinden Paarstudie mit 60 Teilnehmern (10.000 Vergleiche) belegte SciFig mit einer Elo-Rating von 1327 den ersten Platz und eine Win-Rate von 81,4 %, womit es sogar die ursprünglichen, von Autoren gezeichneten Abbildungen (GT Figures) übertraf.
Effizienz: Das System generiert editierbare Abbildungen in durchschnittlich etwa 10 Minuten.
Ablation: Die Studie bestätigte, dass der Layout Agent und der Feedback Agent die strukturelle Konsistenz und die Gesamtqualität signifikant verbessern. Eine Erhöhung der CoT-Verfeinerungsrunden ( $K$ ) von 1 auf 4 führte nach der dritten Runde zu abnehmenden Grenzerträgen.

Bedeutung und Ansprüche

Das Paper behauptet, dass SciFig einen bedeutenden Schritt nach vorn in der Automatisierung der wissenschaftlichen visuellen Kommunikation darstellt, indem es den Kompromiss zwischen Editierbarkeit und visueller Qualität löst. Durch die Zerlegung der Figurengenerierung in Planung, Layout, Rendering und Verfeinerung produziert das Framework Abbildungen, die nicht nur dem Quelltext treu sind, sondern auch an die iterative Natur der wissenschaftlichen Publikation angepasst werden können.

Die Autoren betonen, dass SciFig primär für Methodik-Abbildungen innerhalb von KI/ML-Domänen konzipiert ist. Während qualitative Beispiele eine Generalisierung auf Teaser-Diagramme und statistische Plots nahelegen, geben die Autoren expliz explizit an, dass sie diese anderen Figurentypen nicht systematisch benchmarken. Ebenso ist der Benchmark auf KI/ML-Veranstaltungen beschränkt, und die Autoren räumen ein, dass visuelle Konventionen in anderen wissenschaftlichen Feldern (z. B. Chemie, Biologie) domänenspezifische Anpassungen erfordern könnten.

Die Arbeit positioniert SciFig als ein assistives Entwurfswerkzeug, das Forscher unterstützen soll – insbesondere solche ohne spezialisierte Designausbildung –, während die Kontrolle über das Endergebnis beim Autor bleibt. Die Autoren mahnen an, dass generierte Abbildungen nicht als Ersatz für das Urteilsvermögen des Autors oder die technische Korrektheit betrachtet werden sollten.