💻 computer science

LiveFigure: Generating Editable Scientific Illustration with VLM Agents

LiveFigure ist ein durch Vision-Language-Modelle angetriebenes agentic Framework, das den mehrstufigen Arbeitsablauf menschlicher Forscher nachahmt, um vollständig bearbeitbare, vektorierte wissenschaftliche Illustrationen über PowerPoint-Skripte zu generieren und dabei in Bezug auf Publikationsreife und menschliche Präferenz bestehende Baseline-Methoden deutlich zu übertreffen.

Ursprüngliche Autoren: Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Wissenschaftler, der gerade eine brillante neue Idee entdeckt hat. Sie müssen ein Diagramm zeichnen, um es der Welt zu erklären. In der Vergangenheit hätten Sie Stunden damit verbringen müssen, manuell Boxen zu verschieben, Pfeile zu zeichnen und Schriftarten in Software wie PowerPoint oder Illustrator anzupassen. Das ist mühsam, wie ein Haus Ziegel für Ziegel mit einer Pinzette zu bauen.

Vor kurzem versprachen KI-Bildgeneratoren (wie die, die aus Text hübsche Bilder erstellen), dies für Sie zu übernehmen. Doch sie hatten einen gravierenden Mangel: Sie malten das Bild auf eine Leinwand und versiegelten es anschließend mit Lack. Sobald das Bild fertig war, konnten Sie keine einzelne Box verschieben oder einen Tippfehler korrigieren, ohne das gesamte Bild neu zu malen. Wenn Sie die Box „Weighted Sum" nach unten verschieben wollten, versuchte die KI lediglich, das gesamte Bild neu zu zeichnen, wobei sie oft den Rest des Bildes falsch darstellte.

LiveFigure ist ein neues System, das das Spiel verändert. Anstatt ein statisches Bild zu malen, agiert es wie ein super-intelligenter, hyper-organisierter Architekt, der ein vollständig bearbeitbares Modell Ihres Diagramms erstellt.

So funktioniert es, aufgeteilt in drei einfache Schritte:

1. Die „Blueprint"-Phase (Visuelle Planung)

Bevor ein menschlicher Architekt etwas baut, betrachtet er erfolgreiche Gebäude, um zu sehen, was funktioniert. LiveFigure macht dasselbe. Es scannt Tausende hochwertiger wissenschaftlicher Diagramme aus führenden Fachzeitschriften, um die „Spielregeln" zu erlernen.

Die Analogie: Stellen Sie sich vor, Sie bauen ein Baumhaus. Anstatt zu raten, wo die Äste hinkommen, schauen Sie sich Fotos der besten jemals gebauten Baumhäuser an. Sie lernen, dass die Leiter normalerweise links ist und das Fenster zur Sonne zeigt. LiveFigure nutzt dieses „visuelle Gedächtnis", um vor dem Schreiben einer einzigen Codezeile eine mentale Blaupause Ihres Diagramms zu skizzieren.

2. Die „Construction"-Phase (Prozedurale Generierung)

Hier unterscheidet sich LiveFigure von anderer KI. Anstatt Pixel zu malen, schreibt es Code (speziell Python-Skripte, die mit Microsoft PowerPoint kommunizieren).

Die Analogie: Denken Sie an andere KI wie einen Maler, der Farben auf einer Palette mischt. LiveFigure ist ein robotischer Tischler mit einer Werkzeugkiste voller vorgefertigter, perfekter Teile. Es versucht nicht zu „raten", wie man eine Box zeichnet; es verwendet ein vorgetestetes Werkzeug namens add_box(). Es rät nicht, wie man einen Pfeil zeichnet; es verwendet ein Werkzeug namens add_connector().
Der „Erfahrungs"-Trick: Manchmal machen sogar Roboter Fehler (wie etwa zu versuchen, einen Hammer als Schraubendreher zu benutzen). LiveFigure führt ein „Fehltagebuch". Wenn es etwas versucht, das das Programm zuvor zum Absturz gebracht hat, merkt es sich: „Das nie wieder machen!" Dies hilft ihm, Code zu schreiben, der beim ersten Versuch tatsächlich funktioniert.

3. Die „Quality Check"-Phase (Gezielte Verfeinerung)

Sobald der Roboter das Diagramm erstellt hat, betrachtet ein „Visueller Inspektor" (eine weitere KI) das Ergebnis.

Die Analogie: Stellen Sie sich vor, der Tischler baut ein Regal, aber der Inspektor bemerkt, dass eine Schraube heraussteht oder ein Regalbrett leicht schief ist. Anstatt das ganze Regal abzureißen und von vorne zu beginnen, zeigt der Inspektor auf die spezifische Schraube und sagt: „Dreh diese eine im Uhrzeigersinn."
LiveFigure nimmt diese winzigen, präzisen Anpassungen am Code vor. Es richtet den schiefen Pfeil oder das überlappende Textfeld aus, ohne den Rest des Diagramms zu berühren.

Das Ergebnis: Ein „Lego"-Diagramm

Die endgültige Ausgabe ist kein flaches Bild (wie ein JPEG). Es ist eine PowerPoint-Datei, in der jede einzelne Box, jeder Pfeil und jedes Wort ein separates, verschiebbares Objekt ist.

Warum das wichtig ist: Wenn Sie die Farbe einer Box ändern möchten, klicken Sie einfach darauf und ändern die Farbe. Wenn Sie einen ganzen Abschnitt verschieben möchten, ziehen Sie ihn, und die Pfeile dehnen und biegen sich automatisch, um ihm zu folgen. Es ist wie das Bauen mit Lego-Steinen anstatt Beton zu gießen.

Was die Studie herausfand

Die Forscher testeten LiveFigure gegen die besten KI-Modelle zur Bildgenerierung (wie Googles „Nano Banana" und OpenAIs „GPT-Image") sowie gegen traditionelle Codetools.

Der „Reparier"-Test: Sie baten Menschen, die von der KI generierten Diagramme für einen wissenschaftlichen Artikel aufzubereiten.
- Andere KI: Der Mensch musste etwa 30+ Änderungen vornehmen, um das Durcheinander zu beheben, und selbst dann waren nur 24 % der Diagramme gut genug für die Verwendung.
- LiveFigure: Der Mensch musste nur etwa 17 Änderungen vornehmen (meist kleine Anpassungen), und 80 % der Diagramme waren sofort veröffentlichungsreif.
Menschliche Präferenz: Als Menschen zwei Diagramme nebeneinander sahen (eines von LiveFigure, eines vom Wettbewerb), wählten sie 60 % der Zeit LiveFigure, weil es professioneller aussah und logisch mehr Sinn ergab.

Kurz gesagt

LiveFigure „zeichnet" nicht nur ein Bild; es baut ein Diagramm mithilfe eines intelligenten, schrittweisen Prozesses, der nachahmt, wie menschliche Experten denken. Es erstellt ein Diagramm, das Sie tatsächlich bearbeiten, korrigieren und perfektionieren können, und verwandelt die schwierige Aufgabe der wissenschaftlichen Illustration in etwas, das sich wie das Spielen mit digitalen Legosteinen anfühlt.

Technischer Zusammenfassung: LiveFigure

Problemstellung
Wissenschaftliche Illustrationen sind entscheidend für die Vermittlung komplexer Methodologien und konzeptioneller Rahmenwerke, doch ihre Erstellung bleibt ein arbeitsintensiver Prozess, der tiefes Domänenwissen und Vertrautheit mit professionellen Designwerkzeugen erfordert. Obwohl generative Bildmodelle der jüngeren Zeit die bearbeitungsbasierte Steuerung durch Prompts vorangebracht haben, generieren sie grundlegend statische, pixelbasierte Rasterbilder. Dieses Paradigma stellt zwei Hauptbeschränkungen für die wissenschaftliche Veröffentlichung dar:

Mangelnde Bearbeitbarkeit: Rasterausgaben behandeln Abbildungen als unteilbare visuelle Blöcke. Die Korrektur geringfügiger struktureller Ungenauigkeiten, Rechtschreibfehler oder Layout-Abweichungen erfordert eine vollständige Neugenerierung durch iterative natürliche Sprach-Prompts, was den für das wissenschaftliche Schreiben wesentlichen feinabgestimmten und überprüfbaren Bearbeitungsprozess nicht unterstützt.
Formatinkompatibilität: Spitzenakademische Publikationsorte (z. B. Nature, Science) schreiben Vektorformate für die Einreichung vor, um eine auflösungsunabhängige Skalierung und native Bearbeitbarkeit sicherzustellen. Bestehende generative Modelle können keine Vektorgrafiken produzieren, und aktuelle Umgehungsmaßnahmen (z. B. Schichtzerlegung oder codebasierte Generierung) bleiben entweder pixelbasiert oder produzieren visuell vereinfachte, nicht bearbeitbare Ausgaben.

Methodik: Kognitionsinspirierter prozeduraler Aufbau
Die Autoren schlagen LiveFigure vor, ein agentenbasiertes Framework, das von Vision-Language-Modellen (VLMs) gesteuert wird und die end-to-end-Pixelgenerierung zugunsten eines Paradigmas der „Kognitionsinspirierten prozeduralen Konstruktion" aufgibt. Dieser Ansatz imitiert den gestuften kognitiven Arbeitsablauf menschlicher Experten: das Abrufen von Referenzen, das Konzeptualisieren von Blaupausen, das Zusammenstellen von Assets und das Verfeinern basierend auf visuellem Feedback. Das Framework arbeitet durch drei sequenzielle Stufen:

Visuelle Planung durch vorherige Induktion ( $\Psi_{plan}$ ):
- Das System erstellt eine Wissensbasis hochwertiger methodologischer Abbildungen von Spitzenkonferenzen (ICLR, NeurIPS, ICML).
- Ein Abruf-Agent holt semantisch relevante Referenzabbildungen basierend auf dem eingegebenen methodologischen Text ab.
- Ein VLM analysiert diese Referenzen, um Design-Priors und Layout-Strukturen zu extrahieren, und generiert einen maßgeschneiderten Strukturplan und eine visuelle Blaupause.
- Ein Asset-Generierungsmodul synthetisiert stil-konsistente Icons für komplexe Entitäten unter Verwendung einer grid-basierten Batch-Generierungsstrategie.
Prozedurale Abbildungsgenerierung durch Fähigkeiten und Erfahrung ( $\Psi_{assemble}$ ):
- LiveFigure wählt Microsoft PowerPoint als Ausgabe-Träger aus, aufgrund seiner Allgegenwart in der Forschung, seiner offenen XML-Struktur und seiner programmatischen Zugänglichkeit über python-pptx.
- Anstatt rohen Code zu prompten, nutzt das System eine Standardisierte Fähigkeitsbibliothek ( $S$ ), die vorvalidierte, hochlevelige semantische Funktionen enthält (z. B. Verbindungs-Routing, verschachtelte Text-Form-Zusammensetzung).
- Ein Erfahrungs-Injektions-Mechanismus integriert angesammelte Debugging-Beschränkungen (negative Beschränkungen), um bekannte API-Halluzinationen und Parameterfehler zu verhindern.
- Eine selbstkorrigierende Ausführungs-Schleife behandelt Laufzeitfehler, indem sie Stack-Traces zurück an das Modell zur iterativen Code-Verfeinerung führt, bis ein gültiges Skript erzeugt wird.
Gezielte Verfeinerung durch visuelle Diagnostik ( $\Psi_{refine}$ ):
- Um die Lücke zwischen Code-Logik und visueller Wahrnehmung zu überbrücken, inspiziert ein „visueller Kritiker"-VLM die gerenderte Abbildung.
- Er identifiziert subtile Defekte, die für die Code-Logik unsichtbar sind (z. B. Element-Okklusion, Fehlausrichtung, inkonsistentes Styling), und generiert eine strukturierte Liste handlungsrelevanter Probleme.
- Das System wendet inkrementelle Code-Level-Aktualisierungen an, um diese spezifischen Probleme zu beheben, und iteriert, bis die Abbildung den Veröffentlichungsstandards entspricht.

Hauptbeiträge

Neues Paradigma: Einführung der „Kognitionsinspirierten prozeduralen Konstruktion", die die Generierung wissenschaftlicher Abbildungen von der Pixelmanipulation auf einen gestuften, codegetriebenen Workflow verlagert, der inhärente Bearbeitbarkeit sicherstellt.
LiveFigure-Framework: Ein praktisches Multi-Agenten-System, das vollständig bearbeitbare, vektorisierte PowerPoint-Quelldateien erzeugt und damit die Beschränkungen rasterbasierter Modelle sowie die Starrheit traditioneller codebasierter Werkzeuge überwindet.
Empirische Validierung: Umfassende Experimente zeigen, dass das Framework Abbildungen erzeugt, die nur minimale manuelle Eingriffe benötigen, um veröffentlichungsreif zu sein.

Experimentelle Ergebnisse
Das Framework wurde an einem Datensatz von 300 wissenschaftlichen Schemazeichnungen evaluiert, die aus angenommenen Arbeiten der Konferenzen ICLR 2024, NeurIPS 2024 und ICML 2024 stammen.

Bearbeitbarkeit: LiveFigure erreichte eine Veröffentlichungsreife-Rate von 80 % mit einem Median von nur 17 manuellen Bearbeitungen (Edit Distance). Dies übertraf die stärkste Baseline, NanoBanana (Gemini-3-Pro-Image), die lediglich eine Rate von 24 % erreichte, signifikant.
Menschliche Präferenz: In doppelblind paarweisen Vergleichen erzielte LiveFigure eine Gewinnrate von 60 % gegen NanoBanana und eine Gewinnrate von 69 % gegen GPT-Image-1.5, wobei alle Konfidenzintervalle strikt die 50 %-Schwelle überschritten.
Qualitätsmetriken: LiveFigure zeigte eine überlegene Leistung bei der Inhaltstreue (Genauigkeit: 8,29, Vollständigkeit: 8,16 unter V2-Eingabe) im Vergleich zu Rastergeneratoren, während es gleichzeitig wettbewerbsfähige Visuelle Design-Scores beibehielt. Es übertraf codebasierte Werkzeuge (z. B. Matplotlib, Graphviz) in ästhetischer Qualität und Layout-Flexibilität.
Ablationsstudien: Das Entfernen der Fähigkeitsbibliothek verursachte einen katastrophalen Rückgang der Code-Ausführbarkeit (von 83,5 % auf 40,0 %), während das Entfernen des Erfahrungsmoduls den Median der Edit-Distanz um fast das 4-Fache erhöhte, was die Notwendigkeit beider Komponenten bestätigt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass LiveFigure die „Bearbeitbarkeitslücke" in der wissenschaftlichen Illustration grundlegend adressiert, indem es die Generierung von der Pixelmanipulation entkoppelt. Durch die Nutzung von PowerPoint als intermediärem, bearbeitbarem Vektorformat demokratisiert das System die Erstellung hochwertiger Abbildungen und senkt die technische Hürde für Forschende über alle Disziplinen hinweg. Die Autoren behaupten, dass ihr Ansatz eine nahtlose Mensch-KI-Zusammenarbeit ermöglicht, bei der die KI arbeitsintensive strukturelle und räumliche Layout-Aufgaben übernimmt und die finale ästhetische Verfeinerung dem Benutzer überlässt. Die Arbeit positioniert sich als spezialisierter Agent, der abstrakte Forschungsdesigns in veröffentlichungsstandardkonforme, bearbeitbare Abbildungen verwandelt und die Lücke zwischen automatisierter Forschungsunterstützung und den strengen visuellen Standards des akademischen Verlagswesens schließt.