💻 computer science

LiveFigure: Generating Editable Scientific Illustration with VLM Agents

LiveFigure is een agentisch raamwerk dat wordt aangedreven door Vision-Language-modellen en de meerstapsworkflow van menselijke onderzoekers nabootst om volledig bewerkbare, vectorische wetenschappelijke illustraties te genereren via PowerPoint-scripts, waarmee het bestaande basismodellen aanzienlijk overtreft op het gebied van publicatieklaarheid en menselijke voorkeur.

Oorspronkelijke auteurs: Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wetenschapper bent die zojuist een briljant nieuw idee heeft ontdekt. Je moet een diagram tekenen om het aan de wereld uit te leggen. In het verleden had je urenlang handmatig vakken moeten slepen, pijlen moeten trekken en lettertypes moeten aanpassen in software zoals PowerPoint of Illustrator. Het is vermoeiend, alsof je een huis steen voor steen bouwt met een pincet.

Onlangs beloofden AI-afbeeldingsgeneratoren (zoals die die mooie plaatjes maken op basis van tekst) dit voor je te doen. Maar ze hadden een groot gebrek: ze schilderden het plaatje op een canvas en vernisden het daarna af. Zodra het plaatje gemaakt was, kon je geen enkel vak verplaatsen of een typefout herstellen zonder het hele plaatje opnieuw te schilderen. Als je het vak "Gewogen Som" naar beneden wilde verplaatsen, probeerde de AI gewoon het hele plaatje opnieuw te tekenen, waarbij het vaak de rest van het plaatje verkeerd maakte.

LiveFigure is een nieuw systeem dat het spel verandert. In plaats van een statisch plaatje te schilderen, fungeert het als een super-slimme, hyper-georganiseerde architect die een volledig bewerkbaar model van je diagram bouwt.

Hier is hoe het werkt, opgesplitst in drie eenvoudige stappen:

1. De "Blauwdruk"-fase (Visuele planning)

Voordat er iets wordt gebouwd, bekijkt een menselijke architect succesvolle gebouwen om te zien wat werkt. LiveFigure doet hetzelfde. Het scant duizenden hoogwaardige wetenschappelijke diagrammen uit toptijdschriften om de "regels van de weg" te leren.

De Analogie: Stel je voor dat je een boomhut bouwt. In plaats van te raden waar de takken moeten komen, bekijk je foto's van de beste boomhutten die ooit zijn gebouwd. Je leert dat de ladder meestal links staat en het raam naar de zon gericht is. LiveFigure gebruikt dit "visuele geheugen" om een mentale blauwdruk van je diagram te schetsen voordat het één regel code schrijft.

2. De "Bouw"-fase (Procedurale generatie)

Hier verschilt LiveFigure van andere AI. In plaats van pixels te schilderen, schrijft het code (specifiek Python-scripts die communiceren met Microsoft PowerPoint).

De Analogie: Denk aan andere AI als een schilder die kleuren mengt op een palet. LiveFigure is een robotische timmerman met een gereedschapskist vol vooraf gemaakte, perfecte onderdelen. Het probeert niet te "raden" hoe je een vak moet tekenen; het gebruikt een vooraf getest hulpmiddel genaamd add_box(). Het raadt niet hoe je een pijl moet tekenen; het gebruikt een hulpmiddel genaamd add_connector().
De "Ervaring"-truc: Soms maken zelfs robots fouten (zoals proberen een hamer als schroevendraaier te gebruiken). LiveFigure houdt een "dagboek van fouten" bij. Als het iets probeert dat het programma eerder liet crashen, onthoudt het: "Doe dat nooit meer!" Dit helpt het code te schrijven die de eerste keer echt werkt.

3. De "Kwaliteitscontrole"-fase (Gerichte verfijning)

Zodra de robot het diagram bouwt, bekijkt een "Visuele Inspecteur" (een andere AI) het resultaat.

De Analogie: Stel je voor dat de timmerman een plank bouwt, maar de inspecteur merkt dat een schroef uitsteekt of dat een plank iets scheef staat. In plaats van de hele plank af te breken en opnieuw te beginnen, wijst de inspecteur de specifieke schroef aan en zegt: "Draai deze één keer met de klok mee."
LiveFigure maakt deze kleine, precieze aanpassingen aan de code. Het repareert de scheve pijl of het overlappende tekstvak zonder de rest van het diagram aan te raken.

Het Resultaat: Een "Lego"-diagram

De uiteindelijke output is geen platte afbeelding (zoals een JPEG). Het is een PowerPoint-bestand waarin elk vak, elke pijl en elk woord een apart, verplaatsbaar object is.

Waarom dit belangrijk is: Als je de kleur van één vak wilt veranderen, klik je er gewoon op en verander je de kleur. Als je een hele sectie wilt verplaatsen, sleep je die, en rekken en buigen de pijlen automatisch om het te volgen. Het is alsof je bouwt met Lego-blokjes in plaats van beton te gieten.

Wat het Onderzoek Vond

De onderzoekers testten LiveFigure tegen de beste AI-modellen voor afbeeldingsgeneratie (zoals Google's "Nano Banana" en OpenAI's "GPT-Image") en traditionele coderingstools.

De "Reparatie"-test: Ze vroegen mensen om de door AI gegenereerde diagrammen klaar te maken voor een wetenschappelijk artikel.
- Andere AI: De mens moest ongeveer 30+ bewerkingen maken om de rommel te repareren, en zelfs toen waren slechts 24% van de diagrammen goed genoeg om te gebruiken.
- LiveFigure: De mens hoefde slechts ongeveer 17 bewerkingen te maken (voornamelijk kleine aanpassingen), en 80% van de diagrammen was direct klaar voor publicatie.
Menselijke Voorkeur: Toen mensen twee diagrammen naast elkaar werden getoond (één van LiveFigure, één van de concurrentie), kozen ze 60% van de tijd voor LiveFigure omdat het professioneler leek en logischer in elkaar zat.

Korte Samenvatting

LiveFigure "tekent" niet zomaar een plaatje; het bouwt een diagram met een slim, stap-voor-stap proces dat nabootst hoe menselijke experts denken. Het creëert een diagram dat je daadwerkelijk kunt bewerken, repareren en perfectioneren, waardoor de moeilijke taak van wetenschappelijke illustratie iets wordt dat voelt als spelen met digitale Lego.

Technische Samenvatting: LiveFigure

Probleemstelling
Wetenschappelijke illustraties zijn cruciaal voor het communiceren van complexe methodologieën en conceptuele kaders, maar hun creatie blijft een arbeidsintensief proces dat diepgaande domeinkennis en vaardigheid met professionele ontwerptools vereist. Hoewel recente generatieve beeldmodellen promptgebaseerde bewerking hebben verbeterd, genereren ze fundamenteel statische, op pixels gebaseerde rasterafbeeldingen. Dit paradigma kent twee primaire beperkingen voor wetenschappelijke publicatie:

Gebrek aan Bewerkbaarheid: Rasteroutput behandelt figuren als ondeelbare visuele blokken. Het corrigeren van kleine structurele onnauwkeurigheden, spelfouten of lay-outfouten vereist volledige regeneratie via iteratieve natuurlijke taalprompts, wat niet voldoet aan het fijnmazige, verifieerbare bewerkingsproces dat essentieel is in wetenschappelijk schrijven.
Formatonverenigbaarheid: Toonaangevende academische venues (bijv. Nature, Science) verplichten vectorformaten voor indiening om schaalbaarheid onafhankelijk van resolutie en native bewerkbaarheid te waarborgen. Bestaande generatieve modellen kunnen geen vectorafbeeldingen produceren, en huidige oplossingen (bijv. laagdecompositie of code-gebaseerde generatie) blijven ofwel op pixels gebaseerd of produceren visueel simplistische, niet-bewerkbare output.

Methodologie: Cognitief Geïnspireerde Procedurele Constructie
De auteurs stellen LiveFigure voor, een agentisch kader gedreven door Vision-Language Models (VLM's) dat end-to-end pixelgeneratie verlaat ten gunste van een paradigma van "Cognitief Geïnspireerde Procedurele Constructie". Deze benadering nabootst de gefaseerde cognitieve workflow van menselijke experts: referenties ophalen, blauwdrukken conceptualiseren, assets assembleren en verfijnen op basis van visuele feedback. Het kader werkt via drie opeenvolgende fasen:

Visuele Planning via eerdere Inductie ( $\Psi_{plan}$ ):
- Het systeem bouwt een kennisbank op van hoogwaardige methodologische figuren van toonaangevende conferenties (ICLR, NeurIPS, ICML).
- Een retrieve-agent haalt semantisch relevante referentiefiguren op op basis van de invoer methodologische tekst.
- Een VLM analyseert deze referenties om ontwerpprioriteiten en lay-outstructuren te distilleren, en genereert een op maat gemaakt structureel plan en een visuele blauwdruk.
- Een asset-generatiemodule synthetiseert stijl-consistente iconen voor complexe entiteiten met behulp van een op raster gebaseerde batch-generatiestrategie.
Procedurele Figuurgeneratie via Vaardigheden en Ervaring ( $\Psi_{assemble}$ ):
- LiveFigure kiest Microsoft PowerPoint als outputdrager vanwege de alomtegenwoordigheid in onderzoek, de open XML-structuur en de programmeerbare toegankelijkheid via python-pptx.
- In plaats van ruwe code te prompten, maakt het systeem gebruik van een Gestandaardiseerde Vaardigheidsbibliotheek ( $S$ ) met vooraf gevalideerde, hoogwaardige semantische functies (bijv. routering van connectoren, geneste tekst-vormcompositie).
- Een Experience Injection-mechanisme integreert opgebouwde debug-beperkingen (negatieve beperkingen) om bekende API-hallucinaties en parameterfouten te voorkomen.
- Een zelfcorrigerende uitvoeringslus behandelt runtime-fouten door stack-traces terug te voeren naar het model voor iteratieve codeverfijning totdat een geldig script is geproduceerd.
Gerichte Verfijning via Visuele Diagnostiek ( $\Psi_{refine}$ ):
- Om de kloof tussen code-logic en visuele perceptie te overbruggen, inspecteert een "visuele criticus" VLM de gerenderde figuur.
- Het identificeert subtiele gebreken die voor code-logic onzichtbaar zijn (bijv. elementverduistering, misalignering, inconsistente styling) en genereert een gestructureerde lijst van actievere problemen.
- Het systeem past incrementele code-niveau updates toe om deze specifieke problemen aan te pakken, en iteratieert totdat de figuur voldoet aan publicatiestandaarden.

Belangrijkste Bijdragen

Nieuw Paradigma: Introductie van "Cognitief Geïnspireerde Procedurele Constructie", die de generatie van wetenschappelijke figuren verschuift van pixelmanipulatie naar een gefaseerde, code-gedreven workflow die inherente bewerkbaarheid garandeert.
LiveFigure Kader: Een praktisch multi-agent systeem dat volledig bewerkbare, gevectoriseerde PowerPoint-bronbestanden produceert, waardoor de beperkingen van op raster gebaseerde modellen en de rigiditeit van traditionele code-gebaseerde tools worden overwonnen.
Empirische Validatie: Uitgebreide experimenten die aantonen dat het kader figuren genereert die minimale handmatige ingrepen vereisen om publicatieklaar te zijn.

Experimentele Resultaten
Het kader werd geëvalueerd op een dataset van 300 wetenschappelijke schema-illustraties afkomstig van geaccepteerde papers van ICLR 2024, NeurIPS 2024 en ICML 2024.

Bewerkbaarheid: LiveFigure behaalde een 80% publicatieklaarheidspercentage met een mediaan van slechts 17 handmatige bewerkingen (Edit Distance). Dit presteerde aanzienlijk beter dan de sterkste baseline, NanoBanana (Gemini-3-Pro-Image), die slechts een percentage van 24% behaalde.
Menselijke Voorkeur: In dubbelblinde paarvergelijkingen behaalde LiveFigure een winstpercentage van 60% tegen NanoBanana en een winstpercentage van 69% tegen GPT-Image-1.5, waarbij alle betrouwbaarheidsintervallen strikt boven de 50%-drempel lagen.
Kwaliteitsmetrieken: LiveFigure toonde superieure prestaties in Content Fidelity (Nauwkeurigheid: 8,29, Volledigheid: 8,16 onder V2-invoer) vergeleken met rastergeneratoren, terwijl het concurrerende scores voor Visueel Ontwerp behield. Het presteerde beter dan code-gebaseerde tools (bijv. Matplotlib, Graphviz) op het gebied van esthetische kwaliteit en lay-outflexibiliteit.
Ablatiestudies: Het verwijderen van de Vaardigheidsbibliotheek veroorzaakte een catastrofale daling in code-uitvoerbaarheid (van 83,5% naar 40,0%), terwijl het verwijderen van de Experience-module de mediaane edit distance met bijna 4x verhoogde, wat de noodzaak van beide componenten bevestigt.

Betekenis en Claims
Het artikel beweert dat LiveFigure fundamenteel de "bewerkbaarheidskloof" in wetenschappelijke illustratie aanpakt door generatie te ontkoppelen van pixelmanipulatie. Door PowerPoint te benutten als een intermediair, bewerkbaar vectorformaat, democratiseert het systeem de creatie van hoogwaardige figuren en verlaagt het de technische drempel voor onderzoekers uit alle disciplines. De auteurs stellen dat hun benadering naadloze mens-AI-samenwerking mogelijk maakt, waarbij de AI arbeidsintensieve structurele en ruimtelijke lay-outtaken overneemt, terwijl de uiteindelijke esthetische verfijning aan de gebruiker wordt overgelaten. Het werk positioneert zichzelf als een gespecialiseerde agent die abstracte onderzoeksontwerpen transformeert in publicatie-standaard, bewerkbare figuren, en zo de kloof overbrugt tussen geautomatiseerde onderzoeksassistentie en de strenge visuele standaarden van academische publicatie.