🤖 AI

SciFig: Towards Automating Editable Figure Generation for Scientific Papers

Het artikel introduceert SciFig, een end-to-end multi-agent framework dat de afweging tussen visuele kwaliteit en bewerkbaarheid overwint door automatisch hoogwaardige, volledig bewerkbare methodologiefiguren te genereren vanuit wetenschappelijke tekst, samen met een nieuwe benchmark (SciFig-Bench) en een evaluatieprotocol (SciFig-Eval) om de superieure prestaties ervan te valideren.

Oorspronkelijke auteurs: Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een recept schrijft voor een nieuw, complex gerecht. Je hebt alle stappen in woorden opgeschreven, maar je weet dat om een chef echt te helpen begrijpen hoe de ingrediënten van de kom naar het fornuis stromen, je een plaatje nodig hebt.

In de wereld van wetenschappelijk onderzoek worden deze "plaatjes" methodologiefiguren genoemd. Dit zijn de diagrammen die laten zien hoe een nieuw computerprogramma of een wetenschappelijke methode daadwerkelijk werkt.

Het Probleem:
Op dit moment is het maken van deze diagrammen alsof je probeert een meesterwerk te tekenen met een krijtje terwijl je ovenwanten draagt.

Het "Krijtjesprobleem": Als je standaard tekenprogramma's gebruikt (zoals PowerPoint), kun je de afbeelding gemakkelijk bewerken, maar ziet het er vaak stijf, plat en een beetje saai uit — als een schets met stokfiguurtjes.
Het "Ovenwantenprobleem": Als je geavanceerde AI-beeldgeneratoren gebruikt om het er prachtig en realistisch uit te laten zien, krijg je een hoogwaardige afbeelding, maar het is als een foto. Als je slechts één ingrediënt wilt veranderen of één pijl wilt verplaatsen, kun je niet gewoon klikken en slepen. Je moet de hele afbeelding weggooien en opnieuw beginnen.

De Oplossing: SciFig
De auteurs van dit artikel hebben een nieuw systeem gebouwd genaamd SciFig. Zie SciFig als een team van vier gespecialiseerde chefs die samenwerken om een op maat gemaakt, bewerkbaar en prachtig diagram te bouwen vanuit jouw geschreven recept.

Zo werkt dit team:

De Planner (De Architect): Eerst leest deze agent jouw tekst en bepaalt de "blauwdruk". Deze beslist: "Oké, dit deel komt links, dat deel komt rechts, en deze twee moeten verbonden worden door een grote pijl." Deze agent tekent nog niets; hij maakt alleen het plan.
De Layout Agent (De Bouwer): Deze agent neemt de blauwdruk en bouwt het frame. Het creëert een gestructureerd skelet (met behulp van een digitaal formaat genaamd XML) dat de onderdelen op hun plek houdt. Omdat het een skelet is en geen afgewerkte schildering, kun je de muren nog steeds gemakkelijk verplaatsen.
De Component Agent (De Decorateur): Nu vult deze agent de details in. Het voegt de "mooie" onderdelen toe — zoals realistische texturen, kleuren en iconen — waardoor het diagram er professioneel en rijk uitziet. Maar het koppelt deze decoraties aan het skelet, zodat ze bewerkbaar blijven.
De Feedback Agent (De Criticus): Ten slotte bekijkt deze agent het resultaat. Deze kan luisteren naar een mens die zegt: "Verplaats die box omhoog," of kan zijn eigen "ogen" (een AI-visiemodel) gebruiken om te zeggen: "Hé, deze twee pijlen kruisen elkaar onhandig; laten we dat oplossen." Vervolgens past hij het diagram aan totdat het perfect is.

Het Resultaat:
Het eindproduct is een diagram dat eruitziet alsof het door een menselijke expert is getekend, maar het blijft volledig bewerkbaar. Je kunt op een vak klikken, een label veranderen of een pijl verplaatsen zonder de hele afbeelding te verpesten. Het systeem doet dit in ongeveer 10 minuten.

Hoe ze het hebben getest (SciFig-Bench & SciFig-Eval)
Om te bewijzen dat hun systeem werkt, hebben de makers niet alleen geraden. Ze hebben:

Een bibliotheek gebouwd (SciFig-Bench): Ze verzamelden 435 echte, hoogwaardige diagrammen uit top computerwetenschappelijke papers. Deze dienden als de "gouden standaard" antwoorden.
Een beoordelingsmethode opgesteld (SciFig-Eval): In plaats van een AI simpelweg te vragen: "Is dit mooi?", maakten ze een strikte checklist met 4 punten:
1. Volledigheid: Zijn alle belangrijke onderdelen opgenomen?
2. Getrouwheid: Lijkt het op de oorspronkelijke tekening van de auteur?
3. Kwaliteit: Is de tekst duidelijk en is de lay-out logisch?
4. Ontwerp: Zijn de kleuren en de tussenruimte visueel aantrekkelijk?

De Conclusie:
Toen ze SciFig vergeleken met andere methoden (inclusief enkele AI-beeldgeneratoren en andere meerstapsystemen), won SciFig in elke categorie.

Het produceerde diagrammen die nauwkeuriger en vollediger waren.
Het zag er beter uit en was gemakkelijker te lezen.
Het belangrijkste: in een blinde test met 60 menselijke experts werd SciFig in 81% van de gevallen gekozen als de beste, waarmee het zelfs de originele diagrammen van de auteurs van de papers versloeg.

Kortom:
SciFig is een hulpmiddel dat het zware werk van het tekenen van wetenschappelijke diagrammen automatiseert. Het combineert de bewerkbaarheid van een digitale tekensoftware met de visuele schoonheid van een AI-beeldgenerator, waardoor wetenschappers hun ideeën helder kunnen communiceren zonder urenlang te worstelen met tekensoftware.

Technische Samenvatting: SciFig

Probleemstelling

Hoogwaardige methodologische figuren zijn essentieel voor wetenschappelijke communicatie, omdat ze complexe methoden, componenten en informatiestromen omzetten in heldere, aanpasbare diagrammen. Het maken van deze figuren blijft echter een handmatig, tijdrovend proces. Bestaande geautomatiseerde benaderingen kampen met een fundamentele afruil:

Gestructureerde/Bewerkbare Benaderingen: Methoden gebaseerd op TikZ of SVG produceren bewerkbare outputs, maar missen vaak de visuele rijkdom, textuur en stilistische variatie van door mensen ontworpen illustraties.
Beeldgenererende Benaderingen: Modellen die gebruikmaken van VLMs en beeldgeneratoren produceren gepolijste, publicatieklare rasterafbeeldingen, maar leveren niet-bewerkbare bestanden op waarbij zelfs kleine wijzigingen een volledige regeneratie vereisen.

Bovendien is het evalueren van gegenereerde wetenschappelijke figuren uitdagend. Huidige evaluatieprotocollen reduceren multidimensionale kwaliteit (correctheid, volledigheid, leesbaarheid, ontwerp) vaak tot een enkele numerieke score van een enkele VLM, wat leidt tot bias en gevoeligheid voor de formulering van de prompt.

Methodologie: SciFig Framework

De auteurs introduceren SciFig, een end-to-end multi-agent framework ontworpen om visueel rijke, volledig bewerkbare methodologische figuren te genereren vanuit wetenschappelijke tekst. Het systeem overbrugt de kloof tussen rasterexpressiviteit en symbolische bewerkbaarheid door XML-figuren te produceren die bewerkt kunnen worden in standaard diagramtools (bijv. draw.io, PowerPoint).

Systeemarchitectuur

SciFig deelt het generatieproces op in vier stadia, elk beheerd door een toegewezen agent:

Planning Agent: Analyseert de methodologische tekst ( $T$ ) en de figuurbeschrijving ( $D$ ) om een tekstueel plan ( $P$ ) te produceren. Dit plan specificeert de lay-outrichting, aspectratio, pijplijnstadia, functionele groeperingen en interne verbindingen, waarbij het onderscheid wordt gemaakt tussen wat er afgebeeld moet worden en waar elementen moeten verschijnen.
Layout Agent: Zet het plan $P$ om in een initiële bewerkbare XML-lay-out ( $L_0$ ). Deze lay-out codeert posities, grootte en verbindingen met behulp van een drie-niveau hiërarchie (modules, subgroepen, bladcomponenten) en gebruikt dikke/dunne pijlen om inter-module en intra-module stromen aan te duiden.
Component Agent: Vult de lay-out met visuele elementen ( $V$ $V$ ). Het hanteert een hybride renderstrategie:
- PNG Mode: Voor visueel complexe componenten (bijv. heatmaps) creëert een beeldgeneratiemodel een rijk element dat als een base64-afbeelding in de XML is ingebed.
- Textbox Mode: Voor benoemde operaties en variabelen worden gestileerde gelabelde rechthoeken direct in het vectorformaat gegenereerd.
Feedback Agent: Verfijnt de figuur via iteratieve loops ( $K$ $K$ rondes). Het ondersteunt twee modi:
- Human-in-the-loop: Onderzoekers leveren directe bewerkingen of instructies in natuurlijke taal aan.
- VLM-in-the-loop: Een VLM bekritiseert de gerenderde figuur op lay-out, uitlijning en helderheid, en stelt revisies voor.

De uiteindelijke output is een gestructureerd XML-bestand dat $F = (V, L, E)$ representeert, waardoor individuele componenten kunnen worden verplaatst of aangepast zonder de gehele figuur te regenereren.

Belangrijkste Bijdragen

1. SciFig Framework

Een multi-agent systeem dat methodologische figuren genereert die een balans vinden tussen visuele rijkdom en volledige bewerkbaarheid. Het ondersteunt zowel menselijke als VLM-feedbackloops voor verfijning.

2. SciFig-Bench

Een door mensen geverifieerde benchmark bestaande uit 435 methodologische figuren en de bijbehorende brontekst/bijschriften. De dataset beslaat 37 AI/ML-gecentreerde domeinen verspreid over 15 top-tier conferenties (bijv. NeurIPS, ICML, CVPR). Een extra set van 1.784 figuren werd gebruikt voor de ontwikkeling van evaluatierubrieken.

3. SciFig-Eval

Een vier-assig evaluatieprotocol ontworpen om de beperkingen van single-score VLM-beoordeling te overwinnen:

Volledigheid en Correctheid: Maakt gebruik van cross-model Visual Question Answering (VQA) met 50 ja/nee-vragen om de informatiebedekking te beoordelen.
Referentie-gebaseerde Getrouwheid: Meet visuele gelijkenis (DINOv2), figuur-tekst relevantie (SigLIP2) en OCR-tekstnauwkeurigheid (F1-score) ten opzichte van door auteurs getekende referenties.
Inhoudelijke Kwaliteit op basis van Rubrieken: Gebruikt 20 binaire vragen afgeleid van echte figuren om technische nauwkeurigheid, helderheid, consistentie en leesbaarheid te evalueren.
Perceptuele Ontwerpkwaliteit: Gebruikt 8 deterministische heuristieken (bijv. WCAG-contrast, data-ink ratio, witruimte-uniformiteit) om laag-niveau designeigenschappen te beoordelen zonder referentiebias.

Experimentele Resultaten

De auteurs hebben SciFig geëvalueerd tegen zeven baselines, waaronder single-agent beeldgeneratoren (GPT-5.4-Image, Qwen-Image, Nano Banana Pro) en agentic pipelines (Paper2Poster, AutoFigure, etc.).

Prestaties: SciFig behaalde de hoogste scores op alle vier de SciFig-Eval assen. Opvallend genoeg presteerde het beter dan de beste baseline (PaperBanana) met 0,4 punten op Volledigheid & Correctheid en 0,4 punten op Inhoudelijke Kwaliteit op basis van Rubrieken.
Bewerkbaarheid: In tegenstelling tot rastergeneratoren produceert SciFig XML-figuren waarbij labels en symbolen bewerkbaar en leesbaar blijven, wat het vervagen of corruptie voorkomt dat gebruikelijk is bij beeldgeneratie-outputs.
Menselijke Evaluatie: In een blinde pairwise studie met 60 deelnemers (10.000 vergelijkingen) rangschikte SciFig als eerste met een Elo-rating van 1327 en een winrate van 81,4%, waarmee het zelfs de originele door auteurs getekende figuren (GT Figures) versloeg.
Efficiëntie: Het systeem genereert bewerkbare figuren in gemiddeld ongeveer 10 minuten.
Ablatie: De studie bevestigde dat de Layout Agent en de Feedback Agent de structurele consistentie en de algehele kwaliteit aanzienlijk verbeteren. Het verhogen van de CoT-verfijningsrondes ( $K$ ) van 1 naar 4 leverde na de derde ronde een afnemend rendement op.

Betekenis en Claims

Het artikel claimt dat SciFig een belangrijke stap voorwaarts is in het automatiseren van wetenschappelijke visuele communicatie door de afruil tussen bewerkbaarheid en visuele kwaliteit op te lossen. Door de generatie van figuren op te splitsen in planning, lay-out, rendering en verfijning, produceert het framework figuren die niet alleen trouw zijn aan de brontekst, maar ook aanpasbaar zijn aan de iteratieve aard van wetenschappelijke publicaties.

De auteurs benadrukken dat SciFig primair is ontworpen voor methodologische figuren binnen AI/ML-domeinen. Hoewel kwalitatieve voorbeelden wijzen op generalisatie naar teaser-diagrammen en statistische plots, geven de auteurs expliciet aan dat zij deze andere typen figuren niet systematisch hebben getest. Op dezelfde wijze is de benchmark beperkt tot AI/ML-conferenties, en de auteurs erkennen dat visuele conventies in andere wetenschappelijke velden (bijv. chemie, biologie) mogelijk domeinspecifieke aanpassingen vereisen.

Het werk positioneert SciFig als een ondersteunend conceptontwerptool bedoeld om onderzoekers te ondersteunen, in het bijzonder zij zonder gespecialiseerde designopleiding, terwijl de controle van de auteur over de uiteindelijke output behouden blijft. De auteurs waarschuwen dat gegenereerde figuren niet moeten worden beschouwd als een vervanging voor het oordeelsvermogen of de technische correctheid van de auteur.