💻 computer science

LiveFigure: Generating Editable Scientific Illustration with VLM Agents

LiveFigure est un cadre agentique piloté par des modèles vision-langage qui imite le flux de travail en plusieurs étapes des chercheurs humains pour générer des illustrations scientifiques vectorisées et entièrement modifiables via des scripts PowerPoint, surpassant nettement les références existantes en termes de préparation à la publication et de préférence humaine.

Auteurs originaux : Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un scientifique venant de découvrir une idée brillante. Vous devez dessiner un diagramme pour l'expliquer au monde. Autrefois, vous auriez dû passer des heures à faire glisser manuellement des boîtes, tracer des flèches et ajuster les polices dans des logiciels comme PowerPoint ou Illustrator. C'était fastidieux, comme construire une maison brique par brique avec une pince.

Récemment, les générateurs d'images par IA (comme ceux qui créent de jolies images à partir de texte) ont promis de le faire pour vous. Mais ils présentaient un défaut majeur : ils peignaient l'image sur une toile, puis la scellaient avec du vernis. Une fois l'image créée, vous ne pouviez déplacer une seule boîte ou corriger une faute de frappe sans tout repeindre. Si vous vouliez déplacer la boîte « Somme pondérée » vers le bas, l'IA tentait simplement de redessiner l'image entière, souvent en déformant le reste du dessin.

LiveFigure est un nouveau système qui change la donne. Au lieu de peindre une image statique, il agit comme un architecte ultra-intelligent et hyper-organisé qui construit un modèle entièrement éditable de votre diagramme.

Voici comment cela fonctionne, décomposé en trois étapes simples :

1. La phase « Plan » (Planification visuelle)

Avant de construire quoi que ce soit, un architecte humain examine des bâtiments réussis pour voir ce qui fonctionne. LiveFigure fait de même. Il analyse des milliers de diagrammes scientifiques de haute qualité issus des meilleures revues pour apprendre les « règles de l'art ».

L'analogie : Imaginez que vous construisez une cabane dans un arbre. Au lieu de deviner où placer les branches, vous regardez des photos des meilleures cabanes jamais construites. Vous apprenez que l'échelle se place généralement à gauche et que la fenêtre fait face au soleil. LiveFigure utilise cette « mémoire visuelle » pour esquisser un plan mental de votre diagramme avant d'écrire la moindre ligne de code.

2. La phase « Construction » (Génération procédurale)

C'est ici que LiveFigure se distingue des autres IA. Au lieu de peindre des pixels, il écrit du code (plus précisément, des scripts Python qui communiquent avec Microsoft PowerPoint).

L'analogie : Pensez aux autres IA comme à un peintre qui mélange des couleurs sur une palette. LiveFigure est un charpentier robotisé disposant d'une boîte à outils remplie de pièces parfaites préfabriquées. Il ne tente pas de « deviner » comment dessiner une boîte ; il utilise un outil pré-testé appelé add_box(). Il ne devine pas comment dessiner une flèche ; il utilise un outil appelé add_connector().
L'astuce de l'« Expérience » : Parfois, même les robots font des erreurs (comme essayer d'utiliser un marteau comme tournevis). LiveFigure tient un « journal des erreurs ». Si il tente quelque chose qui a fait planter le programme auparavant, il se souvient : « Ne jamais recommencer cela ! » Cela l'aide à écrire du code qui fonctionne dès la première tentative.

3. La phase « Contrôle qualité » (Raffinement ciblé)

Une fois que le robot a construit le diagramme, un « Inspecteur visuel » (une autre IA) examine le résultat.

L'analogie : Imaginez que le charpentier construit une étagère, mais que l'inspecteur remarque qu'un tournevis dépasse ou qu'une étagère est légèrement de travers. Au lieu de démonter toute l'étagère et de recommencer, l'inspecteur pointe le tournevis spécifique et dit : « Tourne celui-ci dans le sens des aiguilles d'une montre. »
LiveFigure effectue ces ajustements minuscules et précis sur le code. Il corrige la flèche de travers ou la boîte de texte qui se superpose sans toucher au reste du diagramme.

Le résultat : Un diagramme « Lego »

La sortie finale n'est pas une image plate (comme un JPEG). C'est un fichier PowerPoint où chaque boîte, chaque flèche et chaque mot est un objet distinct et déplaçable.

Pourquoi cela compte : Si vous voulez changer la couleur d'une boîte, vous cliquez dessus et modifiez la couleur. Si vous voulez déplacer toute une section, vous la glissez, et les flèches s'étirent et se courbent automatiquement pour la suivre. C'est comme construire avec des briques Lego plutôt que de couler du béton.

Ce que l'étude a révélé

Les chercheurs ont testé LiveFigure contre les meilleurs modèles d'IA générant des images (comme « Nano Banana » de Google et « GPT-Image » d'OpenAI) ainsi que contre des outils de codage traditionnels.

Le test « Réparation » : Ils ont demandé à des humains de prendre les diagrammes générés par l'IA et de les rendre prêts pour une publication scientifique.
- Autres IA : L'humain devait effectuer environ 30+ modifications pour corriger le désordre, et même alors, seuls 24 % des diagrammes étaient suffisamment bons pour être utilisés.
- LiveFigure : L'humain n'avait besoin d'effectuer qu'environ 17 modifications (principalement de petits ajustements), et 80 % des diagrammes étaient prêts à être publiés immédiatement.
Préférence humaine : Lorsque des personnes voyaient deux diagrammes côte à côte (un de LiveFigure, un de la concurrence), elles choisissaient LiveFigure 60 % du temps car il semblait plus professionnel et plus logique.

En bref

LiveFigure ne se contente pas de « dessiner » une image ; il construit un diagramme en utilisant un processus intelligent et étape par étape qui imite la façon dont les experts humains réfléchissent. Il crée un diagramme que vous pouvez réellement éditer, corriger et perfectionner, transformant la tâche difficile de l'illustration scientifique en quelque chose qui ressemble à jouer avec des Legos numériques.

Résumé Technique : LiveFigure

Énoncé du Problème
Les illustrations scientifiques sont essentielles pour communiquer des méthodologies complexes et des cadres conceptuels, mais leur création reste un processus intensif en main-d'œuvre, exigeant une connaissance approfondie du domaine et une maîtrise des outils de conception professionnels. Bien que les modèles récents de génération d'images aient fait progresser l'édition basée sur des invites, ils génèrent fondamentalement des images matricielles statiques basées sur des pixels. Ce paradigme présente deux limitations principales pour la publication scientifique :

Manque d'Éditabilité : Les sorties matricielles traitent les figures comme des blocs visuels indivisibles. Corriger de légères imprécisions structurelles, des erreurs d'orthographe ou des désalignements de mise en page nécessite une régénération complète via des invites en langage naturel itératives, ce qui ne prend pas en charge le processus d'édition fine et vérifiable essentiel à la rédaction scientifique.
Incompatibilité de Format : Les meilleures revues académiques (par exemple, Nature, Science) imposent des formats vectoriels pour la soumission afin d'assurer une mise à l'échelle indépendante de la résolution et une éditabilité native. Les modèles génératifs existants ne peuvent pas produire de graphiques vectoriels, et les solutions de contournement actuelles (par exemple, la décomposition en calques ou la génération basée sur du code) restent soit basées sur des pixels, soit produisent des sorties visuellement simplistes et non modifiables.

Méthodologie : Construction Procédurale Inspirée de la Cognition
Les auteurs proposent LiveFigure, un cadre agentique piloté par des modèles Vision-Langage (VLM) qui abandonne la génération de pixels de bout en bout au profit d'un paradigme de « Construction Procédurale Inspirée de la Cognition ». Cette approche imite le flux de travail cognitif par étapes des experts humains : récupération de références, conceptualisation de plans, assemblage d'actifs et affinage basé sur un retour visuel. Le cadre fonctionne à travers trois étapes séquentielles :

Planification Visuelle par Induction Antérieure ( $\Psi_{plan}$ ) :
- Le système construit une base de connaissances de figures méthodologiques de haute qualité issues de conférences de premier plan (ICLR, NeurIPS, ICML).
- Un agent de récupération fetch des figures de référence sémantiquement pertinentes basées sur le texte méthodologique d'entrée.
- Un VLM analyse ces références pour distiller des priors de conception et des structures de mise en page, générant un plan structurel adapté et une maquette visuelle.
- Un module de génération d'actifs synthétise des icônes cohérentes avec le style pour des entités complexes en utilisant une stratégie de génération par lots basée sur une grille.
Génération Procédurale de Figures via Compétences et Expérience ( $\Psi_{assemble}$ ) :
- LiveFigure sélectionne Microsoft PowerPoint comme support de sortie en raison de son omniprésence dans la recherche, de sa structure XML ouverte et de son accessibilité programmatique via python-pptx.
- Au lieu de solliciter du code brut, le système utilise une Bibliothèque de Compétences Standardisée ( $S$ ) contenant des fonctions sémantiques de haut niveau pré-validées (par exemple, routage des connecteurs, composition imbriquée texte-forme).
- Un mécanisme d'Injection d'Expérience intègre des contraintes de débogage accumulées (contraintes négatives) pour prévenir les hallucinations d'API connues et les erreurs de paramètres.
- Une boucle d'exécution auto-corrective gère les erreurs d'exécution en renvoyant les traces de pile au modèle pour un raffinement itératif du code jusqu'à la production d'un script valide.
Affinage Ciblé via Diagnostics Visuels ( $\Psi_{refine}$ ) :
- Pour combler le fossé entre la logique du code et la perception visuelle, un VLM « critique visuel » inspecte la figure rendue.
- Il identifie des défauts subtils invisibles pour la logique du code (par exemple, occlusion d'éléments, désalignement, style incohérent) et génère une liste structurée de problèmes actionnables.
- Le système applique des mises à jour incrémentales au niveau du code pour résoudre ces problèmes spécifiques, en itérant jusqu'à ce que la figure réponde aux normes de publication.

Contributions Clés

Paradigme Novel : Introduction de la « Construction Procédurale Inspirée de la Cognition », qui déplace la génération de figures scientifiques de la manipulation de pixels vers un flux de travail piloté par le code et par étapes, garantissant une éditabilité inhérente.
Cadre LiveFigure : Un système multi-agents pratique qui produit des fichiers sources PowerPoint entièrement modifiables et vectorisés, surmontant les limitations des modèles basés sur des pixels et la rigidité des outils traditionnels basés sur du code.
Validation Empirique : Des expériences extensives démontrant que le cadre génère des figures nécessitant une intervention manuelle minimale pour atteindre une préparation à la publication.

Résultats Expérimentaux
Le cadre a été évalué sur un ensemble de données de 300 figures schématiques scientifiques dérivées de papiers acceptés à ICLR 2024, NeurIPS 2024 et ICML 2024.

Éditabilité : LiveFigure a atteint un taux de préparation à la publication de 80 % avec une médiane de seulement 17 modifications manuelles (Distance d'Édition). Cela surpasse significativement la meilleure ligne de base, NanoBanana (Gemini-3-Pro-Image), qui n'a atteint qu'un taux de 24 %.
Préférence Humaine : Dans des comparaisons appariées en double aveugle, LiveFigure a obtenu un taux de victoire de 60 % contre NanoBanana et un taux de victoire de 69 % contre GPT-Image-1.5, tous les intervalles de confiance dépassant strictement le seuil de 50 %.
Métriques de Qualité : LiveFigure a démontré une performance supérieure en Fidélité du Contenu (Précision : 8,29, Complétude : 8,16 sous entrée V2) par rapport aux générateurs matriciels, tout en maintenant des scores de Design Visuel compétitifs. Il a surpassé les outils basés sur du code (par exemple, Matplotlib, Graphviz) en qualité esthétique et en flexibilité de mise en page.
Études d'Ablation : La suppression de la Bibliothèque de Compétences a provoqué une chute catastrophique de l'exécutabilité du code (de 83,5 % à 40,0 %), tandis que la suppression du module d'Expérience a augmenté la distance d'édition médiane d'environ 4 fois, confirmant la nécessité des deux composants.

Signification et Revendications
L'article revendique que LiveFigure adresse fondamentalement le « fossé de l'éditabilité » dans l'illustration scientifique en découplant la génération de la manipulation de pixels. En exploitant PowerPoint comme format vectoriel intermédiaire modifiable, le système démocratise la création de figures de haute qualité, abaissant la barrière technique pour les chercheurs de toutes disciplines. Les auteurs affirment que leur approche permet une collaboration fluide humain-IA, où l'IA gère les tâches structurelles et de mise en page spatiale intensives en main-d'œuvre, laissant l'affinage esthétique final à l'utilisateur. Le travail se positionne comme un agent spécialisé transformant des designs de recherche abstraits en figures modifiables conformes aux normes de publication, comblant le fossé entre l'assistance à la recherche automatisée et les normes visuelles rigoureuses de la publication académique.