🤖 AI

SciFig: Towards Automating Editable Figure Generation for Scientific Papers

L'article présente SciFig, un cadre multi-agents de bout en bout qui surmonte le compromis entre qualité visuelle et éditabilité en générant automatiquement des figures de méthodologie de haute qualité et entièrement éditables à partir de textes scientifiques, ainsi qu'un nouveau benchmark (SciFig-Bench) et un protocole d'évaluation (SciFig-Eval) pour valider sa performance supérieure.

Auteurs originaux : Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Siyuan Huang, Yifan Zhou, Yutong Gao, Zi Yin, Juyang Bai, Xinxin Liu, Rama Chellappa, Chun Pong Lau, Cheng Peng, Sayan Nag, Shraman Pramanick

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez en train d'écrire la recette d'un nouveau plat complexe. Vous avez noté toutes les étapes par écrit, mais vous savez que pour vraiment aider un chef à comprendre comment les ingrédients passent du bol au fourneau, il vous faut une image.

Dans le monde de la recherche scientifique, ces « images » sont appelées figures de méthodologie. Ce sont les diagrammes qui montrent comment un nouveau programme informatique ou une nouvelle méthode scientifique fonctionne réellement.

Le Problème :
Actuellement, réaliser ces diagrammes, c'est comme essayer de dessiner un chef-d'œuvre avec un crayon de couleur tout en portant des maniques.

Le problème du « Crayon » : Si vous utilisez des outils de dessin classiques (comme PowerPoint), vous pouvez modifier l'image facilement, mais elle semble souvent rigide, plate et un peu ennuyeuse — comme un croquis de bonhomme bâton.
Le problème des « Maniques » : Si vous utilisez des générateurs d'images par IA sophistiqués pour rendre le tout beau et réaliste, vous obtenez une image de haute qualité, mais c'est comme une photographie. Si vous voulez changer juste un ingrédient ou déplacer une flèche, vous ne pouvez pas simplement cliquer et faire glisser ; vous devez jeter toute l'image et recommencer à zéro.

La Solution : SciFig
Les auteurs de cet article ont conçu un nouveau système appelé SciFig. Considérez SciFig comme une équipe de quatre chefs spécialisés travaillant ensemble pour construire un diagramme personnalisé, modifiable et magnifique à partir de votre recette écrite.

Voici comment l'équipe travaille :

Le Planificateur (L'Architecte) : D'abord, cet agent lit votre texte et détermine le « plan ». Il décide : « D'accord, cette partie va à gauche, cette partie va à droite, et ces deux-là doivent être reliées par une grande flèche. » Il ne dessine rien encore ; il établit simplement le plan.
L'Agent de Mise en Page (Le Bâtisseur) : Cet agent prend le plan et construit l'armature. Il crée un squelette structuré (utilisant un format numérique appelé XML) qui maintient les pièces en place. Comme il s'agit d'un squelette et non d'une peinture finie, vous pouvez encore déplacer les murs facilement.
L'Agent de Composants (Le Décorateur) : Maintenant, cet agent ajoute les détails. Il ajoute les éléments « sophistiqués » — comme des textures réalistes, des couleurs et des icônes — rendant le diagramme professionnel et riche. Mais il attache ces décorations au squelette, afin qu'elles restent modifiables.
L'Agent de Feedback (Le Critique) : Enfin, cet agent examine le résultat. Il peut écouter un humain dire : « Déplace cette boîte vers le haut », ou utiliser ses propres « yeux » (un modèle de vision par IA) pour dire : « Hé, ces deux flèches se croisent maladroitement, rectifions cela ». Il peaufine ensuite le diagramme jusqu'à ce qu'il soit parfait.

Le Résultat :
Le produit final est un diagramme qui semble aussi bien dessiné qu'un expert humain, mais qui reste entièrement modifiable. Vous pouvez cliquer sur une boîte, changer une étiquette ou déplacer une flèche sans tout gâcher. Le système réalise cela en environ 10 minutes.

Comment ils l'ont testé (SciFig-Bench & SciFig-Eval)
Pour prouver que leur système fonctionne, l'équipe ne s'est pas contentée de deviner. Ils ont :

Construit une bibliothèque (SciFig-Bench) : Ils ont rassemblé 435 diagrammes réels de haute qualité provenant de publications majeures en informatique. Ceux-ci ont servi de « réponses de référence ».
Créé une grille d'évaluation (SciFig-Eval) : Au lieu de demander simplement à une IA : « Est-ce que c'est joli ? », ils ont créé une liste de contrôle stricte en 4 points :
1. Complétude : Est-ce que tous les éléments importants sont inclus ?
2. Fidélité : Est-ce que cela ressemble au dessin original de l'auteur ?
3. Qualité : Le texte est-il clair et la mise en page logique ?
4. Design : Les couleurs et l'espacement sont-ils agréables à l'œil ?

Le Verdict :
Lorsqu'ils ont comparé SciFig à d'autres méthodes (y compris les générateurs d'images par IA simples et d'autres systèmes à étapes multiples), SciFig a gagné dans toutes les catégories.

Il a produit des diagrammes plus précis et complets.
Ils étaient plus beaux et plus faciles à lire.
Plus important encore, lors d'un test en aveugle réalisé auprès de 60 experts humains, SciFig a été choisi comme étant le meilleur 81 % du temps, surpassant même les diagrammes originaux dessinés par les auteurs eux-mêmes.

En bref :
SciFig est un outil qui automatise le travail difficile de dessin des diagrammes scientifiques. Il combine la modificabilité d'un outil de dessin numérique avec la beauté visuelle d'un générateur d'images par IA, garantissant que les scientifiques puissent communiquer leurs idées clairement sans passer des heures à lutter avec des logiciels de dessin.

Résumé Technique : SciFig

Énoncé du Problème

Les figures de méthodologie de haute qualité sont essentielles à la communication scientifique, servant à distiller des méthodes, des composants et des flux d'informations complexes en diagrammes clairs et révisables. Cependant, la création de ces figures reste un processus manuel et chronophage. Les approches automatisées existantes sont confrontées à un compromis fondamental :

Approches structurées/éditables : Les méthodes basées sur TikZ ou SVG produisent des sorties éditables mais manquent souvent de la richesse visuelle, de la texture et de la variation stylistique des illustrations conçues par l'humain.
Approches de génération d'images : Les modèles exploitant les VLM (modèles de langage de vision) et les générateurs d'images produisent des images raster polies et prêtes pour la publication, mais génèrent des fichiers non éditables où même des révisions mineures nécessitent une régénération complète.

De plus, l'évaluation des figures scientifiques générées est complexe. Les protocoles d'évaluation actuels tendent à réduire une qualité multidimensionnelle (exactitude, complétude, lisibilité, design) à un score numérique unique provenant d'un seul VLM, ce qui introduit un biais et une sensibilité à la formulation des prompts.

Méthodologie : Le Framework SciFig

Les auteurs introduisent SciFig, un framework multi-agents de bout en bout conçu pour générer des figures de méthodologie visuellement riches et entièrement éditables à partir de textes scientifiques. Le système comble le fossé entre l'expressivité du raster et l'éditabilité symbolique en produisant des figures XML qui peuvent être éditées dans des outils de diagramme standards (ex. : draw.io, PowerPoint).

Architecture du Système

SciFig décompose le processus de génération en quatre étapes, chacune gérée par un agent dédié :

Agent de Planification (Planning Agent) : Analyse le texte de la méthodologie ( $T$ ) et la description de la figure ( $D$ ) pour produire un plan textuel ( $P$ ). Ce plan spécifie la direction de la mise en page, le rapport d'aspect, les étapes du pipeline, les regroupements fonctionnels et les connexions internes, séparant le quoi représenter du où les éléments doivent apparaître.
Agent de Mise en Page (Layout Agent) : Convertit le plan $P$ en une mise en page XML initiale éditable ( $L_0$ ). Cette mise en page encode les positions, les tailles et les connexions en utilisant une hiérarchie à trois niveaux (modules, sous-groupes, composants de base) et utilise des flèches épaisses/fines pour dénoter les flux inter-modules et intra-modules.
Agent de Composants (Component Agent) : Popule la mise en page avec des éléments visuels ( $V$ $V$ ). Il emploie une stratégie de rendu hybride :
- Mode PNG : Pour les composants visuellement complexes (ex. : cartes thermiques), un modèle de génération d'images crée un élément riche intégré sous forme d'image base64 au sein du XML.
- Mode Textbox : Pour les opérations nommées et les variables, des rectangles étiquetés et stylisés sont générés nativement au format vectoriel.
Agent de Feedback (Feedback Agent) : Affine la figure via des boucles itératives ( $K$ $K$ cycles). Il supporte deux modes :
- Human-in-the-loop : Les chercheurs fournissent des éditions directes ou des instructions en langage naturel.
- VLM-in-the-loop : Un VLM critique la figure rendue pour la mise en page, l'alignement et la clarté, suggérant des révisions.

La sortie finale est un fichier XML structuré représentant $F = (V, L, E)$ , permettant aux composants individuels d'être repositionnés ou restylés sans régénérer l'intégralité de la figure.

Contributions Clés

1. Framework SciFig

Un système multi-agents qui génère des figures de méthodologie équilibrant richesse visuelle et pleine éditabilité. Il supporte des boucles de rétroaction humaine et VLM pour le raffinement.

2. SciFig-Bench

Un benchmark vérifié par l'humain composé de 435 figures de méthodologie et de leurs textes sources/légendes correspondants. Le jeu de données couvre 37 domaines centrés sur l'IA/ML à travers 15 conférences de premier rang (ex. : NeurIPS, ICML, CVPR). Un ensemble supplémentaire de 1 784 figures a été utilisé pour développer les rubriques d'évaluation.

3. SciFig-Eval

Un protocole d'évaluation à quatre axes conçu pour surmonter les limites de l'évaluation par un seul score VLM :

Complétude et Exactitude : Utilise le Questionnement Visuel (VQA) inter-modèles avec 50 questions oui/non pour évaluer la couverture de l'information.
Fidélité basée sur la Référence : Mesure la similitude visuelle (DINOv2), la pertinence figure-texte (SigLIP2) et la précision du texte OCR (score F1) par rapport aux références dessinées par les auteurs.
Qualité de Contenu basée sur des Rubriques : Emploie 20 questions binaires dérivées de figures réelles pour évaluer l'exactitude technique, la clartité, la cohérence et la lisibilité.
Qualité de Design Perceptuelle : Utilise 8 heuristiques déterministes (ex. : contraste WCAG, ratio données-encre, uniformité de l'espace blanc) pour évaluer les propriétés de design de bas niveau sans biais de référence.

Résultats Expérimentaux

Les auteurs ont évalué SciFig par rapport à sept baselines, incluant des générateurs d'images à agent unique (GPT-5.4-Image, Qwen-Image, Nano Banana Pro) et des pipelines agentiques (Paper2Poster, AutoFigure, etc.).

Performance : SciFig a obtenu les scores les plus élevés sur les quatre axes de SciFig-Eval. Notamment, il a surpassé la meilleure baseline (PaperBanana) de 0,4 point en Complétude & Exactitude et de 0,4 point en Qualité de Contenu basée sur les Rubriques.
Éditabilité : Contrairement aux générateurs raster, SciFig produit des figures XML où les étiquettes et les symboles restent éditables et lisibles, évitant le flou ou la corruption courants dans les sorties de génération d'images.
Évaluation Humaine : Dans une étude comparative en aveugle avec 60 participants (10 000 comparaisons), SciFig arrive en tête avec un classement Elo de 1327 et un taux de victoire de 81,4 %, surpassant même les figures originales dessinées par les auteurs (GT Figures).
Efficacité : Le système génère des figures éditables en environ 10 minutes en moyenne.
Ablation : L'étude a confirmé que l'Agent de Mise en Page et l'Agent de Feedback améliorent significativement la cohérence structurelle et la qualité globale. Augmenter les cycles de raffinement CoT ( $K$ ) de 1 à 4 n'a produit que des rendements décroissants après le troisième cycle.

Signification et Revendications

L'article affirme que SciFig représente une étape significative vers l'automatisation de la communication visuelle scientifique en résolvant le compromis entre éditabilité et qualité visuelle. En décomposant la génération de figures en planification, mise en page, rendu et raffinement, le framework produit des figures qui sont non seulement fidèles au texte source, mais aussi adaptables à la nature itérative de la publication scientifique.

Les auteurs soulignent que SciFig est conçu principalement pour les figures de méthodologie au sein des domaines de l'IA/ML. Bien que des exemples qualitatifs suggèrent une généralisation aux diagrammes de présentation (teaser diagrams) et aux graphiques statistiques, les auteurs déclarent explicitement qu'ils n'ont pas testé systématiquement ces autres types de figures. De même, le benchmark est limité aux conférences d'IA/ML, et les auteurs reconnaissent que les conventions visuelles dans d'autres domaines scientifiques (ex. : chimie, biologie) peuvent nécessiter des adaptations spécifiques au domaine.

Le travail positionne SciFig comme un outil d'aide à la rédaction destiné à soutenir les chercheurs, particulièrement ceux n'ayant pas de formation spécialisée en design, tout en maintenant le contrôle de l'auteur sur le résultat final. Les auteurs avertissent que les figures générées ne doivent pas être considérées comme un substitut au jugement de l'auteur ou à l'exactitude technique.