💬 NLP

Text2Arch: A Dataset for Generating Scientific Architecture Diagrams from Natural Language Descriptions

Ce papier présente Text2Arch, un nouveau jeu de données ouvert contenant des diagrammes d'architecture scientifique, leurs descriptions textuelles et du code DOT, permettant d'entraîner des modèles de langage qui surpassent les approches existantes pour générer des diagrammes à partir de texte.

Auteurs originaux : Shivank Garg, Sankalp Mittal, Manish Gupta

Publié 2026-04-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shivank Garg, Sankalp Mittal, Manish Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'expliquer comment fonctionne une usine complexe ou un réseau de métro uniquement avec des mots. C'est long, confus, et souvent, le lecteur perd le fil. Maintenant, imaginez un magicien capable de transformer instantanément ces paragraphes de texte en un dessin technique parfait, clair et précis.

C'est exactement ce que propose l'article TEXT2ARCH, présenté à la conférence ICLR 2026. Voici une explication simple de leur travail, avec quelques images pour aider à visualiser.

1. Le Problème : Le "Casse-tête" des Dessins Techniques

Aujourd'hui, si un ingénieur ou un chercheur veut créer un schéma (un "diagramme d'architecture") pour expliquer son travail, il doit souvent le dessiner à la main ou utiliser des logiciels complexes. C'est comme essayer de construire une maison en regardant uniquement une description écrite de la maison : c'est fastidieux et sujet aux erreurs.

Les ordinateurs sont très forts pour générer de belles images (comme des paysages ou des portraits) à partir de texte, mais ils sont très mauvais pour dessiner des schémas techniques. Pourquoi ? Parce qu'un schéma n'est pas juste une image jolie ; c'est une structure logique. Si vous demandez à un ordinateur de dessiner un circuit électrique, il ne doit pas juste faire des lignes jolies, il doit respecter les connexions exactes, sinon le circuit ne fonctionne pas.

2. La Solution : Le "Traducteur Secret" (Le Code DOT)

Au lieu de demander à l'ordinateur de "peindre" directement l'image (ce qui donne souvent des résultats flous ou illisibles), les auteurs de TEXT2ARCH ont eu une idée brillante : demander à l'ordinateur d'écrire le "plan de construction" d'abord.

Imaginez que vous voulez construire un meuble en kit.

L'approche classique (Image directe) : L'ordinateur essaie de dessiner le meuble final. Souvent, les pieds sont tordus ou les vis manquent.
L'approche TEXT2ARCH : L'ordinateur écrit d'abord la liste des pièces et les instructions d'assemblage (le code DOT). Ensuite, un logiciel standard (un "ouvrier" très précis) lit ces instructions et assemble le meuble parfaitement.

Dans ce papier, le "code DOT" est un langage simple qui dit : "Le bloc A est connecté au bloc B, et le bloc B va vers le bloc C".

3. Le Grand Trésor : Le Dataset TEXT2ARCH

Le plus gros problème pour entraîner un ordinateur à faire cela, c'est qu'il n'existait pas assez d'exemples pour lui apprendre. C'est comme essayer d'apprendre à un enfant à cuisiner sans jamais lui montrer de recettes.

Les auteurs ont donc créé TEXT2ARCH, une énorme bibliothèque de 75 000 exemples.

L'ingrédient : Une description textuelle d'un système (ex: "Voici comment fonctionne ce réseau de neurones...").
La recette : Le code DOT correspondant (les instructions de construction).
Le plat fini : L'image du schéma.

Ils ont utilisé des outils intelligents (comme GPT-4o et des détecteurs d'images) pour nettoyer et organiser ces données, créant ainsi le premier "cours de cuisine" complet pour les schémas scientifiques.

4. L'Entraînement : De l'Écolier au Maître

Les chercheurs ont pris plusieurs modèles d'intelligence artificielle (des "élèves" de taille moyenne) et les ont entraînés avec ce nouveau trésor de données.

Avant l'entraînement : Les modèles essayaient de deviner le schéma en regardant quelques exemples (ce qu'on appelle l'apprentissage "in-context"). C'était comme essayer de deviner les règles d'un jeu en regardant juste une partie. Les résultats étaient moyens.
Après l'entraînement : Une fois "nourris" avec les 75 000 exemples, ces modèles sont devenus des experts. Ils ont appris à comprendre la logique derrière les mots pour générer le code parfait.

Le modèle gagnant, DeepSeek-7B, s'est révélé être un véritable chef d'orchestre, surpassant même des géants comme GPT-4o (utilisé sans entraînement spécial) et d'autres systèmes existants.

5. Pourquoi c'est important ?

C'est comme si on avait donné aux ingénieurs, aux professeurs et aux chercheurs un super-assistant capable de :

Transformer un brouillon écrit en un schéma professionnel en une seconde.
Mettre à jour automatiquement un dessin quand le texte change (plus besoin de redessiner tout le schéma à la main).
Rendre l'apprentissage plus visuel et moins abstrait pour les étudiants.

En Résumé

Les auteurs de TEXT2ARCH ont résolu le problème du "dessin technique par ordinateur" en changeant la méthode : au lieu de dessiner directement, ils font écrire le plan de construction par l'IA. Grâce à leur nouvelle base de données géante, ils ont créé des modèles capables de transformer n'importe quelle description complexe en un schéma clair, précis et logique, comme par magie.

C'est une avancée majeure pour rendre la communication scientifique plus fluide, plus rapide et moins sujette aux erreurs de compréhension.

1. Problématique et Contexte

La communication de conceptions de systèmes complexes ou de processus scientifiques via le seul texte est souvent inefficace et sujette à l'ambiguïté. Bien que les modèles de génération d'images par diffusion (comme Stable Diffusion) aient fait des progrès majeurs, ils échouent à générer des diagrammes d'architecture scientifique précis. Ces modèles souffrent de limitations structurelles : ils peinent à capturer des structures logiques explicites, produisent souvent du texte illisible dans les images et ne permettent pas une édition facile.

Le défi principal réside dans la génération de diagrammes à haute fidélité sémantique et structurelle à partir de descriptions textuelles. Contrairement aux images naturelles, les diagrammes nécessitent une cohérence stricte des nœuds, des arêtes dirigées et des étiquettes. Jusqu'à présent, l'absence de grands ensembles de données propres et d'outils de modélisation robustes a freiné les progrès dans ce domaine spécifique.

2. Méthodologie

L'approche proposée, TEXT2ARCH, ne génère pas directement l'image finale, mais produit un code intermédiaire (langage DOT) qui est ensuite compilé pour générer le diagramme visuel. Cette stratégie permet une meilleure précision structurelle et une facilité d'édition.

A. Curation de l'Ensemble de Données (TEXT2ARCH)

L'élément central du travail est la création d'un ensemble de données à grande échelle, TEXT2ARCH, contenant 75 127 échantillons. Chaque échantillon est un triplet aligné :

Image : Un diagramme d'architecture scientifique.
Description textuelle : Une description naturelle propre et détaillée.
Code DOT : La représentation graphique structurée (Graphviz).

Le processus de curation en trois étapes :

Classification : Entraînement d'un classifieur (basé sur CLIP) pour distinguer les diagrammes d'architecture des autres types de figures scientifiques (graphiques, tableaux) à partir des ensembles de données Paper2Fig, ACL-Fig et SciFig.
Génération de Code DOT : Utilisation d'une approche hybride combinant :
- L'OCR (Florence-2) et la détection d'objets pour extraire les nœuds et les flèches.
- L'appel à GPT-4o pour générer une première version du code (DOT1) et une version affinée (DOT3) en corrigeant les erreurs de connectivité et d'étiquetage.
Raffinement des Descriptions : Récupération des paragraphes pertinents des articles scientifiques et utilisation de GPT-4o pour générer des descriptions (Desc3) plus complètes et précises que les légendes originales.

L'ensemble est divisé en ensembles d'entraînement (60 519), de validation (7 565) et de test (7 043), stratifiés par complexité (nombre de nœuds : facile, moyen, difficile).

B. Modèles et Entraînement

Les auteurs ont évalué plusieurs approches :

Inférence Zero-shot et Few-shot : Utilisation de GPT-4o et de modèles de langue (LLM) plus petits (Llama-3-8B, Qwen2-7B, DeepSeek-7B) avec des exemples en contexte.
Affinement (Fine-tuning) : Entraînement supervisé (SFT) des versions de base des modèles LLM (7B-8B paramètres) spécifiquement sur la tâche de conversion Texte $\to$ Code DOT.

C. Métriques d'Évaluation

Au lieu d'évaluer uniquement l'image générée, l'évaluation se concentre sur la qualité du code DOT et la structure du graphe :

Métriques NLG : ROUGE-L, CodeBLEU, Distance d'édition (Levenshtein), chrF.
Métriques Graphiques : Précision/Rappel/F1 des nœuds (via l'algorithme hongrois pour l'appariement optimal), PR-AUC, et similarité de Jaccard pour les arêtes.

3. Résultats Clés

Les expériences menées sur l'ensemble de données TEXT2ARCH montrent des résultats significatifs :

Supériorité du Fine-tuning : Les modèles affines surpassent largement les approches in-context learning (few-shot) et les modèles de base. En particulier, le modèle DeepSeek-7B affiné obtient les meilleurs résultats.
- Sur l'ensemble de test manuel, DeepSeek-7B atteint un ROUGE-L de 55,2 et un CodeBLEU de 49,3, dépassant nettement DiagramAgent (ROUGE-L 49,1) et GPT-4o (ROUGE-L 28,2).
- Les métriques graphiques montrent également une amélioration majeure : DeepSeek-7B atteint un F1 des nœuds de 69,4 et un F1 des arêtes de 49,1 sur l'ensemble manuel, contre des scores bien inférieurs pour les autres modèles.
Qualité du Pipeline de Données : La version raffinée du code (DOT3), obtenue par la combinaison de la détection d'objets et de l'affinement par GPT, est nettement supérieure aux versions brutes (DOT1, DOT2), confirmant l'efficacité de la stratégie de curation.
Évaluation Humaine : Dans une étude de préférence humaine, les sorties du modèle TEXT2ARCH (DeepSeek-7B) sont préférées dans 71,6 % des cas par rapport à DiagramAgent, confirmant une meilleure cohérence sémantique et structurelle.

4. Contributions Principales

Nouvelle Tâche : Introduction de la tâche de génération de diagrammes d'architecture scientifique via un code intermédiaire (DOT) à partir de descriptions textuelles.
Ensemble de Données TEXT2ARCH : Publication d'un benchmark à grande échelle de plus de 75 000 triplets (Image-Texte-Code) propres et alignés, avec des catégories de difficulté.
Modèles Performants : Démonstration que l'affinement de petits modèles de langue (7B-8B) permet d'atteindre des performances comparables, voire supérieures, aux modèles propriétaires massifs (comme GPT-4o) pour cette tâche spécifique, tout en étant plus efficaces et accessibles.
Cadre d'Évaluation Rigoureux : Proposition d'une métrique d'évaluation hybride combinant des mesures de similarité textuelle et des métriques graphiques avancées pour évaluer la fidélité structurelle.

5. Signification et Impact

Ce travail comble un vide critique dans le domaine de la compréhension et de la génération de documents scientifiques. En fournissant un ensemble de données de haute qualité et des modèles performants, TEXT2ARCH ouvre la voie à :

L'automatisation de la documentation technique et des articles de recherche.
La visualisation rapide d'architectures d'entreprise complexes.
La création de contenu éducatif visuel à partir de textes de cours.

La démonstration que des modèles ouverts et légers peuvent surpasser les approches zero-shot via un affinement ciblé souligne l'importance de la spécialisation des modèles pour des tâches structurées complexes. Les auteurs ont rendu le code, les données et les modèles publics, favorisant ainsi la recherche future dans ce domaine émergent.