Text2Arch: A Dataset for Generating Scientific Architecture Diagrams from Natural Language Descriptions

1. Il Problema

La comunicazione di design di sistemi complessi o processi scientifici attraverso il solo testo è spesso inefficiente e soggetta ad ambiguità. Sebbene i modelli di linguaggio di grandi dimensioni (LLM) e i modelli di diffusione (text-to-image) abbiano fatto progressi significativi nella generazione di immagini naturali, faticano a generare diagrammi di architettura scientifica con alta fedeltà semantica.
Le limitazioni principali dei metodi esistenti includono:

• Mancanza di allineamento strutturale: I modelli generativi tendono a produrre diagrammi con testo illeggibile, elementi visivi disorganizzati e strutture logiche errate.
• Difficoltà di modifica: Le immagini generate sono difficili da editare o raffinare.
• Assenza di dati: Non esisteva un dataset open-access su larga scala che accoppiasse descrizioni testuali, immagini di architettura e il loro codice strutturato corrispondente, rendendo impossibile l'addestramento di modelli specifici per questo compito.

L'obiettivo del lavoro è colmare questo divario sviluppando un sistema in grado di tradurre descrizioni testuali in diagrammi di architettura precisi e semanticamente fedeli.

2. Metodologia

Il cuore dell'approccio proposto è la generazione di un codice intermedio (DOT) invece della generazione diretta dell'immagine. Il codice DOT (Graphviz) viene poi compilato per produrre il diagramma visivo. Questo approccio garantisce una struttura logica rigorosa e facilità di modifica.

A. Creazione del Dataset TEXT2ARCH

Gli autori hanno curato un dataset su larga scala composto da 75.127 campioni, derivati principalmente dal dataset Paper2Fig. Il processo di curatela ha coinvolto tre fasi principali:

1. Classificazione Architettura vs. Non-Architettura: È stato addestrato un classificatore (il migliore è stato CLIP) per filtrare le immagini scientifiche, selezionando solo quelle che rappresentano design strutturali, flussi di dati o architetture di sistemi (es. reti neurali, microservizi).
2. Generazione del Codice DOT: Poiché il dataset originale non conteneva codice, è stata implementata una pipeline ibrida per generare il ground truth DOT:
   • DOT1: Estrazione diretta tramite prompt GPT-4o dall'immagine.
   • DOT2: Estrazione strutturale tramite modelli di object detection (basati su Faster-RCNN) e OCR (Florence-2) per identificare nodi, etichette e frecce.
   • DOT3: Raffinamento finale tramite GPT-4o che combina DOT2 e l'immagine per correggere errori di connessione e coerenza.
3. Raffinamento delle Descrizioni Testuali: Le descrizioni sono state generate combinando paragrafi rilevanti estratti dai PDF dei paper, caption e prompt GPT-4o per ottenere descrizioni pulite e semanticamente ricche (Desc3).

Il dataset è suddiviso in training (60.519), validation (7.565) e test (7.043) campioni, categorizzati per complessità (facile, medio, difficile) in base al numero di nodi.

B. Modelli e Approcci di Valutazione

Gli autori hanno valutato diverse strategie:

• Zero-shot e Few-shot: Utilizzo di GPT-4o e modelli open-weight (Llama-3-8B, Qwen2-7B, DeepSeek-7B) con prompting.
• Fine-tuning (SFT): Addestramento supervisionato dei modelli su base 7B-8B utilizzando il dataset TEXT2ARCH per generare codice DOT da descrizioni testuali.
• Metriche di Valutazione: Oltre alle metriche NLG standard (ROUGE-L, CodeBLEU, Edit Distance, chrF), è stato introdotto un set di metriche basate su grafi per valutare la fedeltà strutturale:
  • Precisione, Recall e F1-score per i nodi (basati sull'abbinamento ottimale tramite algoritmo ungherese).
  • Metriche simili per gli archi (bordi).
  • PR-AUC (Area Under Precision-Recall Curve) e similarità di Jaccard.

3. Risultati Chiave

Gli esperimenti sono stati condotti sia sul set di test automatico che su un sottoinsieme di 99 immagini con annotazione manuale umana.

• Prestazioni Superiori del Fine-tuning: I modelli fine-tuned, in particolare DeepSeek-7B, hanno superato significativamente sia i baseline esistenti (come DiagramAgent) che le versioni few-shot e zero-shot di GPT-4o.
  • Su metriche testuali: DeepSeek-7B ha raggiunto un ROUGE-L di 55.2 e un CodeBLEU di 49.3 sul set manuale, contro i 28.2 e 16.3 di GPT-4o zero-shot.
  • Su metriche grafiche: DeepSeek-7B ha ottenuto i punteggi più alti per F1 dei nodi (69.4) e degli archi (49.1), dimostrando una capacità superiore di catturare la topologia corretta del grafo.
• Confronto con Baseline: Il modello DiagramAgent (che genera codice TikZ) ha mostrato prestazioni inferiori, specialmente nella precisione strutturale e nella gestione delle connessioni complesse.
• Validazione Umana: In uno studio di preferenza umana, il modello fine-tuned è stato preferito nel 71.6% dei casi rispetto a DiagramAgent, confermando che le metriche quantitative riflettono una migliore qualità percepita.
• Robustezza: L'analisi della lunghezza delle descrizioni ha mostrato che, sebbene variazioni estreme di lunghezza degradino le prestazioni, il modello mantiene una coerenza strutturale accettabile.

4. Contributi Principali

1. Nuovo Task: Introduzione del problema di generazione di diagrammi di architettura scientifica da testo tramite codice intermedio DOT.
2. Dataset TEXT2ARCH: Rilascio di un dataset su larga scala (>75k campioni) con triple allineate (Immagine, Descrizione Testuale Pulita, Codice DOT), categorizzato per complessità.
3. Modelli e Benchmark: Addestramento e valutazione di una famiglia di modelli LLM (7B-8B) che superano gli stati dell'arte attuali, dimostrando che il fine-tuning su task specifici è cruciale per la generazione di codice strutturato.
4. Framework di Valutazione: Proposta di un sistema di valutazione ibrido che combina metriche di generazione del linguaggio naturale e metriche specifiche per la struttura dei grafi, offrendo una visione più completa della fedeltà semantica e strutturale.

5. Significato e Impatto

Il lavoro TEXT2ARCH rappresenta un passo avanti significativo nel campo della generazione di diagrammi tecnici. Dimostra che l'approccio "testo -> codice strutturato -> immagine" è superiore alla generazione diretta di immagini per applicazioni che richiedono precisione logica e facilità di editing.

• Applicazioni Pratiche: Il sistema può accelerare la documentazione software, la creazione di contenuti educativi, la visualizzazione di architetture aziendali e la stesura di brevetti.
• Accessibilità: Rendendo disponibili codice, dati e modelli open-source, il lavoro abbassa la barriera d'ingresso per la ricerca in questo settore, permettendo ad altri di costruire su queste basi.
• Futuro: Sebbene esistano limitazioni (es. dipendenza dall'inglese, gestione di connessioni molto dense), il lavoro apre la strada a sistemi di ingegneria del software assistiti dall'AI in grado di tradurre intenti testuali in rappresentazioni visive strutturate e affidabili.