Text2Arch: A Dataset for Generating Scientific Architecture Diagrams from Natural Language Descriptions

1. Problema y Motivación

La comunicación de diseños de sistemas complejos o procesos científicos mediante texto puro es ineficiente y propensa a ambigüedades. Aunque existen modelos de generación de imágenes (como los basados en difusión), estos tienen limitaciones inherentes para generar diagramas de arquitectura científica:

• Falta de alineación semántica estricta: Los modelos de difusión a menudo fallan en capturar estructuras lógicas explícitas, produciendo diagramas con texto ilegible o elementos visuales desorganizados.
• Dificultad de edición: Las imágenes generadas son difíciles de refinar o editar posteriormente.
• Ausencia de datos: No existía un conjunto de datos abierto, limpio y a gran escala que emparejara descripciones textuales detalladas con diagramas de arquitectura y su representación de código estructurada.

El objetivo de este trabajo es abordar la tarea de TEXT2ARCH: generar diagramas de arquitectura científica (compuestos por nodos etiquetados y aristas dirigidas) a partir de descripciones en lenguaje natural, utilizando un código intermedio (DOT) para garantizar la precisión estructural.

2. Metodología

La propuesta se basa en un enfoque de tres etapas: creación de un dataset masivo, generación de código intermedio y evaluación rigurosa.

A. Curación del Dataset TEXT2ARCH

El equipo creó un nuevo benchmark de gran escala con 75,127 muestras que incluyen:

1. Imágenes de diagramas de arquitectura extraídas de artículos científicos.
2. Descripciones textuales limpias generadas y refinadas.
3. Código DOT (Graphviz) correspondiente.

Proceso de Curación:

• Clasificación: Se entrenó un clasificador (basado en CLIP) para filtrar y seleccionar solo diagramas de arquitectura (redes neuronales, sistemas de software, flujos de datos) de conjuntos de datos existentes como Paper2Fig, SciFig y ACL-Fig.
• Generación de Código DOT: Dado que los diagramas originales no tenían código, se utilizó un pipeline híbrido:
  • DOT1: Extracción directa mediante GPT-4o.
  • DOT2: Uso de detección de objetos (Faster-RCNN) y OCR (Florence-2) para extraer nodos y aristas.
  • DOT3 (Ground Truth): Refinamiento de DOT2 mediante GPT-4o para corregir errores de conectividad y semántica.
• Refinamiento de Texto: Se combinaron párrafos relevantes de los artículos (retrieval basado en TF-IDF) con el texto original y se refinaron mediante GPT-4o para obtener descripciones precisas (Desc3).
• División: El dataset se divide en entrenamiento (60,519), validación (7,565) y prueba (7,043), estratificado por complejidad (número de nodos: fácil, medio, difícil).

B. Modelos y Entrenamiento

Se evaluaron varios enfoques para convertir texto en código DOT:

• Inferencia Zero-shot: Uso de GPT-4o.
• Few-shot In-Context Learning (ICL): Modelos pequeños como Llama-3-8B, Qwen2-7B y DeepSeek-7B con ejemplos en el prompt.
• Fine-tuning (SFT): Se fine-tunearon las versiones base de los modelos anteriores (Llama-3-8B, Qwen2-7B, DeepSeek-7B) específicamente para la tarea de generar código DOT estructurado a partir de descripciones técnicas.

C. Métricas de Evaluación

Dado que el objetivo final es la estructura del gráfico y no la imagen pixelada, se propuso un marco de evaluación dual:

1. Métricas de Generación de Lenguaje Natural (NLG): ROUGE-L, CodeBLEU, Distancia de Edición (Levenshtein) y chrF para medir la similitud sintáctica y semántica del código.
2. Métricas Basadas en Grafos: Precisión, Recall y F1-score de nodos y aristas (usando el algoritmo húngaro para emparejamiento óptimo), PR-AUC y Similitud de Jaccard. Estas evalúan la fidelidad estructural real del diagrama.

3. Contribuciones Clave

1. Nueva Tarea: Definición formal de la generación de diagramas de arquitectura científica a través de un código intermedio (DOT).
2. Dataset TEXT2ARCH: Liberación del primer dataset a gran escala (>75k muestras) con tripletes alineados (Texto-Código-Imagen) de alta calidad, incluyendo un subconjunto de 99 imágenes con anotación manual humana.
3. Modelos de Referencia: Entrenamiento y evaluación de una familia de modelos de lenguaje pequeños (7B-8B parámetros) que superan a los enfoques few-shot y a la línea base existente (DiagramAgent).
4. Marco de Evaluación Robusto: Introducción de métricas específicas para grafos que permiten medir la fidelidad estructural más allá de la similitud de texto.

4. Resultados Principales

• Rendimiento Superior del Fine-tuning: Los modelos fine-tuned, especialmente DeepSeek-7B, superaron significativamente a los modelos few-shot y a GPT-4o en todas las métricas.
  • En el conjunto de anotación manual, DeepSeek-7B fine-tuned alcanzó un ROUGE-L de 55.2 y un CodeBLEU de 49.3, superando a Llama-3-8B few-shot (ROUGE-L 37.3) y a DiagramAgent.
  • En métricas gráficas, DeepSeek-7B obtuvo el F1 de nodos más alto (69.4) y el F1 de aristas más alto (49.1) en el conjunto manual.
• Calidad del Código Intermedio: La variante DOT3 (refinada por GPT-4o) demostró ser el "Ground Truth" más fiable, superando a las variantes generadas puramente por OCR o prompts directos.
• Evaluación Humana: En un estudio de preferencia humana, el modelo propuesto fue preferido en el 71.6% de los casos frente a DiagramAgent, validando que los resultados son semánticamente correctos y estructuralmente coherentes.
• Eficiencia: Los modelos pequeños fine-tuned (7B) lograron un rendimiento comparable o superior a GPT-4o, pero con la ventaja de ser de código abierto y más ligeros.

5. Significado e Impacto

Este trabajo cierra una brecha crítica en la visualización de sistemas científicos y de ingeniería.

• Aplicaciones Prácticas: Facilita la documentación automática de software, la creación de contenido educativo y la visualización de arquitecturas empresariales complejas.
• Viabilidad Técnica: Demuestra que no es necesario depender de modelos de difusión masivos para generar diagramas técnicos; un enfoque basado en lenguaje natural a código estructurado (LLM -> DOT) ofrece mayor precisión, editabilidad y fidelidad semántica.
• Reproducibilidad: Al liberar el dataset, el código y los modelos, se establece un nuevo estándar para la investigación en la comprensión y generación de figuras científicas, permitiendo avances futuros en la automatización de la ingeniería de software asistida por IA.

En resumen, TEXT2ARCH establece un nuevo paradigma para la generación de diagramas técnicos, demostrando que la combinación de datasets curados, fine-tuning de modelos de lenguaje y evaluación basada en grafos es la ruta más efectiva para lograr alta fidelidad semántica y estructural.