Text2Arch: A Dataset for Generating Scientific Architecture Diagrams from Natural Language Descriptions

1. Problema e Motivação

A comunicação de designs de sistemas complexos ou processos científicos através de texto puro é frequentemente ineficiente e propensa a ambiguidades. Embora modelos de geração de imagem (como difusão) tenham avançado, eles falham em gerar diagramas de arquitetura científica com alta fidelidade semântica e estrutural. Esses modelos sofrem com janelas de contexto limitadas, dificuldade em capturar estruturas lógicas explícitas e geram elementos visuais desorganizados ou texto ilegível.

O desafio central identificado pelos autores é a falta de um conjunto de dados (dataset) de grande escala, limpo e de acesso aberto que pare descrições textuais detalhadas com diagramas de arquitetura e suas representações de código estruturado. Sem esses dados, não existem modelos abertos eficazes para a tarefa de Text-to-Architecture (Texto para Arquitetura).

2. Metodologia

O trabalho propõe uma abordagem em duas etapas principais: a criação de um novo dataset e o desenvolvimento de modelos para gerar código intermediário.

2.1. Curação do Dataset TEXT2ARCH

Os autores criaram o TEXT2ARCH, um benchmark de grande escala contendo 75.127 amostras. O pipeline de curadoria envolveu três etapas principais:

1. Classificação Arquitetura vs. Não-Arquitetura: Foi treinado um classificador (baseado em CLIP) para filtrar o dataset Paper2Fig, selecionando apenas diagramas que representam designs estruturais, fluxos de trabalho ou arquiteturas de sistemas (ex: redes neurais, microserviços). O classificador alcançou 83,45% de acurácia e 92% de recall.
2. Geração de Código DOT: Como o dataset original não possuía anotações de código, os autores desenvolveram um pipeline híbrido para gerar o código DOT (Graphviz):
   • DOT1: Geração direta via GPT-4o a partir da imagem.
   • DOT2: Extração de nós e arestas usando detecção de objetos (Faster-RCNN) e OCR (Florence-2), seguida de inferência de direção das setas.
   • DOT3 (Ground Truth): Refinamento do DOT2 usando o GPT-4o com a imagem e o código inicial como entrada para corrigir erros estruturais e de conectividade.
3. Refinamento de Descrições: As descrições textuais foram enriquecidas combinando parágrafos relevantes do artigo original (recuperados via similaridade TF-IDF) com legendas, gerando uma descrição final (Desc3) otimizada para treinamento.

O dataset é dividido em conjuntos de treino (60.519), validação (7.565) e teste (7.043), além de um subconjunto manualmente anotado (99 imagens) para avaliação rigorosa.

2.2. Abordagem de Modelagem

Em vez de gerar imagens diretamente, o sistema gera código DOT intermediário, que é então compilado para gerar a imagem final. Isso garante precisão estrutural.

• Modelos Testados: Foram comparados o DiagramAgent (baseline), inferência zero-shot e few-shot do GPT-4o, e modelos de linguagem pequenos (SLMs) de 7B-8B parâmetros: Llama-3-8B, Qwen2-7B e DeepSeek-LLM-7B.
• Fine-Tuning: Os modelos SLMs foram ajustados (Supervised Fine-Tuning - SFT) especificamente para a tarefa de traduzir descrições naturais em código DOT estruturado.

2.3. Métricas de Avaliação

O artigo propõe uma avaliação híbrida:

• Métricas de NLG (Geração de Linguagem Natural): ROUGE-L, CodeBLEU, Distância de Edição (Levenshtein) e chrF, para medir a similaridade textual com o código de referência.
• Métricas Baseadas em Grafos: Precisão, Recall e F1-score de nós e arestas (usando o algoritmo Húngaro para correspondência ótima), PR-AUC e Similaridade de Jaccard. Essas métricas avaliam a fidelidade estrutural e semântica do diagrama gerado.

3. Resultados Principais

Os experimentos demonstraram que os modelos ajustados superam significativamente as abordagens de few-shot e os baselines existentes:

• Desempenho do DeepSeek-7B (Fine-tuned): Este modelo obteve os melhores resultados em todas as métricas. No conjunto de anotação manual, alcançou um ROUGE-L de 55,2 e CodeBLEU de 49,3, superando amplamente o DiagramAgent (ROUGE-L 49,1) e o GPT-4o zero-shot (ROUGE-L 28,2).
• Fidelidade Estrutural: O modelo ajustado do DeepSeek-7B alcançou um F1-score de nós de 69,4 e F1-score de arestas de 49,1 no conjunto manual, indicando uma recuperação precisa da topologia do grafo.
• Comparação com Baselines: O DiagramAgent e modelos few-shot tendiam a gerar códigos incompletos, com nós genéricos ou conexões errôneas. O DeepSeek-7B ajustado conseguiu capturar conexões complexas, como skip connections em redes neurais, com alta precisão.
• Avaliação Humana: Em um estudo de preferência humana, o modelo proposto foi preferido em 71,6% dos casos em comparação com o DiagramAgent, validando a superioridade semântica e estrutural.
• Validação do Pipeline: A versão refinada do código (DOT3) mostrou-se superior às versões brutas (DOT1 e DOT2), confirmando que a combinação de detecção de objetos com refinamento via LLM é crucial para a qualidade.

4. Contribuições Chave

1. Novo Task (Tarefa): Introdução da tarefa de gerar diagramas de arquitetura científica a partir de descrições textuais via código intermediário (DOT).
2. Dataset TEXT2ARCH: Lançamento de um dataset de grande escala (>75k amostras) com alinhamento limpo entre imagem, descrição textual e código DOT, incluindo divisões por complexidade (fácil, médio, difícil).
3. Modelos e Baselines: Fine-tuning de múltiplos modelos de linguagem pequenos (7B-8B) que superam modelos proprietários grandes e baselines de agentes multi-modais em tarefas estruturadas.
4. Framework de Avaliação: Proposta de um conjunto robusto de métricas que combina avaliação de texto e métricas específicas de grafos para medir a fidelidade estrutural.

5. Significado e Impacto

O trabalho preenche uma lacuna crítica na interseção entre Processamento de Linguagem Natural (NLP) e Visão Computacional para a engenharia de software e pesquisa científica.

• Aplicações Práticas: O sistema pode automatizar a documentação de software, auxiliar na criação de materiais educacionais, acelerar a visualização de arquiteturas corporativas e facilitar a revisão de artigos científicos.
• Viabilidade de Modelos Abertos: Demonstra que modelos de linguagem abertos e leves, quando devidamente ajustados para tarefas estruturadas, podem rivalizar ou superar modelos proprietários massivos, tornando a tecnologia acessível e eficiente.
• Futuro: O dataset e os modelos disponibilizados publicamente (código, dados e pesos no HuggingFace) servem como base para pesquisas futuras em geração de diagramas, permitindo avanços em precisão semântica e adaptação a outros idiomas ou domínios.

Em resumo, o TEXT2ARCH estabelece um novo padrão para a geração de diagramas técnicos, provando que a abordagem baseada em código intermediário (DOT) combinada com ajuste fino de LLMs é a rota mais promissora para alta fidelidade estrutural.