DiagramBank: A Large-scale Dataset of Diagram Design Exemplars with Paper Metadata for Retrieval-Augmented Generation

Resumo Técnico: DiagramBank

1. O Problema

O campo dos sistemas autônomos de "cientista de IA" avançou significativamente na geração automática de manuscritos científicos e código executável. No entanto, um gargalo crítico persiste no processo de geração de artigos "de ponta a ponta": a criação de figuras de divulgação (teaser figures) ou diagramas esquemáticos de nível de publicação.

Diferente de gráficos de dados rotineiros (como dispersão ou barras), que seguem pipelines de geração baseados em dados brutos, os diagramas científicos exigem:

• Síntese conceitual: Traduzir fluxos de lógica complexos em representações visuais intuitivas.
• Planejamento estratégico: Organizar entidades, módulos e fluxos de informação em um layout coerente.
• Convenções visuais: Seguir estéticas específicas de comunidades científicas (agrupamento de módulos, alinhamento de legendas).

Os sistemas atuais de IA frequentemente omitem essa etapa ou geram alternativas inferiores, resultando em artigos que não conseguem capturar a atenção dos leitores ou persuadir pares. Modelos de texto-para-imagem padrão falham em gerar diagramas densos com topologia de setas consistente e texto legível.

2. Metodologia

Os autores propõem o DiagramBank, um conjunto de dados em larga escala projetado para suportar a Geração Aumentada por Recuperação (RAG) para diagramas científicos.

A. Construção do Dataset (Pipeline de Quatro Estágios):

1. Aquisição de Dados: Coleta de PDFs e metadados de quatro principais conferências de IA/ML (ICLR, ICML, NeurIPS, TMLR) entre 2017 e 2025, via API do OpenReview.
2. Extração de Conteúdo:
   • Uso do PDFFigures 2.0 para extrair figuras e legendas.
   • Uso do PyMuPDF para extrair os parágrafos do texto que citam explicitamente cada figura (figure_context), criando um elo entre a imagem e o argumento do autor.
3. Classificação Esquemática (Filtragem CLIP):
   • Um pipeline baseado em CLIP (ViT-B-32) classifica as figuras extraídas em: diagrama, gráfico (plot), foto ou outro.
   • Apenas figuras classificadas como "diagrama" com confiança > 0.85 são retidas para garantir alta fidelidade esquemática.
4. Agregação e Filtragem:
   • Junção dos dados de artigos e figuras em um formato desnormalizado (cada registro de figura contém metadados completos do artigo).
   • Filtragem rigorosa baseada em decisões de revisão (mantendo apenas artigos aceitos, spotlight, oral, etc.).

B. Estrutura do Dataset:
Cada instância no DiagramBank é um registro autossuficiente contendo:

• Imagem do diagrama.
• Metadados do artigo (título, resumo, autores, decisão).
• Contexto local da figura (legenda e trechos do texto que referenciam a figura).
• Pontuação de confiança do CLIP.

C. Sistema de Recuperação (DiagramBank-RAG):
Para gerar novos diagramas, o sistema utiliza uma estratégia de recuperação hierárquica de três estágios:

1. Filtragem por Título: Recupera artigos candidatos com base na intenção de alto nível (tópico/domínio).
2. Refinamento por Resumo: Dentro dos candidatos, busca correspondência no nível do problema e metodologia.
3. Correspondência por Legenda: Recupera exemplos específicos de figuras que correspondem semanticamente à descrição desejada do usuário.
   Isso permite que o modelo de geração receba "priors visuais" (estilo, layout, ícones) de exemplos reais de publicações de ponta.

3. Principais Contribuições

1. DiagramBank: O primeiro conjunto de dados em larga escala (89.422 diagramas) focado especificamente em diagramas esquemáticos de artigos de IA/ML, com metadados ricos para recuperação.
2. Enriquecimento Contextual: A ligação de cada diagrama a múltiplas camadas de texto (título, resumo, legenda e contexto de citação) permite recuperação em diferentes granularidades (do nível do artigo ao nível da figura).
3. Pipeline de Baseline e RAG: Fornecimento de código base para indexação, recuperação e um pipeline de geração aumentada por recuperação que demonstra como exemplares recuperados podem guiar a síntese de diagramas.
4. Análise Estatística: Estudo detalhado da densidade visual, tendências de legendas e distribuição de tipos de figuras ao longo do tempo e entre diferentes conferências.

4. Resultados e Análise

• Escala: O dataset contém 89.422 diagramas validados, extraídos de um pool de 452.339 figuras não-tabela.
• Qualidade: A filtragem por confiança do CLIP (threshold > 0.85) reduziu o conjunto para 59.765 exemplos de alta fidelidade, minimizando falsos positivos.
• Crescimento: O volume de dados cresceu exponencialmente entre 2023 e 2025, refletindo o aumento na produção de pesquisas em IA.
• Estudo de Caso (Code2MCP):
  • Um modelo baseline (apenas prompt de texto) gerou um diagrama genérico com estética "DMemphis" (cores de alto contraste, layout linear), falhando em capturar a estética acadêmica refinada.
  • O modelo com RAG recuperou exemplos relevantes do DiagramBank e sintetizou um diagrama que adotou a paleta de cores pastéis, agrupamentos arredondados e topologia cíclica dos exemplos recuperados, resultando em uma visualização semanticamente precisa e esteticamente alinhada com publicações de alto nível.

5. Significância e Impacto

O DiagramBank preenche uma lacuna crítica na automação científica, permitindo que sistemas de IA não apenas escrevam texto, mas também projetem visualizações que comunicam eficazmente a contribuição central de uma pesquisa.

• Para a Comunidade de Mineração de Dados: Oferece um corpus estruturado para entender a evolução de diagramas científicos e a densidade visual em diferentes subcampos.
• Para Sistemas de Autoria Científica: Fornece a infraestrutura necessária para a geração de "figuras teaser" de qualidade publicável, reduzindo a dependência de intervenção humana manual para diagramas complexos.
• Futuro: O trabalho aponta para a necessidade de representações intermediárias explícitas (como programas de layout) e filtros mais fortes para garantir a precisão factual e evitar viés de automação na geração de ilustrações científicas.

O dataset e o código estão disponíveis publicamente no Hugging Face e no GitHub, respectivamente, prontos para indexação e uso em pesquisas de geração multimodal.