Resumo Técnico: SciFig

Definição do Problema

Figuras de metodologia de alta qualidade são essenciais para a comunicação científica, servindo para destilar métodos complexos, componentes e fluxos de informação em diagramas claros e revisáveis. No entanto, a criação dessas figuras continua sendo um processo manual e demorado. As abordagens automatizadas existentes enfrentam um compromisso fundamental:

• Abordagens Estruturadas/Editáveis: Métodos baseados em TikZ ou SVG produzem saídas editáveis, mas frequentemente carecem da riqueza visual, textura e variação estilística das ilustrações desenhadas por humanos.
• Abordagens de Geração de Imagem: Modelos que utilizam VLMs e geradores de imagem produzem imagens rasterizadas polidas e prontas para publicação, mas geram arquivos não editáveis onde até mesmo revisões menores exigem a regeneração completa.

Além disso, avaliar figuras científicas geradas é um desafio. Os protocolos de avaliação atuais frequentemente reduzem a qualidade multidimensional (correção, completude, legibilidade, design) a uma única pontuação numérica de um único VLM, o que introduz viés e sensibilidade à formulação de prompts.

Metodologia: Framework SciFig

Os autores apresentam o SciFig, um framework multi-agente de ponta a ponta projetado para gerar figuras de metodologia visualmente ricas e totalmente editáveis a partir de textos científicos. O sistema preenche a lacuna entre a expressividade raster e a editabilidade simbólica ao produzir figuras XML que podem ser editadas em ferramentas de diagramação padrão (ex: draw.io, PowerPoint).

Arquitetura do Sistema

O SciFig decompõe o processo de geração em quatro estágios, cada um gerenciado por um agente dedicado:

1. Agente de Planejamento (Planning Agent): Analisa o texto da metodologia ($T$) e a descrição da figura ($D$) para produzir um plano textual ($P$). Este plano especifica a direção do layout, proporção (aspect ratio), estágios do pipeline, agrupamentos funcionais e conexões internas, separando o o quê representar de onde os elementos devem aparecer.
2. Agente de Layout (Layout Agent): Converte o plano $P$ em um layout XML inicial editável ($L_0$). Este layout codifica posições, tamanhos e conexões usando uma hierarquia de três níveis (módulos, subgruptos, componentes folha) e utiliza setas grossas/finas para denotar fluxos entre módulos e dentro de módulos.
3. Agente de Componentes (Component Agent): Popula o layout com elementos visuais ($V$). Ele emprega uma estratégia de renderização híbrida:
   • Modo PNG: Para componentes visualmente complexos (ex: mapas de calor), um modelo de geração de imagem cria um elemento rico incorporado como uma imagem base64 dentro do XML.
   • Modo Textbox: Para operações nomeadas e variáveis, retângulos rotulados e estilizados são gerados nativamente no formato vetorial.
4. Agente de Feedback (Feedback Agent): Refina a figura através de loops iterativos ($K$ rodadas). Ele suporta dois modos:
   • Human-in-the-loop: Pesquisadores fornecem edições diretas ou instruções em linguagem natural.
   • VLM-in-the-loop: Um VLM critica a figura renderizada quanto ao layout, alinhamento e clareza, sugerindo revisões.

O output final é um arquivo XML estruturado que representa $F = (V, L, E)$, permitindo que componentes individuais sejam reposicionados ou reestilizados sem regenerar toda a figura.

Principais Contribuições

1. Framework SciFig

Um sistema multi-agente que gera figuras de metodologia equilibrando riqueza visual e total editabilidade. Ele suporta loops de feedback tanto humano quanto de VLM para refinamento.

2. SciFig-Bench

Um benchmark verificado por humanos consistindo em 435 figuras de metodologia e seus respectivos textos de origem/legendas. O conjunto de dados abrange 37 domínios centrados em IA/ML em 15 conferências de alto nível (ex: NeurIPS, ICML, CVPR). Um conjunto adicional de 1.784 figuras foi utilizado para desenvolver rubricas de avaliação.

3. SciFig-Eval

Um protocolo de avaliação de quatro eixos projetado para superar as limitações de julgamento de um único score via VLM:

• Completude e Correção: Utiliza VQA (Visual Question Answering) entre modelos com 50 perguntas de sim/não para avaliar a cobertura de informações.
• Fidelidade Baseada em Referência: Mede a similaridade visual (DINOv2), a relevância figura-texto (SigLIP2) e a precisão do texto via OCR (F1 score) contra referências desenhadas pelos autores.
• Qualidade de Conteúdo Baseada em Rubrica: Emprega 20 perguntas binárias derivadas de figuras reais para avaliar precisão técnica, clareza, consistência e legibilidade.
• Qualidade de Design Perceptual: Utiliza 8 heurísticas determinísticas (ex: contraste WCAG, razão dado-tinta, uniformidade de espaços em branco) para avaliar propriedades de design de baixo nível sem viés de referência.

Resultados Experimentais

Os autores avaliaram o SciFig contra sete baselines, incluindo geradores de imagem de agente único (GPT-5.4-Image, Qwen-Image, Nano Banana Pro) e pipelines agênticos (Paper2Poster, AutoFigure, etc.).

• Desempenho: O SciFig alcançou as pontuações mais altas em todos os quatro eixos do SciFig-Eval. Notavelmente, superou o melhor baseline (PaperBanana) em 0,4 pontos em Completude & Correção e 0,4 pontos em Qualidade de Conteúdo Baseada em Rubrica.
• Editabilidade: Ao contrário dos geradores raster, o SciFig produz figuras XML onde rótulos e símbolos permanecem editáveis e legíveis, evitando o desfoque ou corrupção comuns em outputs de geração de imagem.
• Avaliação Humana: Em um estudo pareado cego com 60 participantes (10.000 comparações), o SciFig classificou-se em primeiro lugar com um rating Elo de 1327 e uma taxa de vitória de 81,4%, superando até mesmo as figuras originais desenhadas pelos autores (GT Figures).
• Eficiência: O sistema gera figuras editáveis em aproximadamente 10 minutos, em média.
• Ablação: O estudo confirmou que o Agente de Layout e o Agente de Feedback melhoram significamente a consistência estrutural e a qualidade geral. Aumentar as rodadas de refinamento de CoT ($K$) de 1 para 4 apresentou retornos decrescentes após a terceira rodada.

Significância e Alegações

O artigo afirma que o SciFig representa um passo significativo no avanço da automação da comunicação visual científica ao resolver o compromisso entre editabilidade e qualidade visual. Ao decompor a geração de figuras em planejamento, layout, renderização e refinamento, o framework produz figuras que não são apenas fiéis ao texto de origem, mas também adaptáveis à natureza iterativa da publicação científica.

Os autores enfatizam que o SciFig foi projetado primariamente para figuras de metodologia dentro de domínios de IA/ML. Embora exemplos qualitativos sugiram generalização para diagramas de teaser e gráficos estatísticos, os autores declaram explicitamente que não benchmarcam sistematicamente esses outros tipos de figuras. Da mesma forma, o benchmark é limitado a conferências de IA/ML, e os autores reconhecem que convenções visuais em outros campos científicos (ex: química, biologia) podem exigir adaptações específicas de domínio.

O trabalho posiciona o SciFig como uma ferramenta de rascunho assistiva destinada a apoiar pesquisadores, particularmente aqueles sem treinamento especializado em design, mantendo o controle do autor sobre o output final. Os autores alertam que as figuras geradas não devem ser tratadas como substitutas para o julgamento autoral ou correção técnica.