Resumo Técnico: Diagram-MMU

Definição do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) têm demonstrado capacidades crescentes na escrita científica e colaboração, particularmente em espaços de trabalho de "escrita de vibração" (vibe writing) como o OpenAI Prism, que visam converter diagramas científicos diretamente em código LaTeX TikZ editável. No entanto, os benchmarks existentes para compreensão de diagramas são limitados em escopo e capacidade. A maioria dos trabalhos anteriores foca estritamente em gráficos, utiliza representações de código fora do ecossistema LaTeX (por exemplo, Python ou SVG) e avalia apenas tarefas únicas (parsing, edição ou perguntas e respostas) sem avaliar as habilidades "agênticas" necessárias para navegar em fluxos de trabalho complexos. Além disso, há uma carência de benchmarks que avaliem simultaneamente habilidades fundamentais (percepção, codificação, raciocínio) e habilidades agênticas (uso de ferramentas, gerenciamento de estado, planejamento) no contexto de geração de diagramas científicos para código.

Metodologia

Os autores apresentam o Diagram-MMU, um benchmark multimodal projetado para avaliar MLLMs através de três tarefas principais: Diagram-to-Code Parsing (D2C-P), Diagram-to-Code Editing (D2C-E) e Diagram Question Answering (DQA).

Construção de Dados

• Escala do Dataset: O benchmark compreende 3.744 diagramas curados e 18.305 perguntas validadas por humanos.
• Domínios: Abrange seis domínios científicos: Gráficos, Geometria Plana, Formas 3D, Estruturas de Grafos, Química e Diagramas de Circuitos. Este é o primeiro benchmark que inclui Química e Circuitos para tarefas de diagrama para código.
• Fonte: Os dados são extraídos de manuais oficiais de pacotes TikZ/PGF (ex: pgfplots, circuitikz, chemfig) e recursos da comunidade (ex: TeX Stack Exchange), filtrados e simplificados para garantir a compilabilidade.
• Anotação: Uma equipe de 13 estudantes de pós-graduação realizou a validação cruzada dos dados, garantindo consistência lógica e correção das respostas.

Definições de Tarefas

1. D2C-P: Os modelos devem realizar o parsing de uma imagem de diagrama de entrada em código LaTeX TikZ compilável.
2. D2C-E: Os modelos devem gerar código TikZ que produza um diagrama modificado de acordo com instruções específicas (ex: alterar cores, layout ou escopo).
3. DQA: Os modelos respondem a perguntas descritivas ou de raciocínio sobre o diagrama, incluindo cenários de "e se" que exigem modificações hipotéticas.

Configurações de Avaliação Agêntica

O Diagram-MMU introduz 16 configurações de avaliação controláveis para testar capacidades tanto fundamentais quanto agênticas:

• Fundacional: Execução direta da tarefa sem assistência.
• Agêntica: Configurações que exigem Utilização de Contexto (usando dados de objetos fornecidos), Uso de Ferramentas (consultar uma ferramenta de busca de TikZ), Gerenciamento de Estado (gerar código intermediário antes de editar/responder) e Planejamento (coordenar múltiplas etapas).
• Implementação de Ferramenta: Um servidor MCP (Model Context Protocol) de ferramenta de busca TikZ customizado foi construído. Isso permite que os modelos consultem seletivamente documentações curadas, evitando o ruído de buscas na web e a deterioração de contexto associada ao carregamento de manuais PDF completos.

Métricas de Avaliação

• Nível de Imagem: SSIM, CLIP Score, LPIPS e FID para medir a similaridade visual entre as renderizações geradas e as originais (ground-truth).
• Nível de Código: CrystalBLEU para medir a correção sintática e a similaridade estrutural do código TikZ gerado.
• Nível de Objeto: Um Modelo de Objeto Semântico (SOM) extrai elementos tipados (nós, caminhos, texto, cores, caixas delimitadoras) de SVGs compilados. O desempenho é medido via scores F1 em quatro dimensões: tipo, texto, cor e caixa delimitadora (fundamentação espacial).
• DQA: A precisão é avaliada via um pipeline de LLM-como-Juiz com validação humana.

Principais Contribuições

1. Primeiro Benchmark Abrangente de TikZ: O Diagram-MMU é o primeiro benchmark a avaliar MLLMs na compreensão, edição e parsing de diagramas científicos especificamente dentro do ecossistema LaTeX/TikZ, cobrindo seis domínios científicos diversos.
2. Framework de Avaliação Agêntica: Introduz um framework inovador para avaliar capacidades agênticas (uso de ferramentas, planejamento, gerenciamento de estado) em fluxos de trabalho de escrita científica, indo além da simples avaliação de entrada-saída.
3. Ferramental Especializado: Os autores desenvolveram um servidor MCP de busca TikZ para fornecer aos modelos acesso estruturado e livre de ruído à documentação de sintaxe, permitendo um estudo controlado da eficácia do uso de ferramentas.
4. Métricas Granulares: A introdução de scores F1 de nível de objeto (especificamente para fundamentação espacial e tipos semânticos) fornece uma análise mais detalhada das falhas dos modelos do que a similaridade de nível de imagem isolada.

Resultados Experimentais

Os autores avaliaram 12 MLLMs (6 de código fechado, 6 de código aberto, incluindo 5 modelos de propósito geral e 1 modelo especialista (TikZero+ 10B) ajustado em pares diagrama–TikZ) no Diagram-MMU.

Capacidades Fundamentais

• Raciocínio vs. Codificação: Os modelos exibem uma assimetria significativa: eles performam bem em DQA (raciocínio sobre diagramas, com acurácias de até 86%) mas enfrentam dificuldades significativas em D2C-P e D2C-E (codificação). Os scores F1 de nível de objeto para parsing variam de 31,47% a 57,48% para modelos de código aberto e 47,57% a 54,64% para modelos de código fechado.
• Fundamentação Espacial: A dimensão de percepção mais fraca em todos os modelos é a fundamentação espacial (caixas delimitadoras). Os modelos frequentemente conseguem identificar o que elementos existem, mas falham em codificar com precisão onde eles estão localizados.
• Dificuldade por Domínio: Formas 3D representam o maior desafio em todas as tarefas, provavelmente devido à escassez de amostras de treinamento de TikZ 3D. Química e Circuitos mostram lacunas maiores de desempenho entre modelos de código aberto e código fechado.
• Edição vs. Parsing: Modelos que falham no parsing também têm dificuldades na edição. Embora os modelos consigam seguir instruções de edição para manter elementos existentes (preserve-only), eles lutam para instanciar corretamente novos elementos (edit-only).

Capacidades Agênticas

• Uso de Ferramentas: A maioria dos modelos degrada ou apresenta resultados mistos quando recebe acesso a ferramentas. O Claude-4.6 Opus é o único modelo que melhora consistentemente em todas as tarefas com o uso de ferramentas. Outros modelos, como o Gemini-3.1 Pro, sofrem com loops de recuperação excessivos que levam à deterioração de contexto, enquanto outros falham em consultar de forma eficaz.
• Planejamento: O planejamento é identificado como a capacidade agêntica mais fraca. A maioria dos modelos degrada o desempenho quando solicitado a coordenar múltiplas etapas (ex: gerar código antes de responder a uma pergunta), particularmente em tarefas de DQA.
• Gerenciamento de Estado: Os modelos geralmente falham em gerenciar estados de código intermediários de forma eficaz, perdendo a coerência ao construir sobre o código gerado para edição ou raciocínio.

Significância e Alegações

O artigo posiciona o Diagram-MMU como um testbed de avaliação piloto para o parsing e compreensão de diagramas científicos em espaços de trabalho de escrita de vibração. Os autores alegam que o benchmark revela uma lacuna crítica: embora os MLLMs possam raciocinar profundamente sobre diagramas científicos, eles carecem das habilidades fundamentais de percepção e codificação necessárias para gerar ou editar o código TikZ correspondente.

Os autores afirmam modestamente que o Diagram-MMU não avalia o espectro total da habilidade agêntica na escrita científica (ex: redação de texto ou gestão de citações estão fora do escopo), mas serve como um passo direcionado para entender como os modelos podem ser melhorados para a geração de diagrama para código. Eles esperam que a análise inspire pesquisas futuras em métodos que aumentem as capacidades de codificação e os fluxos de trabalho agênticos dos MLLMs, abordando especificamente as fraquezas identificadas em fundamentação espacial, uso de ferramentas e planejamento. O benchmark é construído a partir de dados públicos, e os autores não preveem consequências sociais negativas.