StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

Resumo Técnico: StructEval

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado avanços significativos na geração de texto natural e raciocínio, muitas aplicações do mundo real exigem não apenas fluência semântica, mas também controle preciso sobre a estrutura da saída. Tarefas como gerar código para interfaces de usuário (HTML, React), formatos de dados (JSON, YAML, CSV, TOML) ou documentos científicos (LaTeX, TikZ) requerem que o modelo siga regras sintáticas estritas e hierarquias complexas.

O problema central identificado é que os benchmarks existentes focam predominantemente na qualidade semântica ou em tarefas de código genérico, negligenciando a fidelidade estrutural em uma variedade diversificada de formatos. Além disso, a avaliação automática dessas saídas é desafiadora devido à necessidade de verificar tanto a sintaxe correta quanto a renderização visual (no caso de formatos como SVG ou HTML), e à dificuldade de criar métricas unificadas para formatos não renderizáveis e renderizáveis.

2. Metodologia

Os autores introduzem o StructEval, um benchmark abrangente projetado para avaliar sistematicamente a capacidade dos LLMs de gerar e converter saídas estruturadas.

A. Estrutura do Dataset
O dataset contém 2.035 exemplos cobrindo 18 formatos distintos e 44 tipos de tarefas, divididos em dois subconjuntos principais:

• StructEval-T (Text-only): Avalia a geração de estruturas de texto sem renderização visual (ex: JSON, XML, YAML, CSV, TOML, Markdown).
• StructEval-V (Visual): Avalia a geração de código executável que deve ser renderizado visualmente (ex: HTML, React, SVG, Mermaid, Matplotlib, LaTeX, TikZ, Vue, Angular).

Cada tarefa é categorizada em dois paradigmas:

1. Geração: Produzir uma saída estruturada a partir de um prompt em linguagem natural.
2. Conversão: Traduzir conteúdo estruturado de um formato para outro (ex: JSON para YAML, HTML para React).

B. Pipeline de Anotação
Para garantir alta qualidade e diversidade, o dataset foi construído através de um pipeline de três etapas:

1. Curadoria de Tarefas: Definição de requisitos de formato e restrições para 18 formatos-alvo.
2. Síntese Baseada em LLM: Uso de modelos de linguagem para gerar um pool inicial de consultas (queries) e métricas associadas (palavras-chave e pares de perguntas-respostas visuais).
3. Revisão por Especialistas: Um processo de duas passagens de revisão humana para validar a clareza, completude e correção das tarefas, utilizando a ferramenta Label Studio.

C. Métricas de Avaliação
O framework de avaliação utiliza uma combinação de três métricas principais para calcular uma pontuação final ponderada:

1. Pontuação de Sintaxe (Syntax Score): Verifica a validade estrutural. Para formatos de texto, usa parsers específicos (ex: Python json); para formatos visuais, tenta renderizar o código em um ambiente headless. Pontuação: 1 (sucesso) ou 0 (falha).
2. Pontuação de Correspondência de Palavras-Chave (Keyword Matching Score): Verifica a presença de elementos estruturais esperados (chaves, valores, aninhamento) usando correspondência exata ou expressões regulares baseadas em caminhos de ponto (dot-paths).
3. Pontuação de Perguntas e Respostas Visuais (VQA Score): Exclusiva para o subconjunto StructEval-V. Após a renderização da imagem, um modelo de linguagem visual (VLM, especificamente GPT-4.1-mini) responde a um conjunto de perguntas sobre o conteúdo visual para verificar a fidelidade do resultado.

A pontuação final ($s$) é calculada como:

• Para tarefas T: $s = 0.2 \cdot s_{sintaxe} + 0.8 \cdot s_{palavras-chave}$
• Para tarefas V: $s = 0.2 \cdot s_{sintaxe} + 0.1 \cdot s_{palavras-chave} + 0.7 \cdot s_{VQA}$

3. Principais Contribuições

• Benchmark Abrangente: O primeiro benchmark a cobrir simultaneamente formatos de dados não renderizáveis e formatos visuais renderizáveis, com foco em fidelidade estrutural.
• Framework de Avaliação Unificado: Uma metodologia que integra verificação de sintaxe, análise de estrutura hierárquica e avaliação visual via VLM, permitindo uma comparação justa entre tarefas heterogêneas.
• Análise de Lacunas de Desempenho: Identificação clara das limitações atuais dos modelos de ponta, especialmente em formatos complexos e menos frequentes.
• Dataset Aberto: Disponibilização de 2.035 exemplos curados e anotados para a comunidade de pesquisa.

4. Resultados Chave

Os experimentos avaliaram 12 modelos (abertos e comerciais) em configuração zero-shot.

• Desempenho Geral: Mesmo os modelos mais avançados têm dificuldades significativas. O modelo comercial de ponta, o1-mini, alcançou uma pontuação média de 75,58. O melhor modelo de código aberto, Qwen3-4B, obteve 67,04, ficando cerca de 10 pontos atrás.
• Geração vs. Conversão: Tarefas de geração (de texto para estrutura) são consistentemente mais difíceis do que tarefas de conversão (entre estruturas).
• Texto vs. Visual: Gerar conteúdo visual correto (StructEval-V) é mais desafiador do que gerar apenas estruturas de texto (StructEval-T).
• Formatos Específicos:
  • Alto Desempenho: Modelos dominam tarefas comuns como JSON, CSV, Markdown e HTML simples (pontuações > 90%).
  • Baixo Desempenho: Tarefas complexas como Text→TOML, Text→SVG, Text→Mermaid e conversões como Matplotlib→TikZ apresentam pontuações muito baixas (muitas vezes < 50%), indicando que os modelos ainda lutam com regras sintáticas complexas e raciocínio visual profundo.
• Gap Comercial vs. Open-Source: Há uma lacuna consistente de desempenho entre modelos comerciais e open-source, sendo mais pronunciada em tarefas de geração no subset StructEval-T.

5. Significado e Conclusão

O StructEval destaca que, embora os LLMs sejam proficientes em tarefas semânticas gerais, a capacidade de gerar saídas estruturadas robustas para aplicações de engenharia de software e pipelines de dados ainda é uma área de melhoria crítica.

A pesquisa sugere que:

1. A simples escala de parâmetros não resolve completamente os erros estruturais, especialmente em formatos menos comuns.
2. A integração de validação visual e estrutural é essencial para avaliar o verdadeiro potencial dos modelos em aplicações reais.
3. Futuros modelos devem otimizar especificamente para a aderência a esquemas complexos e a geração de código visualmente fiel.

Este trabalho serve como um ponto de referência fundamental para o desenvolvimento de LLMs mais confiáveis para integração em sistemas de produção que dependem de formatos de dados rigorosos.