SO-Bench: A Structural Output Evaluation of Multimodal LLMs

1. Problema e Motivação

Os Modelos de Linguagem Multimodais (MLLMs) estão sendo cada vez mais implantados em ambientes de agentes autônomos, onde suas saídas não são apenas consumidas por humanos, mas por sistemas downstream, APIs e controladores. Nesses cenários, a saída do modelo deve ser não apenas semanticamente correta, mas também estruturalmente válida, aderindo estritamente a esquemas de dados pré-definidos (geralmente JSON).

Embora existam avanços na geração estruturada para entradas puramente textuais, a capacidade de MLLMs realizarem extração de informação estruturada baseada em evidências visuais (imagens, interfaces de usuário, documentos, gráficos) permanece subexplorada. Trabalhos anteriores focam em legendas ou parsing semântico simples, ignorando a complexidade de esquemas aninhados e personalizados do mundo real. Não existia até então um benchmark sistemático para quantificar quão bem os MLLMs podem gerar saídas estruturadas que obedeçam a esquemas complexos baseados em imagens.

2. Metodologia: SO-Bench

Os autores introduzem o SO-Bench, um benchmark abrangente projetado para avaliar a capacidade de saída estruturada visual.

A. Construção do Dataset

O dataset foi construído através de um pipeline de auto-rotulagem multiestágio com verificação humana:

• Cobertura Visual: 1.800 pares imagem-esquema curados, cobrindo quatro domínios: telas de UI (mobile/web/desktop), imagens naturais, documentos e gráficos.
• Esquemas: Mais de 6.500 esquemas JSON diversos (reais e sintéticos), com complexidade variada (profundidade de aninhamento e quantidade de campos).
• Instruções: 60.000 perfis de usuários sintéticos geram instruções variadas (conversacionais, diretas, ambíguas) para simular interações reais.
• Pipeline de Geração:
  1. Associação Imagem-Esquema: Uso de embeddings multimodais (CLIP) para recuperar esquemas relevantes para uma imagem, seguidos por seleção via modelo LLM.
  2. Geração de Esquema Sintético: Agrupamento de múltiplas imagens para gerar esquemas unificados e aninhados.
  3. Geração e Refinamento de Resposta: Geração de saída estruturada com validação por um modelo "crítico" e refinamento iterativo com feedback humano.

B. Métricas de Avaliação

O benchmark utiliza uma avaliação baseada em Árvore de Sintaxe Abstrata (AST) com três métricas principais:

1. Acurácia de Validação de Esquema (Schema Val.): Porcentagem de saídas que são sintaticamente válidas conforme a definição do JSON Schema.
2. Acurácia de Correspondência de Campos (Field Match - FMA): Mede a precisão na extração de valores individuais (usando correspondência exata e fuzzy para lidar com ambiguidades visuais).
3. Acurácia de Correspondência de Estrutura Completa (FSMA): Exige que toda a estrutura hierárquica e todos os campos sejam corretamente preenchidos.

3. Contribuições Principais

1. SO-Bench: O primeiro benchmark diversificado e de alta qualidade para avaliar a capacidade de saída estruturada de MLLMs, cobrindo múltiplos domínios visuais e esquemas complexos.
2. Análise de Limitações: Demonstração empírica de que, mesmo os modelos de ponta (frontier), têm lacunas significativas na geração de saídas totalmente corretas e conformes a esquemas complexos.
3. Estudos de Treinamento: Evidência de que técnicas de Supervised Fine-Tuning (SFT) e Reinforcement Learning with Verifiable Rewards (RLVR) podem melhorar substancialmente essas capacidades.

4. Resultados Experimentais

Os autores avaliaram uma ampla gama de modelos (open-source e proprietários) no SO-Bench:

• Desempenho Geral:

  • Modelos proprietários de ponta (ex: Gemini-2.5-Pro, GPT-5) alcançam alta precisão na validação de esquema (>95%), indicando boa aderência sintática.
  • No entanto, a correspondência completa de estrutura (FSMA) é muito baixa. O melhor modelo (Gemini-2.5-Pro) atingiu apenas ~19% de precisão na correspondência completa (fuzzy), revelando que, embora o formato esteja correto, os valores extraídos frequentemente contêm erros ou omissões.
  • Modelos menores (3B-7B) apresentam lacunas massivas em comparação aos modelos proprietários, especialmente em estruturas profundas.

• Análise de Complexidade:

  • À medida que a profundidade do esquema aumenta (>6 níveis de aninhamento), o desempenho de todos os modelos degrada significativamente. Modelos pequenos sofrem quedas de ~40% na validação de esquema em estruturas profundas.

• API vs. Prompting:

  • O uso de APIs de saída estruturada (ex: OpenAI, Gemini) garante melhor validação de esquema, mas às vezes reduz a precisão dos valores dos campos (Field Match) em comparação com o uso de prompts de instrução direta, sugerindo que as APIs podem restringir excessivamente a geração de conteúdo.

• Correlação com Outros Benchmarks:

  • O desempenho no SO-Bench correlaciona-se fortemente com benchmarks de uso de ferramentas (BFCL), raciocínio visual geral (MMMU) e seguimento de instruções visuais (MIABench), mas menos com tarefas puras de OCR.

• Impacto do Treinamento:

  • SFT (Fine-tuning Supervisionado): Treinar um modelo de 3B com dados sintéticos e reais melhorou drasticamente o desempenho, alcançando níveis comparáveis a modelos 10x maiores. A diversidade dos dados (esquemas reais + sintéticos) foi crucial para a generalização.
  • RLVR (Aprendizado por Reforço): O uso de recompensas verificáveis melhorou a validação de esquema, mas os ganhos foram menores em comparação ao SFT puro, sugerindo que o modelo base precisa de uma capacidade mínima para aprender efetivamente via RL.

5. Significado e Conclusão

O SO-Bench estabelece um novo padrão para avaliar a prontidão dos MLLMs para aplicações de agentes no mundo real, onde a precisão estrutural é tão crítica quanto a precisão semântica.

Os resultados indicam que, embora os modelos tenham evoluído para entender imagens e seguir instruções, a geração estruturada confiável e baseada em evidências visuais ainda é um desafio aberto. A pesquisa destaca que:

1. Existe um grande espaço para melhoria na extração precisa de dados de imagens complexas.
2. O treinamento direcionado (SFT em dados diversificados) é a via mais eficaz atual para melhorar essas capacidades.
3. A complexidade estrutural (aninhamento profundo) é um gargalo crítico para modelos menores e atuais.

O benchmark e o pipeline de avaliação estão disponíveis publicamente, incentivando a comunidade a desenvolver modelos mais robustos para tarefas de extração de dados e automação visual.