DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams

1. Declaração do Problema

Resposta a Perguntas sobre Diagramas (DQA) exige que os modelos interpretem representações visuais estruturadas (por exemplo, gráficos, mapas, esquemas de circuitos, infográficos). Embora os Modelos de Visão e Linguagem (VLMs) recentes alcancem alta precisão em benchmarks padrão de DQA, existe uma limitação crítica: respostas corretas não garantem raciocínio fiel.

Os modelos atuais frequentemente dependem de:

• Correlações textuais: Adivinhar respostas com base em padrões de linguagem na pergunta ou em vieses do conjunto de dados.
• Artefatos de conjunto de dados: Aprever correlações espúrias em vez de interpretar evidências visuais.
• Falta de fundamentação: Falha em identificar as regiões visuais específicas (rótulos, eixos, conectores, pontos de dados) necessárias para verificar a resposta.

Esse comportamento de "caixa preta" impede uma avaliação confiável de se um modelo realmente compreende a estrutura do diagrama ou se está meramente alucinando respostas plausíveis. Há uma falta de benchmarks padronizados que avaliem o raciocínio fundamentado em evidências—a capacidade de localizar explicitamente a evidência visual que suporta uma previsão.

2. Metodologia

A. O Benchmark DRAGON

Os autores introduzem o DRAGON, um benchmark multi-domínio projetado para avaliar o raciocínio fundamentado em evidências.

• Composição dos Dados: O conjunto de dados agrega 11.664 instâncias de perguntas anotadas de seis conjuntos de dados DQA estabelecidos:
  • AI2D (Diagramas científicos)
  • ChartQA (Gráficos/Diagramas)
  • Circuit-VQA (Esquemas de circuitos)
  • InfographicsVQA (Infográficos)
  • MapIQ & MapWise (Mapas geográficos)
• Tarefa de Anotação: Diferentemente da QA padrão, a tarefa do modelo não é apenas responder, mas prever caixas delimitadoras correspondentes aos elementos visuais necessários para justificar a resposta.
• Tipos de Evidência: As anotações de verdade fundamental incluem regiões portadoras de resposta, rótulos textuais, legendas, eixos, conectores, setas e estruturas espacialmente relacionadas.
• Pipeline de Construção:
  1. Inicialização de Região: Utiliza anotações existentes ou Transferência de Região Baseada em Modelos (usando estimativa de homografia e escala proporcional) para gerar regiões candidatas para diagramas que não possuem caixas delimitadoras pré-existentes.
  2. Verificação Humana: Anotadores utilizam a ferramenta DIAGRAMS para verificar, refinar ou adicionar regiões, garantindo que o "Conjunto de Evidências Ouro" ($B^*$) represente a evidência visual mínima necessária para a resposta.
  3. Controle de Qualidade: O acordo entre anotadores é medido usando Raciocínio Visual Completo (CVR) (cobertura da cadeia completa) e Alinhamento de Evidência Central (CEA) (fundamentação do elemento primário).

B. Framework de Avaliação

Os autores avaliam os VLMs usando três estratégias de prompt distintas para testar como a estrutura do raciocínio afeta a fundamentação:

1. EDGE (Detecção de Evidência via Fundamentação): Uma abordagem de prompt direta e de etapa única, onde o modelo prevê caixas delimitadoras imediatamente após receber a imagem, a pergunta e a resposta.
2. SAGE (Selecionar e Fundamentar Evidência): Uma abordagem de duas etapas.
   • Etapa 1: O modelo lista textualmente os elementos visuais relevantes (por exemplo, "Barra para 2019", "Rótulo do eixo Y").
   • Etapa 2: O modelo prevê caixas delimitadoras para os elementos listados.
3. VERGE (Verificar e Refinar Evidência Fundamentada): Uma abordagem de auto-correção. O modelo gera uma previsão inicial (como no EDGE), depois reexamina a imagem e sua própria previsão para corrigir coordenadas, adicionar evidências faltantes ou refinar o ajuste das caixas.

C. Métricas

O desempenho é medido usando:

• IoU Parcial Máximo (MPIoU): A melhor sobreposição entre qualquer caixa prevista e qualquer caixa de verdade fundamental (mede a capacidade de encontrar alguma região relevante).
• IoU de Fundamentação (GIoU): O IoU entre a união de todas as caixas previstas e a união de todas as caixas de verdade fundamental (mede a cobertura de toda a cadeia de raciocínio).
• Pontuação F1: Precisão e recall no nível da caixa.

3. Contribuições Principais

1. Nova Tarefa de Avaliação: Introdução do raciocínio fundamentado em evidências, deslocando o foco da precisão da resposta para a localização da justificação visual.
2. Conjunto de Dados DRAGON: Um conjunto de teste multi-domínio verificado por humanos, com 2.445 instâncias e anotações de caixas delimitadoras de alta granularidade para evidência de raciocínio.
3. Análise Sistemática: Projeto de um framework (EDGE, SAGE, VERGE) para dissecar como as estratégias de prompt influenciam a capacidade de um modelo fundamentar evidências visuais.
4. Descobertas Empíricas: Demonstrou que alta precisão de resposta não correlaciona com forte fundamentação de evidências, revelando uma lacuna fundamental nas capacidades atuais dos VLMs.

4. Resultados Experimentais

O estudo avaliou 8 VLMs de última geração (incluindo Claude Opus 4.6, Kimi K2.5, Gemini 3 Pro e modelos de pesos abertos como InternVL3.5 e Qwen3.5).

• Desempenho Fraco de Fundamentação: Mesmo os modelos de melhor desempenho lutam com a fundamentação de evidências.
  • As melhores pontuações F1 foram baixas: 9.5 no ChartQA, 5.7 no Circuit-VQA e 4.0 no InfographicsVQA.
  • Apenas MapIQ e AI2D mostraram sucesso moderado (por exemplo, Claude Opus 4.6 atingiu ~21.8 F1 no MapIQ).
• Lacuna entre Localização e Cobertura: Os modelos são melhores em encontrar alguma região relevante do que capturar a cadeia completa de raciocínio.
  • MPIoU (localização grosseira) é consistentemente muito maior do que GIoU e F1 (evidência completa).
  • Exemplo: Claude Opus 4.6 alcançou 53.7 MPIoU, mas apenas 21.8 F1 no MapIQ, indicando que encontrou áreas relevantes, mas perdeu evidências de suporte críticas.
• Sensibilidade ao Prompt:
  • Estratégias de prompt (EDGE, SAGE, VERGE) impactam significativamente o desempenho, mas nenhuma estratégia única domina todos os domínios.
  • VERGE frequentemente melhorou a localização (MPIoU), mas raramente melhorou significativamente a cobertura completa de evidências (F1).
  • O prompt ajuda os modelos a encontrar regiões, mas não resolve o problema da evidência faltante.
• Disparidade entre Modelos:
  • Modelos de código fechado (por exemplo, Claude Opus 4.6) superam significativamente os modelos de pesos abertos em todos os domínios.
  • Exemplo: No MapIQ, Claude Opus 4.6 (F1: 21.8) superou vastamente o InternVL3.5-38B (F1: 2.0).
• Dificuldade de Domínio:
  • Circuit-VQA e InfographicsVQA são os domínios mais difíceis devido a estruturas densas, dependências relacionais e desordem visual.
  • MapIQ e AI2D são relativamente mais fáceis, provavelmente devido a layouts espaciais mais claros e rótulos explícitos.

5. Significado e Conclusão

O DRAGON aborda uma lacuna crítica na avaliação de IA multimodal. Ao provar que os modelos podem responder corretamente sem fundamentar seu raciocínio em evidências visuais, o artigo destaca o risco da "aprendizagem de atalhos", onde os modelos exploram priores textuais em vez de compreensão visual.

Implicações Principais:

• Fidelidade sobre Precisão: A pesquisa futura de DQA deve priorizar a fidelidade do raciocínio (fundamentação) juntamente com a precisão da resposta.
• Padrão de Benchmarking: O DRAGON fornece um campo de teste padronizado para avaliar se os modelos podem vincular explicitamente previsões a evidências visuais, indo além do simples emparelhamento de respostas.
• Direções Futuras: Os autores sugerem que métodos de treinamento (por exemplo, Aprendizado por Reforço) devem recompensar explicitamente os modelos por produzir raciocínio fundamentado em evidências alinhado com regiões verificadas por humanos.

Em resumo, o DRAGON revela que, embora os VLMs atuais sejam proficientes em responder a perguntas sobre diagramas, eles falham amplamente em demonstrar as capacidades de raciocínio visual necessárias para justificar essas respostas, tornando necessária uma mudança na forma como esses modelos são avaliados e treinados.