Resumo Técnico: SciFigQual-Bench

Definição do Problema

Os paradigmas existentes de Avaliação de Qualidade de Imagem (IQA) são predominantemente projetados para fotografias naturais ou conteúdo gerado por IA, baseando-se em estatísticas de baixo nível ou métricas perceptivas (ex: PSNR, SSIM, NIQE) que avaliam a clareza visual de forma isolada. Esses métodos falham em abordar os requisitos únicos de figuras científicas, que derivam seu valor avaliativo de sua integração com o manuscrito acadêmico completo.

Benchmarks acadêmicos atuais para gráficos e diagramas são limitados por vários fatores:

1. Isolamento: Eles frequentemente avaliam figuras como recortes isolados, desvinculados de legendas e parágrafos citantes.
2. Foco Superficial: Priorizam comparações de superfície visual ou precisão de Visual Question Answering (VQA) em vez de uma avaliação de qualidade holística.
3. Falta de Contexto: Falham em verificar o alinhamento da legenda, a relevância da citação ou o risco de indução ao erro visual (ex: truncamento de eixos, ausência de linhas de base) que só pode ser detectado através do cruzamento da figura com o texto.

A qualidade de uma figura científica é inerentemente tri-modal, dependendo do conteúdo visual, da legenda da figura e das afirmações feitas nos parágrafos citantes do manuscrito. Abordagens de modalidade única ou fracamente acopladas não conseguem avaliar efetivamente essas interdependências.

Metodologia

1. Construção do Dataset SciFigQual-Bench

Os autores propõem o SciFigQual-Bench, um benchmark projetado para avaliar imagens científicas dentro de seu contexto de manuscrito completo.

• Fonte de Dados: O dataset compreende 7.609 figuras curadas extraídas de 1.144 artigos qualificados em conferências de topo da área de ciência da computação (ACL, EMNLP, ICML, NeurIPS) publicados entre 2020 e 2025.
• Vinculação de Contexto: Diferente de datasets anteriores, cada instância de figura está estritamente vinculada ao seu PDF de origem. O pipeline extrai a imagem da figura ($I$), a legenda ($c$) e os parágrafos citantes específicos ($T$) do corpo do texto usando resolução baseada em índice (correspondência de índices de figuras no PDF).
• Anotação: 6.308 instâncias foram pontuadas independentemente por múltiplos especialistas de domínio em uma escala unificada de 1 a 10 através de cinco dimensões ortogonais:
  1. Clareza Visual (VC): Legibilidade de textos, marcas e codificação.
  2. Estrutura e Layout (SL): Composição, organização de painéis e prevenção de "chartjunk".
  3. Consistência da Legenda (CC): Alinhamento entre a legenda e o conteúdo visível.
  4. Consistência de Contexto (CTX): Alinhamento entre as afirmações no texto citante e o que a figura suporta.
  5. Risco de Indução ao Erro (MR): Probabilidade de má interpretação pelo leitor (ex: eixos truncados).
• Mecanismo de Portão (Gating): Para evitar a penalização por metadados ausentes, o benchmark emprega uma estratégia de portão de evidência L1. Se uma legenda ou texto citante estiver ausente, a dimensão correspondente (CC ou CTX) é marcada como nula e excluída do cálculo da pontuação geral.

2. SFQ-Agent: Avaliação Cross-Modal em Estágios

Para permitir uma avaliação automatizada que espelhe o raciocínio de um especialista humano, os autores introduzem o SFQ-Agent, um juiz cross-modal em estágios projetado para ser auditável e baseado em evidências. Ele evita a natureza de "caixa preta" dos modelos de Linguagem-Visão (VLMs) monolíticos ao separar a coleta de evidências da fusão.

O agente opera em quatro estágios:

• Passo 0 (Portão/Gating): Determina quais dimensões são avaliáveis com base na presença de $I$, $c$ e $T$.
• Passo 1 (Evidência Visual): Um módulo de visão (usando PaddleOCR-VL e descritores clássicos de CV) extrai fatos visuais (regiões de texto, layout, unidades de eixo) para pontuar VC e SL. Crucialmente, o módulo de linguagem não acessa pixels nesta etapa.
• Passo 2 (Evidência de Linguagem): Um LLM analisa apenas a legenda e o texto citante (sem entrada de pixels) para extrair afirmações textuais e violações de regras para apoiar a pontuação de CC e CTX. Isso evita a geração de justificativas plausíveis, porém infiéis.
• Passo 3 (Fusão Cross-Modal): Um juiz funde a evidência estruturada dos Passos 1 e 2 para pontuar CC, CTX e MR. Ele busca especificamente por conflitos (ex: uma figura mostrando uma tendência de alta enquanto o texto descreve degradação).
• Passo 4 (Executor/Runner): Um pós-processador determinístico trava as pontuações de VC e SL aos outputs de visão, aplica limites baseados em regras para MR e agrega as pontuações finais.

O artigo avalia três protocolos em um subconjunto de teste fixo (eval1200):

1. Direto (Direct): Um único prompt de VLM de ponta a ponta.
2. Sidecar: Um único prompt aumentado com recursos laterais de OCR/CV.
3. SFQ-Agent: O pipeline completo em estágios descrito acima.

Resultados Principais

Os experimentos foram conduzidos no eval1200 (1.200 instâncias estratificadas) utilizando 11 backends de VLM de última geração.

• Desempenho: O SFQ-Agent equipado com o GPT-5.6-Sol alcançou o melhor desempenho geral:
  • Erro Médio Absoluto (MAE): 0.418 (o mais baixo entre todas as configurações).
  • Consistência Dentro de ±1: 93.4% (maior taxa de previsões dentro de ±1 ponto das etiquetas de ouro humanas).
  • Correlação de Spearman: 0.598.
• Comparação de Protocolos:
  • O SFQ-Agent superou consistentemente os protocolos Direct e Sidecar em todos os backends.
  • O protocolo Sidecar (adicionando recursos de OCR a um único prompt) mostrou melhorias modestas sobre o Direct, particularmente para encoders mais fracos, mas não conseguiu igualar a fusão em estágios do Agent.
  • Os resultados indicam que os ganhos são impulsionados pelo alinhamento protocolo-evidência (separação da verificação visual e textual) em vez de apenas a escala do modelo.
• Análise de Falhas:
  • Consistência da Legenda (CC) e Consistência de Contexto (CTX) foram identificadas como os eixos dominantes de discordância entre humanos e modelos.
  • Juízes monolíticos frequentemente confundiam percepção visual com verificação textual, levando a justificativas alucinadas. A abordagem em estágios mitigou isso com sucesso ao impor a separação de modalidades.
  • O Qwen-VL-Max mostrou um gap significativo entre calibração (W-1) e ranking (Spearman) no modo Direct, o qual melhorou com o uso de estágios, mas ainda teve dificuldades com a verificação de legenda.

Significância e Alegações

O artigo alega as seguintes contribuições e significância:

1. Primeiro Benchmark de Manuscrito Completo: O SciFigQual-Bench é o primeiro benchmark que vincula figuras científicas às suas legendas e parágrafos citantes do PDF de origem, indo além da avaliação visual isolada para uma avaliação baseada em evidências e de contexto total.
2. Estrutura de Avaliação Auditável: Ao propor o SFQ-Agent, os autores demonstram que a avaliação cross-modal em estágios é superior ao prompting de VLM monolítico para tarefas científicas. O design garante que cada pontuação seja rastreável a uma evidência específica (fatos visuais ou afirmações textuais), abordando o problema da "fidelidade" em paradigmas de LLM-como-juiz.
3. Capacidade Diagnóstica: O benchmark serve como um teste de estresse para a literacia científica tri-modal. Ele revela que os modelos atuais têm maior dificuldade em verificar a consistência entre as figuras e as afirmações narrativas no texto (CC e CTX), um gap que os benchmarks de QA de gráficos ou QA de texto não abordaram conjuntamente.
4. Utilidade Prática: A estrutura fornece um ambiente reprodutível para elevar a inspeção de figuras assistida por IA de um simples QA visual para um raciocínio consciente do contexto, o que é crítico para a revisão por pares e controle de qualidade na publicação científica.

Os autores posicionam este trabalho não como uma solução para todos os problemas de imagem científica, mas como um passo necessário para uma avaliação de qualidade rigorosa e consciente do contexto que respeite a natureza tri-modal da comunicação científica.