Resumo Técnico: EpiCurveBench e EpiCurveSimilarity

Declaração do Problema

Os modelos visão-linguagem (VLMs) estão sendo cada vez mais implantados para extrair dados numéricos estruturados de imagens de gráficos. No entanto, os atuais frameworks de avaliação são insuficientes para gráficos de séries temporais densos do mundo real, particularmente curvas epidêmicas ("epicurvas"). Benchmarks existentes como o ChartQA dependem de infográficos simples e sintéticos, onde VLMs de ponta já superam 89% de precisão, oferecendo margem decrescente para progresso. Além disso, métricas padrão como Similaridade de Mapeamento Relativo (RMS) e SCRM tratam os dados extraídos como pares chave-valor desordenados. Essa abordagem ignora a estrutura temporal das séries temporais e penaliza catastropicamente pequenos deslocamentos temporais ou incompatibilidades de cabeçalho, confundindo extrações com valores corretos mas deslocados com extrações completamente erradas. Consequentemente, a comunidade carece de um benchmark rigoroso de teste de estresse para extração de séries temporais densas e de uma métrica que reflita a utilidade downstream dos dados extraídos para análise epidemiológica.

Metodologia

1. EpiCurveBench: Um Benchmark do Mundo Real

Os autores introduzem o EpiCurveBench, um conjunto de dados de 1.000 imagens de curvas epidêmicas do mundo real, de licença aberta, abrangendo 14 doenças, 37 países e os anos de 1849 a 2025. O conjunto de dados foi projetado para ser significativamente mais desafiador do que benchmarks existentes, apresentando pontos de dados densos (mediana de 156 por gráfico, até 8.592), séries sobrepostas/empilhadas, texto rotacionado, digitalizações de baixa resolução e barras finas.

O benchmark consiste em dois conjuntos:

• Conjunto 1 (900 gráficos): Curados a partir de fontes que fornecem verdade de base tabular legível por máquina (por exemplo, relatórios do CDC). Uma amostra aleatória de 20% foi auditada por anotadores humanos, confirmando 100% de alinhamento entre imagens e tabelas de origem.
• Conjunto 2 (100 gráficos): Anotados manualmente usando WebPlotDigitizer para garantir diversidade estilística e testar a generalização onde não existem dados tabulares. Estes foram curados por meio de um protocolo de três etapas envolvendo seleção de dissimilaridade visual, agrupamento de embeddings DINOv2 para remover duplicatas e verificação manual.

2. EpiCurveSimilarity (ECS): Uma Métrica Consciente do Tempo

Para abordar as limitações das métricas chave-valor, os autores propõem o EpiCurveSimilarity (ECS), uma métrica de avaliação baseada na Distância de Edição com Penalidade Real (ERP). O ECS alinha séries previstas e de verdade de base por meio de programação dinâmica e incorpora três extensões principais:

1. Correspondência de Similaridade de Rótulo: Usa a Similaridade Normalizada de Levenshtein (NLS) para corresponder séries com base no texto do rótulo, acomodando gráficos com múltiplas séries onde a ordem ou a nomenclatura podem diferir.
2. Normalização do Eixo Y por Série: As penalidades de substituição são normalizadas pelo intervalo específico do eixo y de cada série, garantindo comparabilidade entre diferentes escalas.
3. Limiar de Tolerância e Penalidade de Lacuna: A métrica tolera deslocamentos temporais locais e lacunas (inserções/deleções), mas as penaliza proporcionalmente. Uma penalidade de lacuna ($\lambda = 1$) é aplicada para pontos não correspondidos, e os custos de substituição são limitados se excederem um limiar ($\theta = 0,01$) do intervalo do eixo y.

A pontuação final ECS para uma série é $1 - \frac{C(M, N)}{\text{nº de correspondências} + \text{nº de lacunas}}$, onde $C(M, N)$ é o custo de alinhamento.

3. Configuração Experimental

Os autores avaliaram seis métodos no EpiCurveBench:

• Três VLMs Fechados de Ponta: GPT-5.2, Claude Opus 4.5 e Gemini 2.5 Pro.
• Um VLM Aberto: Qwen3-VL-235B-A22B-Instruct.
• Dois Sistemas Especializados: OneChart e TinyChart.

Os modelos foram testados sob três configurações: raciocínio mínimo, alto raciocínio e alto raciocínio com execução de código Python (para recorte/ampliação de imagens).

Principais Resultados

Desempenho do Modelo

Mesmo o modelo mais forte, o Gemini 2.5 Pro (com alto esforço de raciocínio), alcançou apenas 52,3% de ECS no benchmark completo. Sistemas especializados de extração de gráficos performaram mal (OneChart: 9,4%, TinyChart: 11,4%), provavelmente devido a deslocamentos de distribuição dos dados de treinamento sintéticos e menor capacidade do modelo. Entre os VLMs de propósito geral, o Gemini 2.5 Pro liderou, seguido pelo GPT-5.2 e Claude Opus 4.5, com o Qwen3-VL (pesos abertos) alcançando 27,5% com alto esforço.

Discriminação de Métricas

• Métricas Chave-Valor (RMS/SCRM): Comprimiram os quatro VLMs de propósito geral em uma faixa estreita de ~5 pontos (por exemplo, dispersão RMS: 4,8 pontos) e identificaram incorretamente o Claude Opus 4.5 como o melhor desempenho. Elas falharam em distinguir entre modelos que fizeram deslocamentos temporais e aqueles que cometeram erros de valor.
• Métricas Temporais (ECS/DTW): Espalharam os quatro VLMs sobre uma faixa de 25 pontos (dispersão ECS: 24,8 pontos; dispersão DTW: 20,7 pontos) e identificaram corretamente o Gemini 2.5 Pro como líder.
• ECS vs. DTW: Embora ambas as métricas temporais discriminassem bem, o ECS correlacionou-se 1,5–3,6× mais fortemente do que o DTW com quatro estatísticas epidemiológicas downstream: contagens totais, timing do pico, magnitude do pico e fidelidade da taxa de crescimento. Isso é atribuído à penalidade de lacuna explícita do ECS, que impede que previsões truncadas recebam pontuações altas ao se distorcerem livremente para corresponder a um subconjunto da verdade de base.

Análise de Erros

Para VLMs de propósito geral, as maiores fontes de erro foram imprecisão numérica (20–30% da perda) e pontos de dados perdidos. Modelos especializados falharam principalmente devido a pontos de dados perdidos (muitas vezes extraindo em resoluções temporais mais grosseiras) e incompatibilidades de rótulos de série. O uso de ferramentas (execução de código) produziu resultados inconsistentes, às vezes degradando o desempenho devido ao recorte impreciso de regiões do gráfico.

Significado e Alegações

O artigo alega que o EpiCurveBench e o EpiCurveSimilarity abordam lacunas críticas na avaliação de VLMs para extração de gráficos de séries temporais:

1. Teste de Estresse do Mundo Real: O benchmark revela que mesmo VLMs líderes ficam muito aquém da qualidade de extração utilizável em gráficos de saúde pública do mundo real, destacando a necessidade de maior robustez em ambientes visuais densos e ruidosos.
2. Relevância Downstream: O ECS é validado como uma métrica que correlaciona fortemente com a precisão de estatísticas epidemiológicas derivadas. Ao contrário de métricas sem lacunas como o DTW, o ECS penaliza truncamento e dados ausentes, que são falhas críticas no monitoramento de surtos.
3. Aplicabilidade Geral: Embora desenvolvido para curvas epidêmicas, o benchmark e a métrica são aplicáveis a qualquer configuração de extração de gráficos de séries temporais estruturadas, oferecendo um framework de avaliação mais matizado do que as atuais abordagens chave-valor.

Os autores concluem que os modelos atuais requerem avanços significativos para desbloquear décadas de dados de surtos presos em figuras publicadas, e que o progresso futuro deve abordar a precisão numérica em séries densas e o tratamento de séries temporais longas e truncadas.