Resumen Técnico: EpiCurveBench y EpiCurveSimilarity

Enunciado del Problema

Los modelos visión-lingüísticos (VLM) se despliegan cada vez más para extraer datos numéricos estructurados de imágenes de gráficos. Sin embargo, los marcos de evaluación actuales son insuficientes para gráficos de series temporales densos del mundo real, particularmente las curvas epidémicas ("epicurvas"). Benchmarks existentes como ChartQA dependen de infografías sintéticas y simples donde los VLM de vanguardia ya superan el 89% de precisión, ofreciendo un margen decreciente para el progreso. Además, métricas estándar como Similitud de Mapeo Relativo (RMS) y SCRM tratan los datos extraídos como pares clave-valor desordenados. Este enfoque ignora la estructura temporal de las series temporales y penaliza catastróficamente pequeños desplazamientos temporales o discrepancias en los encabezados, confundiendo extracciones con valores correctos pero desplazados con aquellas completamente erróneas. En consecuencia, la comunidad carece de un benchmark riguroso de prueba de estrés para la extracción de series temporales densas y de una métrica que refleje la utilidad aguas abajo de los datos extraídos para el análisis epidemiológico.

Metodología

1. EpiCurveBench: Un Benchmark del Mundo Real

Los autores introducen EpiCurveBench, un conjunto de datos de 1.000 imágenes de curvas epidémicas del mundo real, con licencia abierta, que abarcan 14 enfermedades, 37 países y los años 1849–2025. El conjunto de datos está diseñado para ser significativamente más desafiante que los benchmarks existentes, presentando puntos de datos densos (mediana de 156 por gráfico, hasta 8.592), series superpuestas/apiladas, texto rotado, escaneos de baja resolución y barras delgadas.

El benchmark consta de dos conjuntos:

• Conjunto 1 (900 gráficos): Curados a partir de fuentes que proporcionan una verdad fundamental tabular legible por máquina (por ejemplo, informes de los CDC). Una muestra aleatoria del 20% fue auditada por anotadores humanos, confirmando una alineación del 100% entre las imágenes y las tablas de origen.
• Conjunto 2 (100 gráficos): Anotados manualmente utilizando WebPlotDigitizer para asegurar diversidad estilística y probar la generalización donde no existen datos tabulares. Estos fueron curados mediante un protocolo de tres etapas que incluye selección por disimilitud visual, agrupamiento de incrustaciones DINOv2 para eliminar duplicados y verificación manual.

2. EpiCurveSimilarity (ECS): Una Métrica Consciente del Tiempo

Para abordar las limitaciones de las métricas clave-valor, los autores proponen EpiCurveSimilarity (ECS), una métrica de evaluación basada en la Distancia de Edición con Penalización Real (ERP). ECS alinea las series predichas y de verdad fundamental mediante programación dinámica e incorpora tres extensiones clave:

1. Emparejamiento por Similitud de Etiquetas: Utiliza la Similitud Levenshtein Normalizada (NLS) para emparejar series basándose en el texto de la etiqueta, acomodando gráficos de múltiples series donde el orden o la denominación pueden diferir.
2. Normalización del Eje Y por Serie: Las penalizaciones de sustitución se normalizan por el rango específico del eje Y de cada serie, asegurando la comparabilidad entre diferentes escalas.
3. Umbral de Tolerancia y Penalización por Brecha: La métrica tolera desplazamientos temporales locales y brechas (inserciones/borrados) pero los penaliza proporcionalmente. Se aplica una penalización por brecha ($\lambda = 1$) para puntos sin emparejar, y los costos de sustitución se recortan si exceden un umbral ($\theta = 0.01$) del rango del eje Y.

La puntuación ECS final para una serie es 1 - \frac{C(M, N)}{\text{#emparejamientos} + \text{#brechas}}, donde $C(M, N)$ es el costo de alineación.

3. Configuración Experimental

Los autores evaluaron seis métodos en EpiCurveBench:

• Tres VLM Cerrados de Vanguardia: GPT-5.2, Claude Opus 4.5 y Gemini 2.5 Pro.
• Un VLM Abierto: Qwen3-VL-235B-A22B-Instruct.
• Dos Sistemas Especializados: OneChart y TinyChart.

Los modelos se probaron bajo tres configuraciones: razonamiento mínimo, razonamiento alto y razonamiento alto con ejecución de código Python (para recorte/zoom de imágenes).

Resultados Clave

Rendimiento del Modelo

Incluso el modelo más fuerte, Gemini 2.5 Pro (con alto esfuerzo de razonamiento), logró solo un 52.3% de ECS en el benchmark completo. Los sistemas especializados de extracción de gráficos tuvieron un rendimiento deficiente (OneChart: 9.4%, TinyChart: 11.4%), probablemente debido a desplazamientos de distribución desde datos de entrenamiento sintéticos y una capacidad de modelo inferior. Entre los VLM de propósito general, Gemini 2.5 Pro lideró, seguido por GPT-5.2 y Claude Opus 4.5, con Qwen3-VL (pesos abiertos) alcanzando un 27.5% con alto esfuerzo.

Discriminación de la Métrica

• Métricas Clave-Valor (RMS/SCRM): Comprimieron a los cuatro VLM de propósito general en una estrecha banda de ~5 puntos (por ejemplo, dispersión RMS: 4.8 puntos) e identificaron incorrectamente a Claude Opus 4.5 como el mejor rendimiento. No lograron distinguir entre modelos que cometieron desplazamientos temporales y aquellos que cometieron errores de valor.
• Métricas Temporales (ECS/DTW): Distribuyeron a los cuatro VLM en un rango de 25 puntos (dispersión ECS: 24.8 puntos; dispersión DTW: 20.7 puntos) e identificaron correctamente a Gemini 2.5 Pro como el líder.
• ECS vs. DTW: Aunque ambas métricas temporales discriminaron bien, ECS correlacionó de 1.5 a 3.6 veces más fuertemente que DTW con cuatro estadísticas epidemiológicas aguas abajo: conteos totales, momento del pico, magnitud del pico y fidelidad de la tasa de crecimiento. Esto se atribuye a la penalización por brecha explícita de ECS, que evita que las predicciones truncadas reciban puntuaciones altas al distorsionarse libremente para coincidir con un subconjunto de la verdad fundamental.

Análisis de Errores

Para los VLM de propósito general, las mayores fuentes de error fueron la imprecisión numérica (20–30% de la pérdida) y los puntos de datos omitidos. Los modelos especializados fallaron principalmente debido a puntos de datos omitidos (a menudo extrayendo a resoluciones temporales más gruesas) y discrepancias en las etiquetas de las series. El uso de herramientas (ejecución de código) arrojó resultados inconsistentes, a veces degradando el rendimiento debido a un recorte inexacto de las regiones del gráfico.

Significado y Afirmaciones

El artículo afirma que EpiCurveBench y EpiCurveSimilarity abordan brechas críticas en la evaluación de VLM para la extracción de gráficos de series temporales:

1. Prueba de Estrés del Mundo Real: El benchmark revela que incluso los VLM líderes están muy por debajo de la calidad de extracción utilizable en gráficos de salud pública del mundo real, destacando la necesidad de una mayor robustez en entornos visuales densos y ruidosos.
2. Relevancia Aguas Abajo: ECS se valida como una métrica que correlaciona fuertemente con la precisión de las estadísticas epidemiológicas derivadas. A diferencia de métricas sin brechas como DTW, ECS penaliza la truncación y los datos faltantes, que son fallos críticos en la vigilancia de brotes.
3. Aplicabilidad General: Aunque desarrollado para curvas epidémicas, el benchmark y la métrica son aplicables a cualquier configuración de extracción de gráficos de series temporales estructuradas, ofreciendo un marco de evaluación más matizado que los enfoques clave-valor actuales.

Los autores concluyen que los modelos actuales requieren avances significativos para desbloquear décadas de datos de brotes atrapados en figuras publicadas, y que el progreso futuro debe abordar la precisión numérica en series densas y el manejo de series temporales largas y truncadas.