ChartArena: Benchmarking Chart Parsing across Languages, Scenarios, and Formats

Este artículo presenta ChartArena, un benchmark bilingüe integral que cuenta con ocho familias de gráficos en escenarios digitales, impresos y dibujados a mano con un protocolo de evaluación agnóstico al formato, para evaluar sistemáticamente y revelar las capacidades y limitaciones actuales de 26 modelos de lenguaje de gran tamaño multimodales líderes en la interpretación de diversos tipos de gráficos.

Lo esencial

Imagina que tienes una biblioteca gigante de gráficos, diagramas y esquemas. Algunos son dibujos informáticos impecables, otros son fotos de papeles tomadas en una oficina desordenada y otros son bocetos rudimentarios dibujados en una pizarra. Ahora, imagina que quieres enseñarle a un robot a leer estas imágenes y convertirlas en una lista de hechos (como una hoja de cálculo) o en un mapa de conexiones (como un árbol genealógico).

Este artículo presenta ChartArena, una nueva y masiva "pista de pruebas" diseñada para ver qué tan buenos son diferentes robots (modelos de IA) en esta tarea.

Aquí está el desglose del artículo utilizando analogías sencillas:

1. El Problema: La "Barrera del Lenguaje" y el Problema de la "Sala Limpia"

Antes de este artículo, probar estos robots era como intentar comparar corredores en una carrera donde:

• Las Reglas Cambiaban: Un corredor tenía que escribir su respuesta en inglés, otro en español y un tercero en código Morse. No podías comparar fácilmente quién era más rápido porque las respuestas se veían muy diferentes.
• La Pista era Falsa: La mayoría de las pruebas solo utilizaban gráficos generados por computadora que eran perfectos. Era como entrenar a un conductor solo en una pista de carreras suave y vacía, para luego esperar que conduzca perfectamente bajo la lluvia en un camino de tierra con baches. La vida real tiene fotos borrosas, ángulos torcidos y letra manuscrita desordenada, pero las pruebas antiguas ignoraban esto.
• El Alcance era Limitado: Las pruebas se centraban principalmente en gráficos de barras simples y gráficos de sectores (de tarta). Ignoraban diagramas complejos como diagramas de flujo (árboles de decisión) o mapas mentales, que son como redes enredadas de ideas en lugar de simples números.

2. La Solución: ChartArena (El Obstáculo Definitivo)

Los autores construyeron ChartArena, una nueva prueba súper completa que soluciona todos los problemas anteriores.

• Ocho Diferentes "Obstáculos": La prueba cubre ocho tipos de gráficos, desde gráficos numéricos simples (barras, líneas, sectores) hasta diagramas estructurales complejos (diagramas de flujo, mapas mentales).
• Tres "Condiciones Climáticas": Cada gráfico se prueba de tres maneras:
  1. Digital: Una imagen informática perfecta y nítida.
  2. Impreso: Una foto de un documento impreso (que puede estar ligeramente borrosa o inclinada).
  3. Dibujado a Mano: Una foto de un boceto en una pizarra o un cuaderno (tinta desordenada, líneas irregulares).
• Dos Idiomas: La prueba es bilingüe, cubriendo tanto el inglés como el chino.
• El Equipo "Humano-Agente": Para asegurar que las respuestas sean correctas, utilizaron un enfoque de equipo. Una IA hizo un primer borrador de la respuesta y luego expertos humanos la revisaron y corrigieron varias veces. Esto garantiza que las respuestas del "estándar de oro" sean fiables.

3. El Sistema de Calificación: El "Traductor Universal"

Dado que diferentes robots generan respuestas en diferentes formatos (algunos escriben código, otros tablas, otros listas), ¿cómo se califican de manera justa?

Los autores crearon un Traductor Universal.

• Para Gráficos Numéricos: No importa si el robot escribió un script de Python, un archivo CSV o una tabla Markdown, el sistema lo traduce todo en una lista simple de "Quién, Qué, Cuánto" (Tripletas).
• Para Diagramas: No importa si el robot usó Mermaid, Graphviz o PlantUML, el sistema lo traduce todo en un mapa de puntos y líneas (un Grafo Dirigido).

Una vez que todo se traduce a este lenguaje común, el sistema califica. No se limita a comprobar si las palabras coinciden exactamente; comprueba si la estructura tiene sentido. Es como calificar el ensayo de un estudiante: si utiliza los sinónimos adecuados y capta la idea principal, obtiene puntos, incluso si la ortografía no es perfecta.

4. Los Resultados: ¿Quién Ganó la Carrera?

Los autores probaron 26 modelos de IA diferentes en esta nueva pista. Esto es lo que encontraron:

• Los Robots de las "Grandes Tecnológicas" van a la Cabeza: Los modelos más avanzados y de pago (como Gemini 3.1 Pro) son actualmente los mejores en el trabajo. Sin embargo, los mejores modelos gratuitos de código abierto están alcanzando el nivel muy rápidamente.
• Los "Lectores de Documentos" son de un Solo Truco: Algunos modelos son excelentes leyendo documentos y gráficos numéricos simples. Pero cuando les muestras un diagrama de flujo complejo o un mapa mental, se pierden. Carecen del "conocimiento del mundo" para entender cómo se conectan las ideas.
• Los "Especialistas" son Demasiado Especializados: Hay modelos construidos específicamente para gráficos. Aunque son aceptables con gráficos de barras simples, a menudo fallan por completo cuando se enfrentan a diagramas o bocetos dibujados a mano. No han aprendido suficiente variedad para manejar el mundo real.
• Los Desafíos Más Difíciles:
  • Gráficos de Radar: Estos gráficos circulares (como una telaraña) son los más difíciles de leer para todos.
  • Bocetos Dibujados a Mano: Cuando la entrada es una foto desordenada de un boceto, el rendimiento disminuye significativamente para todos los modelos.

5. La Conclusión

El artículo concluye que, si bien la IA está mejorando en la lectura de gráficos, todavía hay una gran brecha entre lo que pueden hacer en un laboratorio perfecto y lo que pueden hacer en el desordenoso mundo real.

ChartArena proporciona una forma justa y unificada de medir el progreso. Nos muestra exactamente dónde están fallando los robots (diagramas complejos, fotos desordenadas) para que los desarrolladores sepan dónde centrar sus esfuerzos para construir una IA de lectura de gráficos que sea verdaderamente fiable.

En resumen: Finalmente tenemos una pista de carreras justa con obstáculos del mundo real, y ahora sabemos exactamente qué robots están listos para el mundo real y cuáles aún necesitan más entrenamiento.

Resumen técnico

Resumen Técnico: ChartArena

Declaración del Problema

A pesar del rápido avance de los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) en el análisis de gráficos, el campo carece de un marco de evaluación unificado y exhaustivo. La investigación actual se ve obstaculizada por tres problemas de fragmentación compuestos:

1. Incompatibilidad de Salida: Los modelos generan resultados en formatos sintácticos mutuamente incompatibles (p. ej., Markdown, JSON, CSV, código Python, SVG, Mermaid), lo que hace que la comparación directa entre modelos sea intratable.
2. Alcance Limitado de los Benchmarks: Los benchmarks existentes se centran predominantemente en un conjunto limitado de gráficos numéricos (barras, líneas, sectores) e ignoran en gran medida los gráficos diagramáticos estructuralmente distintos (diagramas de flujo, mapas mentales) que requieren una comprensión a nivel de grafo.
3. Condiciones de Datos Idealizadas: Los conjuntos de datos están dominados por representaciones digitales prístinas, sin tener en cuenta las perturbaciones visuales del mundo real, como fotos impresas (con distorsión de iluminación/perspectiva) y bocetos hechos a mano (con inconsistencias de tinta y ruido).

Estas brechas impiden que la comunidad obtenga una evaluación honesta de las capacidades de los modelos a través de diversos tipos de gráficos, idiomas y escenarios visuales.

Metodología

Para abordar estos desafíos, los autores presentan ChartArena, un benchmark bilingüe integral, y un protocolo de evaluación agnóstico al formato.

1. Benchmark ChartArena

• Cobertura: El benchmark abarca ocho familias de gráficos: seis tipos numéricos (barras, líneas, sectores, radar, diagrama de caja, gráfico combinado) y dos tipos diagramáticos (diagrama de flujo, mapa mental).
• Escenarios Visuales: Cada tipo de gráfico se evalúa en tres condiciones visuales distintas:
  • Representaciones digitales (limpias).
  • Fotos impresas (capturadas de documentos físicos).
  • Fotos de bocetos hechos a mano (dibujados en pizarras/cuadernos).
• Idiomas: Todo el contenido se proporciona tanto en inglés como en chino.
• Construcción del Conjunto de Datos: El conjunto de datos consta de 2,400 muestras (50 por configuración). Se construye mediante un flujo de trabajo de anotación colaborativa humano-agente:
  • Los MLLM generan borradores gruesos (Markdown para numéricos, Mermaid para diagramas).
  • Los anotadores humanos realizan una verificación de múltiples etapas para corregir elementos estructurales (nodos, aristas) y contenido semántico (etiquetas, valores).
  • Los desacuerdos sobre valores ambiguos se resuelven mediante múltiples anotadores para garantizar una alta fiabilidad.

2. Protocolo de Evaluación Agnóstico al Formato

Para permitir una comparación justa entre modelos con salidas heterogéneas, el protocolo normaliza todas las predicciones en dos espacios semánticos canónicos antes de la puntuación:

• Vista de Tripletas Normalizadas (Gráficos Numéricos): Todas las salidas (Markdown, CSV, JSON, Código, etc.) se mapean a un conjunto de tripletas semánticas (encabezado, entidad, valor). Este paso incluye la canonicalización léxica y numérica (p. ej., tratar "3.0" y "3" como idénticos).
• Vista de Grafo Dirigido (Gráficos Diagramáticos): Los lenguajes de diagramas (Mermaid, Graphviz, PlantUML, etc.) se normalizan en un grafo dirigido con nodos y aristas etiquetados, abstrayendo las diferencias sintácticas para capturar estructuras topológicas y jerárquicas.

Métricas de Puntuación:

• Métricas Sensibles a la Estructura: La puntuación se basa en la corrección estructural en lugar de la similitud de cadenas.
  • Numérico: Intersección sobre la Unión (IoU) de los conjuntos de tripletas, utilizando la distancia de Levenshtein para el texto y umbrales de error relativo para los números.
  • Diagramático: Coincidencia de nodos y aristas mediante el algoritmo húngaro, con un mayor peso en las aristas para penalizar errores topológicos.
• Agregación: Los resultados se reportan como Coincidencia Exacta (EM) y precisión media promedio (mAP) a través de tres niveles de tolerancia (estricto, ligero, alto). La métrica principal reportada es mAPhigh.

Resultados Clave

Los autores evaluaron 26 modelos líderes, categorizados en MLLM de propósito general, MLLM de análisis de documentos y Expertos en análisis de gráficos.

1. Modelos Propietarios vs. Código Abierto: Los modelos propietarios de vanguardia (p. ej., Gemini 3.1 Pro) lideran el conjunto general (promedio de 59.2 EN / 73.2 ZH mAP). Sin embargo, los sistemas de código abierto más fuertes (p. ej., Qwen3.5-35B-A3B, Kimi K2.5) están cerrando rápidamente la brecha, logrando puntuaciones competitivas en el nivel superior.
2. Rendimiento Numérico vs. Diagramático:
   • Los MLLM de análisis de documentos (p. ej., HunyuanOCR) manejan razonablemente bien los gráficos numéricos, pero caen drásticamente en las estructuras diagramáticas (diagramas de flujo, mapas mentales). Esto sugiere que inferir nodos implícitos y jerarquías requiere un conocimiento de mundo más amplio que se encuentra en los modelos de propósito general más grandes.
   • Los Expertos en análisis de gráficos siguen limitados a familias de gráficos estrechas. Muchos analizadores dedicados (p. ej., ChartAst, TinyChart) no pueden manejar gráficos diagramáticos en absoluto, e incluso aquellos que pueden (p. ej., RRVF) se quedan significativamente atrás de los MLLM de propósito general en el rendimiento general.
3. Desafíos Específicos:
   • Gráficos de Radar: Identificados como la categoría numérica más difícil en todos los modelos, probablemente debido a la dificultad de estimar valores angulares y la escasez de datos en el entrenamiento.
   • Escenarios Hechos a Mano: El rendimiento se degrada sustancialmente para las entradas hechas a mano en comparación con las representaciones digitales.
   • Estabilidad de Formato: El protocolo de evaluación demuestra ser robusto para la mayoría de los formatos (Markdown, JSON, Mermaid), pero SVG (para gráficos numéricos) y PlantUML (para diagramas de flujo) muestran caídas significativas de rendimiento, lo que indica problemas específicos de compatibilidad entre formato y estructura.

Significación y Reivindicaciones

El artículo afirma que ChartArena proporciona la primera base unificada para evaluar el análisis de gráficos a través de todo el espectro de tipos de gráficos, escenarios visuales e idiomas. Su importancia radica en:

• Exponer Brechas de Capacidad: Revela que los actuales analizadores "expertos" aún no son de propósito general y que incluso los modelos líderes tienen dificultades con las estructuras diagramáticas y las condiciones visuales no ideales.
• Estandarizar la Evaluación: Al introducir un protocolo de normalización determinista y agnóstico al formato, permite una comparación justa entre paradigmas, alejando al campo de los benchmarks fragmentados y específicos de un formato.
• Evaluación Realista: Al incluir escenarios impresos y hechos a mano, desplaza el enfoque de la evaluación desde entornos controlados de laboratorio hacia condiciones de despliegue reales.

Los autores posicionan a ChartArena como un "banco de pruebas duradero" destinado a guiar la investigación futura hacia sistemas de comprensión de gráficos más fiables, reproducibles y verdaderamente de propósito general.