RealChart2Code: Advancing Chart-to-Code Generation with Real Data and Multi-Task Evaluation

El artículo presenta \texttt{RealChart2Code}, un nuevo benchmark a gran escala basado en datos reales que evalúa la capacidad de los modelos de lenguaje-visión para generar y refinar código de visualizaciones complejas, revelando limitaciones significativas en los modelos actuales y una brecha de rendimiento entre los sistemas propietarios y los de código abierto.

Lo esencial

¡Claro que sí! Imagina que este paper es como una prueba de manejo de alto nivel para los "conductores" más inteligentes del mundo: las Inteligencias Artificiales (IA).

Aquí tienes la explicación, traducida al español y con algunas analogías divertidas:

🚗 El Problema: Conducir en un estacionamiento vs. en la selva

Hasta ahora, hemos estado probando a las IAs (específicamente a las que combinan visión y lenguaje) en estacionamientos vacíos.

• Los benchmarks anteriores (como Plot2Code): Eran como pedirle a un robot que dibujara un círculo perfecto o una línea recta. ¡Lo hacían genial! Parecían genios.
• La realidad: En el mundo real, no dibujamos círculos perfectos. Dibujamos mapas del tráfico, gráficos de la bolsa con miles de datos, o mapas meteorológicos con muchas capas. Es como pedirle al robot que conduzca por la selva amazónica, esquivando árboles, cruzando ríos y manejando un camión lleno de carga.

El problema es que las IAs actuales se quedan atascadas en el estacionamiento. Cuando les pides algo complejo, se confunden.

🛠️ La Solución: "RealChart2Code" (El nuevo examen de conducir)

Los autores crearon un nuevo examen llamado RealChart2Code. Imagina que es un gimnasio de entrenamiento extremo para IAs.

En lugar de usar dibujos falsos o datos inventados, este examen usa:

1. Datos reales: Como los que usan los analistas financieros o científicos de verdad (datos sucios, grandes y complicados).
2. Gráficos complejos: No solo un gráfico de barras, sino "collages" visuales con 10 gráficos diferentes en una sola pantalla, todos conectados.
3. Conversación: No es solo "haz esto". Es como si un jefe le dijera a la IA: "Oye, el gráfico de la izquierda está mal, ponle color azul y añade una línea de tendencia". La IA debe corregir su trabajo sin romper lo demás.

📊 Las Tres Pruebas del Examen

El examen tiene tres niveles, como un videojuego:

1. Nivel 1: Copiar el dibujo (Replicación)

   • La analogía: Te muestran una foto de un pastel y te piden que escribas la receta exacta para hacerlo.
   • El reto: La IA debe mirar la imagen y escribir el código para que el pastel salga idéntico.

2. Nivel 2: Cocinar con ingredientes reales (Reproducción)

   • La analogía: Ahora no solo te dan la foto del pastel, sino que te dan la bolsa de harina, los huevos y el azúcar (los datos reales).
   • El reto: La IA debe usar esos ingredientes reales para cocinar el pastel. Si los ingredientes son raros o hay muchos, la IA suele quemar la cocina.

3. Nivel 3: El chef que corrige errores (Refinamiento)

   • La analogía: El chef (la IA) hizo el pastel, pero está un poco quemado. Tú le dices: "Quema menos el borde y pon más fresas".
   • El reto: La IA debe arreglar el pastel sin tirar todo a la basura. Aquí es donde la mayoría falla: arreglan un error pero rompen otra parte del pastel.

🏆 Los Resultados: ¿Quién aprobó?

Los autores pusieron a 14 de las IAs más famosas a pasar este examen (desde las de pago como GPT-5 o Claude, hasta las gratuitas como Qwen).

• El resultado sorprendente: ¡Casi todos reprobaron!
  • En los exámenes fáciles (el estacionamiento), las IAs sacaban un 90-100%.
  • En RealChart2Code (la selva), sus notas se desplomaron a un 20-50%.
• La brecha: Las IAs de pago (las "privadas") lo hicieron un poco mejor, como si tuvieran un GPS más avanzado, pero las IAs de código abierto (las "gratuitas") se perdieron completamente en la selva.
• El problema principal: Las IAs son muy buenas escribiendo código simple, pero son malas entendiendo el espacio. No saben cómo organizar 5 gráficos en una sola pantalla sin que se solapen o se vean mal. Es como si intentaran pintar un mural gigante pero solo saben pintar cuadros pequeños.

💡 ¿Qué aprendemos de esto?

Este paper nos dice que no debemos confiar ciegamente en las IAs para tareas de visualización de datos complejas todavía.

• La moraleja: Que una IA sepa escribir código no significa que sepa "pensar" visualmente.
• El futuro: Necesitamos entrenar a estas IAs con más datos reales y enseñarles a planificar el "diseño" de la página, no solo a escribir líneas de código sueltas.

En resumen: Hemos creado un examen tan difícil y realista que ha demostrado que, aunque las IAs son genios copiando dibujos simples, aún son principiantes cuando tienen que diseñar mapas complejos con datos del mundo real. ¡Aún les queda mucho camino por recorrer!

Resumen técnico

Resumen Técnico: RealChart2Code

1. El Problema

A pesar de los avances impresionantes de los Modelos de Lenguaje y Visión (VLM) en la generación de código, su capacidad para replicar visualizaciones complejas derivadas de datos reales sigue siendo insuficientemente evaluada.

• Limitaciones de los benchmarks actuales: Las evaluaciones existentes (como Plot2Code o ChartMimic) se basan principalmente en gráficos simples, de un solo panel, o en datos sintéticos. A menudo utilizan pares imagen-código preexistentes que pueden sufrir de fugas de datos o carecer de la complejidad del mundo real.
• Brecha de complejidad: Los modelos actuales fallan estrepitosamente al intentar generar gráficos con múltiples subgráficos, diseños compuestos intrincados y, crucialmente, al trabajar con grandes volúmenes de datos estructurados reales (CSV) en lugar de datos sintéticos.
• Falta de evaluación iterativa: No existen métricas robustas para evaluar la capacidad de los modelos para refinar código en conversaciones multi-turno, un escenario común en el desarrollo de software real.

2. Metodología: RealChart2Code

Para abordar estas brechas, los autores introducen RealChart2Code, un nuevo benchmark a gran escala diseñado específicamente para evaluar la generación de código de visualización en escenarios realistas.

• Escala y Origen de los Datos:

  • Contiene 2,896 instancias derivadas de 1,036 conjuntos de datos reales filtrados de Kaggle (aproximadamente 860 millones de filas de datos en total).
  • Cubre 8 dominios temáticos (Finanzas, Salud, Tecnología, etc.) y 35 subtemas.
  • Incluye 50 tipos de gráficos distintos y 7 intenciones de visualización de alto nivel.

• Tareas Principales (Definición del Problema):
  El benchmark evalúa tres variantes de la tarea de "Chart-to-Code":

  1. Replicación de Gráficos (Chart Replication): El modelo recibe solo la imagen del gráfico y debe generar el código para replicarlo (prueba de traducción visual a código).
  2. Reproducción de Gráficos (Chart Reproduction): El modelo recibe la imagen, los datos brutos (CSV) y los metadatos. Debe generar el código que procesa esos datos reales para producir el gráfico (prueba de razonamiento sobre datos).
  3. Refinamiento de Gráficos (Chart Refinement): Un escenario interactivo multi-turno. El modelo recibe un gráfico con errores predefinidos y una instrucción de corrección. Debe depurar y modificar el código existente sin romper la funcionalidad previa.

• Proceso de Curación:

  • Código de Verdad Terrena (Ground Truth): Implementado manualmente por un equipo de 5 desarrolladores expertos en Python (usando Matplotlib/Seaborn), evitando el uso de código generado por IA como referencia.
  • Inyección de Errores: Para la tarea de refinamiento, se introdujeron manualmente errores diversos (tipos de gráficos incorrectos, mapeo de datos erróneo, superposición de elementos) para simular escenarios de depuración realistas.

• Métricas de Evaluación:

  • Tasa de Éxito (Pass Rate): Porcentaje de código que se ejecuta sin errores en un entorno sandbox (Docker).
  • Puntuación de Precisión Visual: Un panel de agentes de IA (multi-agent judging panel) evalúa 8 criterios clave (tipo de gráfico, diseño espacial, elementos de texto, configuración de ejes, esquema de color, estilo, completitud de componentes y consistencia de patrones de datos) en una escala de 0 a 2.
  • Evaluación de Calidad: Claridad visual, equilibrio compositivo y calidad tipográfica.

3. Contribuciones Clave

1. Primer Benchmark Realista: Es la primera evaluación sistemática que utiliza datos reales a gran escala y evalúa la generación de código para gráficos complejos y multi-panel.
2. Evaluación Iterativa: Introduce un marco de conversación multi-turno para evaluar la capacidad de refinamiento y depuración de los modelos, algo ausente en benchmarks anteriores.
3. Análisis de Brecha de Capacidad: Proporciona evidencia cuantitativa de que el rendimiento en benchmarks simples no se correlaciona con la capacidad de manejar tareas complejas del mundo real.
4. Recursos Abiertos: El dataset, el código y las herramientas de evaluación están disponibles públicamente para fomentar la investigación futura.

4. Resultados Experimentales

Se evaluaron 14 modelos VLM líderes (5 propietarios y 9 de código abierto) en el benchmark.

• Desempeño General:

  • Existe una degradación significativa del rendimiento en RealChart2Code en comparación con benchmarks simples. Modelos que obtienen puntuaciones cercanas al 90-100% en ChartMimic caen a menos del 50% en RealChart2Code.
  • Brecha Propietario vs. Abierto: Los modelos propietarios (especialmente Claude-4.5-Opus con 8.2/10 y Gemini-3-Pro-Preview con 8.1/10) superan significativamente a los modelos de código abierto. Los mejores modelos abiertos (Qwen3-VL-235B, Intern-VL-3.5-241B) obtienen puntuaciones inferiores a la mitad de los propietarios (3.6 y 3.4 respectivamente).

• Análisis de Errores:

  • Modelos de Código Abierto: Tienden a fallar por errores de sintaxis y ejecución (llamadas a bibliotecas inexistentes, funciones inválidas) y fallos en el razonamiento espacial (diseño de subgráficos superpuestos).
  • Modelos Propietarios: Tienen una sintaxis robusta, pero fallan principalmente en errores de mapeo de datos (asignar series de datos incorrectas a los ejes) y en la consistencia de los patrones de datos.
  • Fragilidad en Refinamiento: Ambos tipos de modelos sufren de "Edición Regresiva", donde al corregir un error, introducen nuevos errores en partes del código que antes eran correctas, perdiendo el contexto global.

• Correlación Humana: La evaluación automática mediante agentes múltiples mostró una alta correlación (Kappa de Cohen ~0.83) con las evaluaciones humanas, validando la fiabilidad de la métrica.

5. Significado e Impacto

• Límite Actual de la IA: El estudio demuestra que, aunque los LLMs actuales son expertos en sintaxis de programación básica, carecen de la capacidad de razonamiento visual y lógico necesaria para reconstruir visualizaciones complejas basadas en datos reales.
• Nueva Dirección de Investigación: Sugiere que los futuros modelos deben entrenarse no solo en pares imagen-código, sino en flujos de trabajo de ciencia de datos completos, incluyendo la manipulación de datos reales y la depuración iterativa.
• Estándar de Evaluación: RealChart2Code establece un nuevo estándar para medir la verdadera capacidad de los VLMs en tareas de ingeniería de software orientadas a la visualización de datos, alejándose de las pruebas sintéticas que ya están saturadas.

En conclusión, RealChart2Code revela que la generación de código para visualización de datos complejos sigue siendo un desafío abierto, destacando una brecha crítica entre la capacidad de los modelos actuales y las necesidades reales de los usuarios en entornos profesionales.