ChartEditBench: Evaluating Grounded Multi-Turn Chart Editing in Multimodal Language Models

Resumen Técnico: ChartEditBench

1. El Problema

Aunque los Modelos de Lenguaje Multimodal (MLLMs) han demostrado un rendimiento sólido en la generación de gráficos en un solo turno (crear un gráfico desde cero basándose en una descripción), su capacidad para soportar el análisis exploratorio de datos en el mundo real sigue siendo poco explorada.

En la práctica, los analistas y desarrolladores rara vez crean visualizaciones en un solo paso. En su lugar, iteran sobre especificaciones existentes mediante interacciones de múltiples vueltas (multi-turn), donde deben:

• Mantener un "terreno común" (contexto compartido) a lo largo de la conversación.
• Rastrear ediciones previas.
• Adaptarse a preferencias evolutivas.

Los benchmarks actuales se centran en la generación única o en la comprensión estática, ignorando la capacidad crítica de editar código de gráficos de manera incremental sin romper la estructura o el contexto previo. Además, las métricas de evaluación existentes (como "LLM-as-a-Judge" o similitud basada en embeddings como CLIP) sufren de alta varianza, falta de interpretabilidad y no capturan discrepancias semánticas importantes.

2. Metodología

A. Introducción de ChartEditBench
El artículo presenta ChartEditBench, un benchmark sintético diseñado para evaluar la edición de gráficos mediante modificación de código en múltiples turnos.

• Escala: 5,000 cadenas de modificación controladas por dificultad, con un subconjunto de 430 ejemplos verificados por humanos.
• Tipos de Tareas:
  1. Modificación de Código a Código: Dado el código original ($c_1$), la imagen original ($p_1$) y una imagen objetivo modificada ($p_2$), el modelo debe predecir el nuevo código ($c_2$).
  2. Modificación de Delta en Lenguaje Natural: Dado el código original ($c_1$), la imagen ($p_1$) y una instrucción en lenguaje natural ($\delta_{nl}$), el modelo debe generar el código modificado ($c_2$).
• Generación de Datos: Un pipeline automatizado genera gráficos iniciales (37 tipos de matplotlib) y luego aplica secuencias de 5 modificaciones progresivas (de estilo simple a transformaciones de datos complejas). Se utiliza un sistema de gestión de distribución uniforme para asegurar la cobertura equilibrada de tipos de gráficos y modificaciones.

B. Marco de Evaluación Híbrido y Robusto
Para superar las limitaciones de las evaluaciones puramente basadas en LLM, los autores proponen un marco de evaluación compuesto por tres componentes:

1. Verificación de Ejecución: El código generado debe ser ejecutable y producir un gráfico válido (sin errores de sintaxis o renderizado).
2. Aserciones Estructuradas:
   • Aserciones de seguimiento de instrucciones: Verifican objetivamente si la modificación específica se implementó (ej. "cambiar color a rojo").
   • Aserciones de calidad de código: Verifican la integridad estructural (importaciones, cierre de figuras, etc.).
3. Similitud Visual Aterrizada (Grounded Visual Similarity): Un modelo de evaluación (Chart-R1) compara el gráfico generado con el objetivo, enumerando explícitamente diferencias visuales mayores (tipo de gráfico incorrecto) y menores (variaciones de color), penalizando el puntaje en consecuencia.

C. Protocolo Conversacional
La evaluación se realiza en un entorno de múltiples turnos dependientes. El modelo recibe su propia predicción del turno anterior como entrada para el siguiente. Esto permite medir la acumulación de errores y la robustez del modelo ante estados intermedios imperfectos. Si un código falla al renderizar, el sistema hace un "fallback" al último estado exitoso para continuar la prueba, rastreando dónde falló el modelo.

3. Contribuciones Clave

1. Formalización de la Edición Incremental: Definición de la edición de código de gráficos como una tarea de benchmark donde el modelo debe actualizar una especificación existente manteniendo el contexto, en lugar de generar desde cero.
2. Dataset ChartEditBench: Un conjunto de datos sintético de 5,000 instancias con 35 tipos de modificaciones (17 de estilo, 18 de datos) y un subconjunto verificado por humanos para garantizar una verdad fundamental (ground truth) inequívoca.
3. Métricas de Evaluación Aterrizadas Visualmente: Un sistema de puntuación que combina éxito de renderizado, similitud visual y corrección semántica del código, ofreciendo una evaluación más fiable e interpretable que los enfoques actuales de "Juez LLM".

4. Resultados Experimentales

Se evaluaron seis modelos (incluyendo GPT-5-mini, Claude Haiku 4.5, Qwen3-VL y InternVL3) en el benchmark.

• Rendimiento General:

  • Claude Haiku 4.5 obtuvo la puntuación general más alta (2.187), destacando en similitud visual.
  • GPT-5-mini lideró en seguimiento de instrucciones, pero tuvo menor fidelidad visual.
  • Los modelos de código abierto más grandes (Qwen3-VL-30B-A3B) mostraron un rendimiento competitivo gracias a su arquitectura MoE (Mixture-of-Experts), a pesar de tener menos parámetros activos.
  • Los modelos pequeños (ej. InternVL3-1B) mostraron limitaciones fundamentales, especialmente en el seguimiento de instrucciones.

• Degradación en Múltiples Turnos (Hallazgo Crítico):

  • Todos los modelos mostraron una degradación monótona del rendimiento desde el turno 1 al 5.
  • La caída osciló entre un 20% y un 33% en la puntuación general.
  • La brecha de rendimiento entre los mejores y los peores modelos se amplió a medida que avanzaban los turnos, demostrando que la evaluación de múltiples vueltas amplifica las diferencias de capacidad y expone la acumulación de errores.

• Análisis por Tipo de Modificación:

  • Modificaciones de Estilo: (Colores, etiquetas, ejes) fueron las más fáciles y obtuvieron las puntuaciones más altas.
  • Modificaciones Centradas en Datos: (Promedios móviles, transformaciones de datos) fueron extremadamente difíciles incluso para los mejores modelos. Los modelos fallaron frecuentemente en cálculos de ventanas y manejo de casos borde, revelando una brecha entre la comprensión visual y el razonamiento numérico.

• Éxito de Renderizado:

  • Los modelos propietarios lograron tasas de éxito de renderizado del 85-90%, mientras que los modelos de código abierto variaron entre 46% y 90% dependiendo de la complejidad de la tarea.

5. Significado e Implicaciones

• Nuevos Desafíos para MLLMs: El estudio demuestra que, aunque los MLLMs son competentes en la generación de un solo turno, enfrentan limitaciones sustanciales en flujos de trabajo de edición iterativa y basada en código.
• Importancia de la Evaluación de Múltiples Vuelves: Los benchmarks de un solo turno ocultan fallos críticos como la acumulación de errores y la pérdida de contexto. ChartEditBench establece un "banco de pruebas" más realista para agentes multimodales.
• Brecha de Razonamiento Numérico: La dificultad persistente en las transformaciones de datos sugiere que los futuros modelos deben mejorar su capacidad de razonamiento sobre estructuras de datos secuenciales, no solo en la interpretación visual.
• Evaluación Híbrida: La divergencia entre el rendimiento en instrucciones programáticas (objetivas) y las juzgadas por LLM (semánticas) valida la necesidad de métricas híbridas para una evaluación completa.

En conclusión, ChartEditBench establece un nuevo estándar para evaluar la capacidad de los agentes multimodales de interactuar de manera conversacional y grounded con el código de visualización de datos, revelando áreas críticas de mejora para la próxima generación de modelos.