ChartAnno: Evaluating MLLMs for Chart Annotation Generation

Imagina que eres el capitán de una nave espacial y tu computadora acaba de dibujar un mapa estelar hermoso y complejo. El mapa es perfecto, pero es silencioso. Muestra las estrellas, pero no te dice por qué están ahí, cuáles son las más peligrosas o dónde está escondido el tesoro. Para que el mapa sea útil, necesitas añadir notas, flechas y etiquetas; esto se llama anotación de gráficos. Es el arte de convertir una imagen pura en una historia que cualquiera pueda entender.

En el mundo de la inteligencia artificial, hay robots superinteligentes llamados Modelos de Lenguaje de Gran Escala Multimodales (MLLM). Piensa en ellos como robots que pueden leer texto, mirar imágenes y escribir código de computadora al mismo tiempo. Ya les hemos enseñado a entender gráficos e incluso a dibujar nuevos desde cero. Pero hay una brecha complicada: ¿pueden estos robots mirar un gráfico existente y añadir las notas adecuadas para explicarlo? No se trata solo de dibujar una línea; se trata de descifrar qué significa esa línea y luego escribir el código para colocar una etiqueta exactamente donde pertenece. Este es el desafío que aborda el artículo: enseñar a la IA a ser un guía turístico útil para los datos, en lugar de solo un cartógrafo.

Entra en escena CHARTANNO, un nuevo "campo de entrenamiento" creado por investigadores para probar qué tan buenos son estos robots de IA en este trabajo específico. Los investigadores construyeron una biblioteca masiva de 1,200 gráficos del mundo real —que van desde gráficos de noticias hasta artículos científicos— y asociaron cada uno con un conjunto de instrucciones. No solo les dieron a los robots un tipo de instrucción; los probaron con tres niveles de detalle, como un videojuego con dificultad creciente:

1. El nivel de "Objetivo Vago": Se le dice al robot: "Resalta la tendencia más importante". Tiene que adivinar qué significa eso y cómo mostrarlo.
2. El nivel de "Plan de Acción": Se le dice al robot: "Dibuja un cuadro púrpura alrededor de los años 1890 a 1900 y coloca una etiqueta en el medio". Sabe qué hacer, pero tiene que descifrar los colores y tamaños exactos.
3. El nivel de "Plano de Construcción": Se le da una receta: "Dibuja un cuadro púrpura de x=0 a x=10 con un tono de púrpura específico y coloca el texto en las coordenadas (4, 15)".

Los investigadores luego pidieron a 10 modelos de IA diferentes (algunos creados por grandes empresas tecnológicas, otros de código abierto) que escribieran el código de computadora que añadiría estas anotaciones. Verificaron si el código realmente funcionaba, si el gráfico se veía bien, si el significado era claro y si el diseño era bonito.

Esto es lo que encontraron, y es un panorama algo mixto. Primero, los modelos de las grandes tecnológicas (como los de Google y OpenAI) siguen siendo los campeones, realizando generalmente el mejor trabajo al comprender los "objetivos vagos" y crear diseños hermosos. Sin embargo, algunos de los modelos de código abierto están alcanzando rápidamente el nivel, con uno llamado Kimi K2.5 que rinde casi tan bien como los gigantes costosos de código cerrado.

El estudio también reveló verdades sorprendentes sobre cómo piensan estos robots. Cuando las instrucciones eran súper específicas (el nivel de "Plano de Construcción"), los robots lo hacían muy bien. Pero cuando las instrucciones eran vagas (el nivel de "Objetivo Vago"), a menudo tropezaban, luchando por adivinar qué era la parte más importante del gráfico. Es como darle a un chef una receta con medidas exactas frente a simplemente decirle: "Haz algo delicioso"; los robots son excelentes siguiendo recetas, pero aún están aprendiendo a ser chefs creativos.

Otro descubrimiento interesante fue sobre lo que los robots necesitan ver. Podrías pensar que mostrarle al robot la imagen del gráfico le ayudaría mucho. Pero los investigadores descubrieron que darle al robot el código que creó el gráfico era mucho más importante. La imagen ayudaba un poco a que las anotaciones se vieran bonitas, pero sin el código (que contiene los números de datos reales y la estructura), los robots se perdían. De hecho, si solo les mostraban la imagen y ocultaban el código, su rendimiento caía en picada. Resulta que, para estos robots de IA, conocer la matemática detrás de la imagen es más útil que simplemente mirar la imagen en sí.

Finalmente, los investigadores señalaron que la tarea se vuelve mucho más difícil a medida que los gráficos se vuelven más complejos. Si un gráfico tiene muchos puntos de datos o requiere un cambio de código largo y complicado para añadir la anotación, incluso los robots más inteligentes empiezan a cometer errores. Pueden escribir código que no se ejecuta, o pueden colocar una etiqueta en el lugar equivero.

En resumen, CHARTANNO nos muestra que, si bien la IA se está volviendo muy buena dibujando y leyendo gráficos, enseñarle a explicarlos con anotaciones es todavía un trabajo en progreso. Los robots son excelentes siguiendo instrucciones estrictas, pero aún necesitan ayuda para entender el "panorama general" por su cuenta. Los investigadores esperan que esta nueva prueba ayude a construir mejores herramientas de IA que algún día puedan convertir cualquier gráfico confuso en una historia clara y útil para todos.