ChartAnno: Evaluating MLLMs for Chart Annotation Generation

Immagina di essere il capitano di una nave spaziale e il tuo computer ha appena disegnato una mappa delle stelle bellissima e complessa. La mappa è perfetta, ma è silenziosa. Mostra le stelle, ma non dice loro perché sono lì, quali siano le più pericolose o dove sia nascosto il tesoro. Per rendere la mappa utile, devi aggiungere note, frecce ed etichette: questo si chiama annotazione di grafici. È l'arte di trasformare un'immagine grezza in una storia che chiunque possa capire.

Nel mondo dell'intelligenza artificiale, ci sono robot super intelligenti chiamati Modelli di Linguaggio di Grandi Dimensioni Multimodali (MLLM). Immaginali come robot che possono leggere testo, guardare immagini e scrivere codice informatico tutto nello stesso momento. Abbiamo già insegnato loro a comprendere i grafici e persino a disegnarne di nuovi da zero. Ma c'è un vuoto complicato: può un robot guardare un grafico esistente e aggiungere le note giuste per spiegarlo? Non si tratta solo di disegnare una linea; si tratta di capire cosa quella linea significa e poi scrivere il codice per posizionare un'etichetta esattamente dove deve stare. Questa è la sfida che il documento affronta: insegnare all'IA a essere una guida turistica utile per i dati, piuttosto che un semplice cartografo.

Entra in scena CHARTANNO, un nuovo "campo di addestramento" creato dai ricercatori per testare quanto siano bravi questi robot IA in questo lavoro specifico. I ricercatori hanno costruito una vasta biblioteca di 1.200 grafici del mondo reale — che spaziano da grafiche giornalistiche a articoli scientifici — e hanno associato a ciascuno di essi un set di istruzioni. Non hanno dato ai robot un solo tipo di istruzione; li hanno testati con tre livelli di dettaglio, come in un videogioco con una difficoltà crescente:

1. Il livello "Obiettivo Vago": Al robot viene detto: "Evidenzia il trend più importante". Deve indovinare cosa significa e come mostrarlo.
2. Il livello "Piano d'Azione": Al robot viene detto: "Disegna un riquadro viola intorno agli anni 1890-1900 e metti un'etichetta al centro". Sa cosa fare, ma deve capire le dimensioni e i colori esatti.
3. Il livello "Progetto": Al robot viene data una ricetta: "Disegna un riquadro viola da x=0 a x=10 con una specifica tonalità di viola e posiziona il testo alle coordinate (4, 15)".

I ricercatori hanno poi chiesto a 10 diversi modelli di IA (alcuni creati da grandi aziende tecnologiche, altri open-source) di scrivere il codice informatico che aggiungerebbe queste annotazioni. Hanno controllato se il codice funzionasse effettivamente, se il grafico apparisse corretto, se il significato fosse chiaro e se il design fosse bello.

Ecco cosa hanno scoperto, ed è un quadro contrastante. In primo luogo, i modelli delle grandi aziende (come quelli di Google e OpenAI) sono ancora i campioni, poiché svolgono generalmente il miglior lavoro nel comprendere gli "obiettivi vaghi" e nel creare design bellissimi. Tuttavia, alcuni dei modoli open-source stanno recuperando velocemente, con uno chiamato Kimi K2.5 che si comporta quasi come i giganti costosi e a codice chiuso.

Lo studio ha anche rivelato alcune verità sorprendenti su come ragionano questi robot. Quando le istruzioni erano super specifiche (il livello "Progetto"), i robot hanno fatto un ottimo lavoro. Ma quando le istruzioni erano vaghe (il livello "Obiettivo Vago"), spesso inciampavano, faticando a indovinare quale fosse la parte più importante del grafico. È come dare a uno chef una ricetta con misure esatte rispetto al dire semplicemente: "Prepara qualcosa di delizioso"; i robot sono bravi a seguire le ricette, ma stanno ancora imparando a essere chef creativi.

Un'altra scoperta interessante riguardava ciò che i robot hanno bisogno di vedere. Potreste pensare che mostrare al robot l'immagine del grafico lo aiuterebbe molto. Ma i ricercatori hanno scoperto che fornire al robot il codice che ha creato il grafico era molto più importante. L'immagine aiutava un po' a rendere le annotazioni esteticamente gradevoli, ma senza il codice (che contiene i numeri effettivi dei dati e la struttura), i robot si perdevano. Infatti, se avessero mostrato solo l'immagine e nascosto il codice, le loro prestazioni sarebbero crollate. Si scopre che, per questi robot IA, conoscere la matematica dietro l'immagine è più utile del semplice guardare l'immagine stessa.

Infine, i ricercatori hanno notato che il compito diventa molto più difficile man mano che i grafici diventano più complessi. Se un grafico ha molti punti dati o richiede una modifica del codice lunga e complicata per aggiungere l'annotazione, anche i robot più intelligenti iniziano a commettere errori. Potrebbero scrivere codice che non gira, o potrebbero posizionare un'etichetta nel posto sbagliato.

In breve, CHARTANNO mostra che, sebbene l'IA stia diventando molto brava a disegnare e leggere grafici, l'insegnare a spiegarli con annotazioni è ancora un lavoro in corso. I robot sono eccellenti nel seguire istruzioni rigorose, ma hanno ancora bisogno di aiuto per capire il "quadro generale" da soli. I ricercatori sperano che questo nuovo test aiuti a costruire migliori strumenti di IA che possano un giorno trasformare qualsiasi grafico confuso in una storia chiara e utile per tutti.