Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

1. Enunciato del Problema

I Modelli Linguistici Multimodali (MLM) sono sempre più utilizzati per tradurre immagini di grafici in dati tabulari strutturati (traduzione da Grafico a Tabella). Sebbene ricerche precedenti abbiano indagato i bias negli MLM relativi alla complessità del grafico, alle combinazioni di colori e alle dimensioni dei caratteri, esiste un divario significativo nella comprensione di come le informazioni specifiche dell'asse Y influenzino le prestazioni del modello.

Gli autori identificano che i dataset pubblici (ad esempio PlotQA, ChartQA) soffrono di gravi squilibri riguardanti le caratteristiche dell'asse Y, quali:

• Lunghezza delle cifre: Il numero di cifre nella parte intera del valore massimo dell'asse Y.
• Configurazioni delle tacche: Il numero di tacche principali e l'intervallo dei valori.
• Formati dei valori: L'uso di abbreviazioni (K, M, B), notazione scientifica o virgole.

Questi squilibri portano a bias involontari in cui i modelli performano bene su configurazioni specifiche dell'asse Y ma non riescono a generalizzare ad altre. Inoltre, le metriche di valutazione esistenti (come RMSF1) spesso non riescono a cogliere errori visivamente significativi, come deviazioni superiori all'intervallo di una tacca minore, portando a valutazioni inaffidabili.

2. Metodologia: Il Framework FairChart2Table

Per colmare queste lacune, gli autori propongono FairChart2Table, un framework controllato per i bias costituito da un nuovo dataset di benchmark e nuove metriche di valutazione.

A. Costruzione del Benchmark

Il framework genera un dataset sintetico utilizzando la libreria di plotting Bokeh per garantire un controllo rigoroso delle variabili. Il dataset è suddiviso in quattro sottoinsiemi (Parti A–D) per isolare bias specifici:

• Parte A (Lunghezza delle Cifre): Genera 3.060 immagini variando la lunghezza delle cifre dei valori dell'asse Y (0–16) e il numero di entità (1–6).
• Parte B (Tacche Principali): Confronta le prestazioni con 3, 6 e 11 tacche principali.
• Parte C (Intervallo dei Valori): Testa tre scenari di intervallo:
  • Positivo (Pos): Origine spostata verso l'alto (tutti i valori positivi).
  • Negativo (Neg): Origine spostata verso il basso (tutti i valori negativi).
  • Esteso (Ext): Intervallo dei dati raddoppiato, spingendo i valori verso il basso.
• Parte D (Formati Numerici): Testa numeri semplici, virgole, abbreviazioni (K, M, B, T) e notazione scientifica.

Tutti gli altri elementi visivi (titoli, caratteri, colori, asse X) sono standardizzati per prevenire fattori di confusione.

B. Nuove Metriche di Valutazione

Gli autori criticano la metrica standard RMSF1 per non penalizzare adeguatamente gli errori visivamente evidenti. Propongono metriche basate sulle Tacche (Tick-Based Error - TBE):

1. $DTBE$ (Distanza Basata sulle Tacche): Normalizza l'errore assoluto ($|g - p|$) dividendo per l'intervallo della tacca minore ($t$), piuttosto che per il valore di verità fondamentale.
   $$DTBE(g, p) = \min\left(1, \frac{|g - p|}{t}\right)$$
2. $RMSTBE_{F1}$: Una variante del punteggio F1 che utilizza $DTBE$ per l'allineamento numerico, rimuovendo le penalità per gli intestazioni per focalizzarsi sull'accuratezza dei dati.
3. $RMSTBE_{F1}$-Sig: Si concentra solo sulle deviazioni "significative" dove l'errore supera l'intervallo della tacca minore.
4. SES (Punteggio di Errore di Scambio): Misura errori strutturali in cui i valori sono estratti correttamente ma assegnati all'entità sbagliata (comune nelle linee che si incrociano), calcolato come la differenza tra un punteggio di corrispondenza a costo minimo e il classico $RMSTBE_{F1}$.

3. Configurazione Sperimentale

Il framework è stato utilizzato per valutare cinque modelli all'avanguardia:

• Closed-Source: GPT-4o, Gemini-2.0-flash.
• Open-Source: Pixtral-12B.
• Specializzati/Supervisionati: DePlot (specifico per grafico-a-tabella), ChartGemma e TinyChart (comprensione generale dei grafici).

Gli esperimenti hanno coinvolto test statistici accoppiati (test dei ranghi con segno di Wilcoxon) per confrontare le prestazioni tra diverse configurazioni di bias.

4. Risultati Chiave e Scoperte

RQ1: Impatto delle Informazioni dell'Asse Y

• Lunghezza delle Cifre: Le prestazioni generalmente peggiorano all'aumentare della lunghezza delle cifre.
  • DePlot e TinyChart mostrano cali significativi a lunghezze di cifre più elevate (es. 11, 15, 16).
  • GPT-4o performa nel modo peggiore in generale ed esibisce un forte bias contro le lunghezze di cifre elevate.
  • Gemini è il più robusto ma mostra comunque una tendenza al ribasso.
• Tacche Principali: Tutti i modelli performano peggio con 3 tacche principali. I modelli closed-source (Gemini, GPT-4o) migliorano con 11 tacche, mentre i modelli open-source non mostrano una tendenza uniforme.
• Intervallo dei Valori:
  • DePlot fatica con origini negative e intervalli estesi.
  • TinyChart eccelle quando l'asse attraversa lo zero ma fallisce con origini spostate.
  • Gemini rimane coerente nella maggior parte degli intervalli ma cala significativamente con intervalli estesi.
• Formati Numerici:
  • Le abbreviazioni (K, M, B, T) causano cali drastici delle prestazioni per quasi tutti i modelli (ad esempio, TinyChart scende da ~80% a ~26%).
  • Anche la Notazione Scientifica impatta negativamente molti modelli, sebbene DePlot e TinyChart la gestiscano meglio rispetto alle abbreviazioni.

RQ2: Altri Fattori (Entità e Tipi di Grafico)

• Numero di Entità: All'aumentare del numero di entità (1–6), le prestazioni generalmente declinano a causa di una maggiore probabilità di incroci di linee.
  • Punteggi SES: Modelli come DePlot e TinyChart mostrano alti errori di scambio (confusione tra entità) con 5–6 entità.
  • Gemini e Pixtral sono più robusti contro l'aumento del numero di entità.
• Tipi di Grafico: Quando i dati sottostanti sono identici, le differenze di prestazioni tra grafici a linee, a punti e a barre sono statisticamente significative ma meno pronunciate rispetto ai bias dell'asse Y.

RQ3: Impatto del Prompting con Suggerimenti sull'Asse Y

• Fornire esplicitamente i valori delle tacche dell'asse Y come parte del prompt migliora significativamente le prestazioni per alcuni modelli.
• Pixtral ha visto guadagni che vanno dallo 0,94% al 26,60%.
• Gemini ha mostrato un miglioramento drammatico (dal 46,54% al 61,32%) specificamente quando gestisce formati abbreviati, suggerendo che il suggerimento aiuta a decodificare formati non standard.

5. Significato e Contributi

1. Identificazione di Bias Nascosti: Il paper rivela sistematicamente che le caratteristiche dell'asse Y (lunghezza delle cifre, numero di tacche, formati) sono fonti di bias maggiori e precedentemente non esaminate negli MLM.
2. Framework FairChart2Table: Un benchmark riproducibile e una metodologia per generare dataset controllati per i bias, permettendo ai ricercatori di isolare variabili specifiche.
3. Metriche Migliorate: L'introduzione di metriche basate su TBE ($RMSTBE_{F1}$) fornisce una valutazione visivamente più accurata degli errori di traduzione da grafico a tabella rispetto alle tradizionali metriche basate sul testo.
4. Insight Pratici: Lo studio dimostra che l'ingegneria dei prompt (fornire suggerimenti sull'asse Y) può mitigare bias specifici, in particolare per la gestione di abbreviazioni e lunghezze di cifre complesse.

6. Limitazioni

• Il dataset è sintetico (generato tramite Bokeh) e non include immagini di grafici reali e rumorose.
• Tutto il testo (grafici e legende) è in inglese.
• Lo studio si concentra esclusivamente sui bias dell'asse Y, non su altri elementi del grafico.

Conclusione

Gli autori concludono che gli MLM attuali sono altamente sensibili alle configurazioni dell'asse Y, fallendo spesso su dati con lunghezze di cifre elevate o formati non standard. Il framework FairChart2Table fornisce uno strumento necessario per sviluppare modelli più robusti e privi di bias per la comprensione dei grafici, e suggerisce che un contesto esplicito sull'asse Y può essere una leva potente per migliorare l'accuratezza del modello.