💻 computer science

Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

Dit artikel introduceert het FairChart2Table-raamwerk om aan te tonen dat multimodale taalmodellen aanzienlijke prestatiebias vertonen die gerelateerd is aan kenmerken van de y-as (zoals het aantal cijfers, het aantal streepjes en het waardenbereik) en de complexiteit van de legenda bij de vertaling van diagrammen naar tabellen, terwijl het aantoont dat het verstrekken van expliciete y-as-informatie deze discrepanties kan verminderen.

Oorspronkelijke auteurs: Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robotkok voor (een Multimodaal Taalmodel, of MLM) wiens taak het is om naar een afbeelding van een grafiek te kijken en het recept (de datatabel) exact zoals het verschijnt op te schrijven. Je zou verwachten dat deze robot perfect is, toch?

Dit artikel zegt: Niet zo snel. De robot is eigenlijk erg kieskeurig over hoe de getallen op de verticale liniaal van de grafiek (de y-as) zijn geschreven. Als de liniaal er op een bepaalde manier uitziet, kookt de robot een heerlijke maaltijd. Als het er iets anders uitziet, verbrandt de robot het eten.

Hier is de uiteenzetting van hun bevindingen met eenvoudige analogieën:

1. Het Probleem: De Robot Heeft "Blind Vlekken"

De onderzoekers merkten op dat de grafieken waarop de robots waren getraind, onbalans vertoonden. Het was alsof je een kok alleen traint op recepten die koppen bloem gebruiken, maar ze nooit leert over eetlepels. Wanneer de kok eindelijk een eetlepel zag, raakte hij in de war.

In de wereld van grafieken zijn de "ingrediënten" dingen zoals:

Cijferlengte: Is het getal "5" of "5.000.000"?
Streepjes: Zijn er 3 lijnen op de liniaal of 11?
Formaten: Zijn de getallen geschreven als "7.000", "7K" of "7.00e+3"?

Het artikel vond dat de robots slecht presteren wanneer deze specifieke ingrediënten veranderen, zelfs als de feitelijke data hetzelfde is.

2. De Oplossing: Een "Eerlijke Testkeuken" (FairChart2Table)

Om dit te bewijzen, bouwden de onderzoekers een nieuwe, supergecontroleerde testkeuken genaamd FairChart2Table.

De Opzet: In plaats van rommelige, realistische grafieken te gebruiken, genereerden ze duizenden perfecte, synthetische grafieken.
De Controle: Ze veranderden slechts één ding tegelijk. Bijvoorbeeld, ze namen exact dezelfde data en maakten één grafiek met getallen als "1, 2, 3" en een andere met "1.000, 2.000, 3.000".
Het Doel: Om precies te zien welk specifiek kenmerk van de liniaal de robot doet struikelen.

3. Belangrijkste Bevindingen: Wat Laat de Robot Struikelen?

A. De "Grootte" van de Getallen (Cijferlengte)
Stel je de cijferlengte voor als de grootte van het lettertype op de liniaal.

De Bevinding: De robots raken in de war wanneer de getallen erg lang worden (zoals 15 of 16 cijfers). Het is alsof je probeert een menu te lezen waar de prijzen in microscopisch klein lettertype zijn geschreven. Sommige robots (zoals GPT-4o) raakten extreem in de war met zeer lange getallen, terwijl anderen (zoals Gemini) het beter aankonden maar toch worstelden.

B. De "Menigte" in de Grafiek (Aantal Entiteiten)
Stel je een grafiek voor met één lijn (één entiteit) versus een grafiek met zes lijnen die elkaar kruisen als een bord spaghetti.

De Bevinding: Naarmate de lijnen voller worden, beginnen de robots ze door elkaar te halen. Ze kunnen zeggen: "Dit punt behoort bij de Rode Lijn," terwijl het eigenlijk bij de Blauwe Lijn hoort. Hoe meer lijnen er zijn, hoe waarschijnlijker het is dat de robot de antwoorden verwisselt.

C. De "Stijl" van de Liniaal (Formaten en Streepjes)

De Bevinding: Robots haten afkortingen. Als je "1 Miljoen" schrijft als "1M" of "1.000.000", raken sommige robots in de war. Ze worstelen ook als de liniaal zeer weinig streepjes heeft (3 streepjes) in vergelijking met veel streepjes (11 streepjes). Het is alsof je probeert de temperatuur te raden met een thermometer waarop alleen "Heet" en "Koud" staat, versus een met elke enkele graad aangegeven.

4. De Magische Truc: De Robot een Spiekbriefje Geven

De onderzoekers vroegen zich af: "Wat als we de robot gewoon vertellen wat de liniaal zegt?"

Het Experiment: Ze gaven de robots een prompt waarin expliciet de getallen op de y-as werden vermeld (bijvoorbeeld: "De liniaal loopt van 0 tot 100 in stappen van 10").
Het Resultaat: Het werkte als magie voor sommige robots. Hun prestaties sprongen aanzienlijk omhoog. Het is alsof je de kok een liniaal geeft zodat ze de maten niet hoeven te raden. Dit hielp echter niet elke robot evenveel; sommigen waren al goed, en anderen worstelden nog steeds met specifieke formaten zoals afkortingen.

5. Nieuwe Hulpmiddelen voor de Taak

Het artikel bedacht ook nieuwe manieren om de robots te beoordelen.

Oude Beoordeling: Kreeg vroeger alleen gecontroleerd of het getal dichtbij zat.
Nieuwe Beoordeling (TBE): Ze realiseerden zich dat een afwijking van "200 punten" er heel anders uitziet, afhankelijk van de grafiek. Als de grafiek loopt van 0 tot 1.000, is een afwijking van 200 een enorme fout. Als de grafiek loopt van 0 tot 1.000.000, is een afwijking van 200 verwaarloosbaar klein. Hun nieuwe maatstaf meet fouten op basis van de "roosterlijnen" van de grafiek, wat een eerlijkere manier is om te beoordelen of de robot de grafiek daadwerkelijk goed zag.

Samenvatting

Het artikel concludeert dat Multimodale Taalmodellen nog niet perfect zijn in het lezen van grafieken, omdat ze bevooroordeeld zijn door hoe de getallen op de verticale as worden gepresenteerd. Ze presteren goed op sommige stijlen maar falen op andere. Door een eerlijke testomgeving te creëren en de modellen een beetje hulp te geven (ze te prikkelen met de aswaarden), kunnen we precies zien waar ze falen en hen helpen verbeteren.

Opmerking: Het artikel beweert niet dat deze robots momenteel worden gebruikt voor medische diagnoses of financiële handel; het richt zich strikt op de technische prestaties van het vertalen van grafiekafbeeldingen naar datatabels.

1. Probleemstelling

Multimodale Taalmodellen (MLM's) worden steeds vaker gebruikt om grafiekafbeeldingen te vertalen naar gestructureerde tabulaire gegevens (Chart-to-Table vertaling). Hoewel eerdere onderzoekingen bias in MLM's hebben onderzocht met betrekking tot grafiekcomplexiteit, kleurenschema's en lettergroottes, is er een aanzienlijke leemte in het begrijpen hoe y-as specifieke informatie de prestaties van het model beïnvloedt.

De auteurs identificeren dat openbare datasets (zoals PlotQA, ChartQA) lijden aan ernstige onevenwichtigheden met betrekking tot y-as kenmerken, zoals:

Cijferlengte: Het aantal cijfers in het gehele deel van de maximale y-as waarde.
Indelingsconfiguraties: Het aantal hoofdindelingen en het bereik van waarden.
Waardeformaten: Het gebruik van afkortingen (K, M, B), wetenschappelijke notatie of komma's.

Deze onevenwichtigheden leiden tot onbedoelde bias waarbij modellen goed presteren op specifieke y-as configuraties maar falen in generalisatie naar andere. Bovendien slagen bestaande evaluatiemetrics (zoals RMSF1) er vaak niet in om visueel significante fouten te vangen, zoals afwijkingen groter dan een kleinste indelingsinterval, wat leidt tot onbetrouwbare beoordelingen.

2. Methodologie: Het FairChart2Table Kader

Om deze lacunes aan te pakken, stellen de auteurs FairChart2Table voor, een bias-gestuurd kader bestaande uit een nieuwe benchmarkdataset en nieuwe evaluatiemetrics.

A. Opbouw van de Benchmark

Het kader genereert een synthetische dataset met behulp van de Bokeh-tekenbibliotheek om strikte controle over variabelen te waarborgen. De dataset is verdeeld in vier subsets (Deel A–D) om specifieke bias te isoleren:

Deel A (Cijferlengte): Genereert 3.060 afbeeldingen waarbij de cijferlengte van y-as waarden (0–16) en het aantal entiteiten (1–6) varieert.
Deel B (Hoofdindelingen): Vergelijkt prestaties met 3, 6 en 11 hoofdindelingen.
Deel C (Waardebereik): Test drie bereikscenario's:
- Positief (Pos): Oorsprong verschoven omhoog (alle waarden positief).
- Negatief (Neg): Oorsprong verschoven omlaag (alle waarden negatief).
- Uitgebreid (Ext): Data-bereik verdubbeld, waardoor waarden naar de onderkant worden geduwd.
Deel D (Getalformaten): Test gewone getallen, komma's, afkortingen (K, M, B, T) en wetenschappelijke notatie.

Alle andere visuele elementen (titels, lettertypes, kleuren, x-as) zijn gestandaardiseerd om verstorende factoren te voorkomen.

B. Nieuwe Evaluatiemetrics

De auteurs bekritiseren de standaard RMSF1 metric omdat deze visueel opvallende fouten niet adequaat bestraft. Zij stellen Tick-Based Error (TBE) metrics voor:

$DTBE$ (Tick-Based Distance): Normaliseert de absolute fout ( $|g - p|$ ) door het kleinste indelingsinterval ( $t$ ), in plaats van de ground truth waarde.
$DTBE(g, p) = \min\left(1, \frac{|g - p|}{t}\right)$
$RMSTBE_{F1}$ : Een variant van de F1-score die $DTBE$ gebruikt voor numerieke uitlijning, waarbij header-boetes worden verwijderd om zich te richten op data-accuratesse.
$RMSTBE_{F1}$ -Sig: Richt zich uitsluitend op "significante" afwijkingen waarbij de fout het kleinste indelingsinterval overschrijdt.
SES (Swapping Error Score): Meet structurele fouten waarbij waarden correct zijn geëxtraheerd maar aan het verkeerde entiteit zijn toegewezen (vaak voorkomend bij kruisende lijnen), berekend als het verschil tussen een minimale kostenmatching-score en de standaard $RMSTBE_{F1}$ .

3. Experimentele Opstelling

Het kader werd gebruikt om vijf state-of-the-art modellen te evalueren:

Gesloten Bron: GPT-4o, Gemini-2.0-flash.
Open Bron: Pixtral-12B.
Gespecialiseerd/Supervised: DePlot (specifiek voor chart-to-table), ChartGemma, en TinyChart (algemene grafiekbegrip).

Experimenten omvatten gepaarde statistische tests (Wilcoxon signed-rank) om prestaties te vergelijken over verschillende bias-configuraties.

4. Belangrijkste Resultaten en Bevindingen

RQ1: Impact van Y-As Informatie

Cijferlengte: Prestaties verslechteren over het algemeen naarmate de cijferlengte toeneemt.
- DePlot en TinyChart vertonen significante dalingen bij hogere cijferlengtes (bijv. 11, 15, 16).
- GPT-4o presteert over het algemeen het slechtst en vertoont sterke bias tegen hoge cijferlengtes.
- Gemini is het meest robuust, maar toont nog steeds een neerwaartse trend.
Hoofdindelingen: Alle modellen presteren slechtst met 3 hoofdindelingen. Gesloten-bron modellen (Gemini, GPT-4o) verbeteren met 11 indelingen, terwijl open-bron modellen geen uniforme trend vertonen.
Waardebereik:
- DePlot heeft moeite met negatieve oorsprongen en uitgebreide bereiken.
- TinyChart excelleert wanneer de as bij nul kruist, maar faalt bij verschoven oorsprongen.
- Gemini blijft consistent over de meeste bereiken, maar daalt significant bij uitgebreide bereiken.
Getalformaten:
- Afkortingen (K, M, B, T) veroorzaken dramatische prestatiedalingen voor bijna alle modellen (bijv. TinyChart daalt van ~80% naar ~26%).
- Wetenschappelijke Notatie heeft ook een negatief effect op veel modellen, hoewel DePlot en TinyChart hier beter mee omgaan dan met afkortingen.

RQ2: Andere Factoren (Entiteiten en Grafiektypes)

Aantal Entiteiten: Naarmate het aantal entiteiten (1–6) toeneemt, nemen de prestaties over het algemeen af door een toegenomen waarschijnlijkheid van lijnkrisingen.
- SES Scores: Modellen zoals DePlot en TinyChart vertonen hoge verwisselingsfouten (verwarring van entiteiten) bij 5–6 entiteiten.
- Gemini en Pixtral zijn robuuster tegen toename van het aantal entiteiten.
Grafiektypes: Wanneer de onderliggende data identiek is, zijn prestatieverschillen tussen Lijn-, Punt- en Staafdiagrammen statistisch significant, maar minder uitgesproken dan y-as bias.

RQ3: Impact van Prompting met Y-As Hints

Het expliciet verstrekken van y-as indelingswaarden als onderdeel van de prompt verbetert de prestaties aanzienlijk voor sommige modellen.
Pixtral zag winst variërend van 0,94% tot 26,60%.
Gemini toonde een dramatische verbetering (van 46,54% naar 61,32%) specifiek bij het verwerken van afgekorte formaten, wat suggereert dat de hint helpt bij het decoderen van niet-standaard formaten.

5. Betekenis en Bijdragen

Identificatie van Verborgen Bias: Het artikel onthult systematisch dat y-as kenmerken (cijferlengte, aantal indelingen, formaten) belangrijke, eerder ononderzochte bronnen van bias in MLM's zijn.
FairChart2Table Kader: Een reproduceerbare benchmark en methodologie om bias-gestuurde datasets te genereren, waardoor onderzoekers specifieke variabelen kunnen isoleren.
Verbeterde Metrics: De introductie van TBE-gebaseerde metrics ( $RMSTBE_{F1}$ ) biedt een visueel accuratere beoordeling van chart-to-table vertaalfouten in vergelijking met traditionele tekstgebaseerde metrics.
Praktische Inzichten: De studie demonstreert dat prompt engineering (het verstrekken van y-as hints) specifieke bias kan mitigeren, met name voor het verwerken van afkortingen en complexe cijferlengtes.

6. Beperkingen

De dataset is synthetisch (gegenereerd via Bokeh) en bevat geen real-world, ruwe grafiekafbeeldingen.
Alle tekst (grafieken en legenda's) is in het Engels.
De studie richt zich uitsluitend op y-as bias, niet op andere grafiekelementen.

Conclusie

De auteurs concluderen dat huidige MLM's zeer gevoelig zijn voor y-as configuraties, vaak falend op data met hoge cijferlengtes of niet-standaard formaten. Het FairChart2Table kader biedt een noodzakelijk hulpmiddel voor het ontwikkelen van robuustere, onbevooroordeelde modellen voor grafiekbegrip, en suggereert dat expliciete y-as context een krachtige hefboom kan zijn voor het verbeteren van modelaccuratesse.