Do Large Language Models Understand Data Visualization Rules?

Dit artikel presenteert de eerste systematische evaluatie van grote taalmodellen in het toetsen van visualisatieregels, waarbij wordt geconcludeerd dat deze modellen veelbelovend zijn voor het detecteren van veelvoorkomende fouten en het volgen van instructies, maar nog aanzienlijke beperkingen vertonen bij het interpreteren van subtielere perceptuele regels in vergelijking met symbolische solvers.

De kern

Stel je voor dat je een reusachtige, slimme robot hebt die alles over data en grafieken lijkt te weten. Deze robot (een "Large Language Model" of LLM) kan prachtige kaarten tekenen en zelfs vertellen of een grafiek er raar uitziet. Maar de vraag die de auteurs van dit onderzoek stellen is: Begrijpt deze robot eigenlijk wel de regels waar we ons aan moeten houden om een eerlijke en duidelijke grafiek te maken?

Het onderzoek, getiteld "Do Large Language Models Understand Data Visualization Rules?", is als een grote test voor deze robot. Hier is wat ze hebben gedaan, vertaald naar alledaags taalgebruik:

1. De Regels: Het Recept voor een Goede Grafiek

In de wereld van data-analyse bestaan er decennia aan onderzoek over hoe mensen grafieken zien. Er zijn vaste regels, zoals: "Gebruik geen rode kleur voor iets dat groen zou moeten zijn" of "Gebruik geen lijn voor dingen die los van elkaar staan."

Vroeger gebruikten experts ingewikkelde computerprogramma's (zoals Draco) om deze regels als strikte wiskundige formules te coderen. Dat werkt perfect, maar het is alsof je een recept schrijft in een taal die alleen wiskundigen begrijpen. Het is lastig om nieuwe regels toe te voegen of het systeem aan te passen.

De onderzoekers wilden weten: Kan de slimme robot deze regels begrijpen als we ze gewoon in gewone mensentaal uitleggen?

2. De Test: Een Keuken met 2.000 Recepten

Om dit te testen, hebben de onderzoekers een enorme keuken opgezet:

• Ze hebben 2.000 verschillende grafiek-recepten (in een formaat dat Vega-Lite heet) gegenereerd.
• Ze hebben bewust fouten in deze recepten gestopt (bijvoorbeeld: "Gebruik een staafdiagram voor data die niet in hokjes past").
• Ze wisten precies welke fouten erin zaten, omdat ze eerst de "wiskundige chef-kok" (Draco) hadden laten kijken. Dit was hun waarheid (ground truth).
• Ze gebruikten een slimme truc (een "KL-divergentie filter") om ervoor te zorgen dat ze niet alleen maar dezelfde fouten keer op keer testten, maar een gevarieerde mix van problemen hadden.

3. De Uitdaging: De Robot aan het Werk

Vervolgens gaven ze deze 2.000 grafieken aan verschillende robots (modellen zoals Gemma, Llama en GPT-oss) en vroegen ze: "Kijk naar dit recept. Welke regels zijn hier overtreden?"

Ze testten op twee dingen:

1. Begrijpt hij de regels? (Vond hij de fouten?)
2. Volgt hij de instructies? (Schreef hij het antwoord in het juiste formaat, of begon hij te kletsen?)

4. Wat Vonden Ze? De Resultaten

Hier zijn de belangrijkste ontdekkingen, vertaald naar simpele termen:

• De "Grote Broers" zijn de beste: De grootste en slimste modellen (zoals Gemma 27B en GPT-oss) waren heel goed in het vinden van de fouten. Ze deden het bijna perfect op de simpele regels.
• De "Kleine Broers" worstelen: De kleinere modellen (zoals Llama 3.1 8B) hadden het moeilijk. Ze vonden vaak de fouten niet, of ze schreven hun antwoord in een rommelig formaat waardoor de computer het niet eens kon lezen.
• Taal is belangrijk: Als je de regels in wiskundige code (ASP) gaf, begreep de robot ze bijna niet. Maar als je ze in gewoon Nederlands/Engels uitlegde, werd de robot veel slimmer! Voor de kleinere modellen verbeterde dit hun prestatie met wel 150%. Het is alsof je een robot vertelt: "Doe niet zo raar" in plaats van "Voer instructie 4B uit".
• De lastige regels: De robots waren goed in duidelijke fouten (zoals "gebruik geen lijn voor deze data"), maar ze faalden bijna volledig bij subtiele, visuele regels (zoals hoe kleuren elkaar beïnvloeden). Voor die lastige dingen scoorden ze soms lager dan 0,15 (op een schaal van 0 tot 1).

5. De Conclusie: Een Hulpje, maar nog geen Chef

De conclusie van het papier is als volgt:

Deze slimme robots zijn beloftevolle hulpjes. Ze kunnen als een flexibele controleur fungeren die in gewone taal met je praat. Ze zijn veel makkelijker te gebruiken dan de oude, stijve wiskundige systemen.

MAAR: Ze zijn nog niet perfect. Ze zijn niet zo betrouwbaar als een strikte wiskundige solver voor de lastigste, meest subtiele regels. Ze kunnen soms "hallucineren" of de instructies niet volgen.

Kortom: Je kunt de robot vragen om je grafieken te controleren, en hij zal je vaak helpen met de grote fouten. Maar voor de allerbelangrijkste, subtiele details moet je nog steeds zelf goed opletten, of een menselijke expert erbij halen. De robot is een slimme stagiair, maar nog geen meester-kok.

Technische samenvatting

Titel: Begrijpen Large Language Models regels voor datavisualisatie?

Auteurs: Martín Sinnona, Valentín Bonás, Emmanuel Iarussi, Viviana Siless
Affiliaties: Universidad Torcuato Di Tella, CONICET, Universidad de Buenos Aires (Argentinië)

---

1. Het Probleem

Datavisualisatie is cruciaal voor betrouwbare datacommunicatie. Decennia aan onderzoek in perceptie en design hebben geresulteerd in specifieke regels om misleidende grafieken te voorkomen. Bestaande systemen, zoals Draco, formaliseren deze regels als logische beperkingen (constraints) die worden geverifieerd met Answer Set Programming (ASP) solvers. Hoewel deze systemen nauwkeurig zijn, zijn ze star en vereisen ze specialistische expertise om nieuwe regels te coderen en te onderhouden.

Recente studies suggereren dat Large Language Models (LLMs) misleidende patronen in afbeeldingen kunnen detecteren of vragen over visualisaties kunnen beantwoorden. Het is echter onduidelijk of LLMs daadwerkelijk kunnen redeneren over en handhaving kunnen toepassen van de onderliggende ontwerpregels in chart-specificaties (zoals Vega-Lite). Bestaande benchmarks testen vaak alleen beeldherkenning of leesvaardigheid, maar niet de strikte naleving van ontwerpregels met een "hard-verification" ground truth.

2. Methodologie

De auteurs hebben een systematische evaluatie opgezet om te testen of LLMs (zowel tekst- als multimodale modellen) fouten kunnen detecteren in Vega-Lite specificaties op basis van gevestigde perceptuele regels.

Dataset Generatie (2.000 Instances)

• Bron: De auteurs gebruikten een subset van de Draco-constraints (oorspronkelijk geschreven in ASP) als bron voor ground truth.
• Synthese: Er werden 2.000 gecontroleerde Vega-Lite specificaties gegenereerd met expliciete regelviolaties.
• Balancering: Omdat willekeurige generatie leidt tot een scheve verdeling van probleemtypen, werd een Kullback-Leibler (KL) divergentie-filter toegepast. Dit filter selecteerde alleen specificaties die de verdeling dichter bij een uniforme verdeling brachten, zodat alle probleemcategorieën evenwichtig vertegenwoordigd waren.
• Vertaling: De technische ASP-constraints werden vertaald naar menselijk leesbare, natuurlijke taalregels om te testen of de formulering de prestaties beïnvloedt.

Evaluatie Framework

• Modellen: Er werden diverse open-source modellen getest: Llama 3.1 (8B), Llama 3.2 (3B), Gemma 3 (4B en 27B) en GPT-oss (20B).
• Prompting: Elke specificatie werd geprompt met één van vijf variaties van instructies. De modellen moesten een gestructureerde lijst van probleemnamen teruggeven.
• Metingen:
  1. Correctheid: De F1-score voor het detecteren van de juiste regelviolaties.
  2. Prompt Adherence: Het vermogen van het model om de gevraagde outputformaat (bijv. een JSON-achtige lijst) te volgen zonder fouten.

3. Belangrijkste Bijdragen

1. Eerste Systematische Evaluatie: Dit is de eerste studie die LLMs evalueert tegenover "hard-verification" ground truth die is afgeleid van ASP-solvers, specifiek gericht op de naleving van datavisualisatieregels in code-specificaties.
2. Nieuwe Dataset: Een gecontroleerde dataset van 2.000 Vega-Lite specificaties met gelabelde violations, gebalanceerd via een KL-divergentie-strategie.
3. Twee-dimensionale Evaluatie: De introductie van Prompt Adherence als een kritieke metriek naast nauwkeurigheid, aangezien een model dat de output-indeling niet volgt, onbetrouwbaar is voor geautomatiseerde pipelines.
4. Vergelijking Formuleringsstijlen: Het inzicht dat het vertalen van technische ASP-constraints naar natuurlijke taal de prestaties van kleinere modellen aanzienlijk verbetert.

4. Resultaten

Prompt Adherence (Naleving van instructies)

• Gemma 3 (4B en 27B) en GPT-oss 20B presteerden uitstekend, met adherence-scores van respectievelijk 100% en 98%.
• Llama-varianten scoorden lager (65% voor Llama 3.1 8B en 87% voor Llama 3.2 3B), wat leidde tot parsing-fouten en onbetrouwbare evaluaties.

Detectie van Regelviolaties (F1-Scores)

• Algemene prestatie: De prestaties varieerden sterk per model en probleemtype.
  • GPT-oss 20B behaalde de hoogste globale F1-score (0,82).
  • Gemma 3 27B scoorde tweede (0,23 globaal), met sterke resultaten in categorieën rond markeringen en schalen.
  • Kleinere modellen (zoals Llama 3.2 3B) hadden moeite met subtiele perceptuele regels (F1 < 0,15 voor sommige categorieën).
• Invloed van Formulering: Het gebruik van natuurlijke taalregels in plaats van ASP-constraints verbeterde de prestaties aanzienlijk. Voor Gemma 3 4B leidde dit tot een 150% stijging in F1-score (van 0,058 naar 0,145).
• Zwakke Punten: Modellen presteerden slecht bij subtiele perceptuele regels (bijv. specifieke schaalproblemen of complexe overvleugelingen), waar symbolische solvers nog steeds superior zijn.

Tabel 1 Samenvatting (Geselecteerd)

• Voor eenvoudige problemen (zoals size_negative of log_scale) behaalde GPT-oss 20B bijna perfecte scores (F1 > 0,90).
• Voor complexere of minder voorkomende problemen daalden de scores van de kleinere modellen drastisch, terwijl de grotere modellen (GPT-oss, Gemma 27B) consistent beter presteerden.

5. Betekenis en Conclusie

De studie concludeert dat LLMs veelbelovend zijn als flexibele, taalgedreven validators voor datavisualisatie, maar ze vervangen symbolische solvers (zoals Draco) nog niet volledig.

• Sterke punten: LLMs kunnen veelvoorkomende fouten betrouwbaar detecteren en zijn flexibel in het begrijpen van natuurlijke taalregels.
• Beperkingen: Ze worstelen met subtiele perceptuele regels en hun prestaties zijn sterk afhankelijk van de modelgrootte en de prompt-structuur.
• Kritieke Factor: Prompt Adherence is een voorwaarde voor bruikbaarheid; zonder consistente outputformaten is automatische evaluatie onmogelijk.

Toekomstperspectief:
De auteurs pleiten voor het uitbreiden van de dataset naar real-world scenario's, het testen van gesloten bronmodellen, het fine-tunen van modellen voor robuustheid, en het integreren van deze evaluaties in praktische tools voor automatische audit en aanbeveling van visualisaties.