Do Large Language Models Understand Data Visualization Rules?

Diese Studie evaluiert erstmals systematisch die Fähigkeit von Large Language Models, Datenvisualisierungsregeln zu erkennen, und zeigt, dass diese Modelle zwar bei der Erkennung offensichtlicher Verstöße und der Formatierung zuverlässig sind, bei subtileren perceptuellen Regeln jedoch deutlich hinter symbolischen Solvern zurückbleiben.

Das Wesentliche

Titel: Können KI-Sprachmodelle die „Regeln der Grafik" verstehen?

Stellen Sie sich vor, Sie sind ein Architekt, der einen Bauplan für ein Haus erstellt. Es gibt klare Regeln: Ein Dach muss das Haus schützen, eine Treppe muss sicher sein, und Wände müssen tragfähig sein. Wenn Sie diese Regeln ignorieren, stürzt das Haus ein oder ist unbrauchbar.

In der Welt der Daten gibt es ähnliche Regeln für Diagramme. Ein Balkendiagramm, das die falsche Farbe für eine Reihenfolge verwendet, ist wie eine Treppe, die in die falsche Richtung führt – sie verwirrt den Betrachter und führt zu falschen Schlüssen.

Dieser Artikel untersucht eine spannende Frage: Verstehen die neuen, super-intelligenten KI-Sprachmodelle (wie ChatGPT oder Gemini) diese Regeln für Diagramme? Oder sind sie nur gut darin, Pläne zu lesen, aber schlecht darin, zu prüfen, ob sie sicher sind?

Hier ist die Geschichte der Forschung, einfach erklärt:

1. Das Problem: Die alten „Bürokraten" vs. die neuen „Kreativen"

Früher haben Experten Computerprogramme geschrieben, die wie sehr strenge Bürokraten funktionieren. Diese Programme (genannt Draco) haben die Regeln für Diagramme als mathematische Formeln kodiert.

• Vorteil: Sie sind extrem präzise. Wenn ein Fehler vorliegt, finden sie ihn zu 100 %.
• Nachteil: Sie sind unflexibel. Um eine neue Regel hinzuzufügen, braucht man einen Experten, der den Code umschreibt. Das ist wie ein Schloss, das man nur mit einem sehr speziellen Schlüssel öffnen kann.

Jetzt haben wir die großen Sprach-KIs. Sie können Texte verstehen, Fragen beantworten und sogar Pläne schreiben. Die Forscher wollten wissen: Können diese KIs auch wie ein erfahrener Architekt fungieren, der sagt: „Hey, dieser Plan verstößt gegen die Bauvorschrift Nr. 5"?

2. Der Experiment-Plan: Ein riesiger Testlauf

Um das herauszufinden, haben die Forscher (aus Argentinien) einen riesigen Test erstellt:

• Die Baupläne: Sie haben 2.000 verschiedene Diagramm-Pläne (in einer Sprache namens Vega-Lite) erstellt.
• Die Fehler: Sie haben absichtlich Fehler in diese Pläne eingebaut (z. B. „Hier wurde eine Treppe in den Himmel gebaut" oder „Die Farben sind durcheinander").
• Der Goldstandard: Um sicherzugehen, welche Pläne wirklich falsch sind, nutzten sie die alten, strengen Bürokraten-Programme (Draco), um die „wahren" Fehler zu markieren. Das ist wie ein Meister-Architekt, der den Plan prüft und ein rotes Kreuz setzt.
• Die Prüfung: Dann gaben sie diese Pläne den KI-Modellen und fragten: „Finde die Fehler!"

3. Die Ergebnisse: Wer besteht die Prüfung?

Die Ergebnisse waren eine Mischung aus „Wow!" und „Na ja...".

A. Die Höflichkeitsprüfung (Prompt Adherence)
Bevor die KI überhaupt die Fehler finden musste, mussten sie sich an die Spielregeln halten. Die Forscher sagten: „Gib mir die Fehler als Liste zurück, genau so!"

• Die Gewinner: Modelle wie Gemma und GPT-oss waren extrem diszipliniert. Sie hielten sich zu 98–100 % an das Format. Sie waren wie Schüler, die ihre Hausaufgaben genau so abgeben, wie der Lehrer es verlangt hat.
• Die Verlierer: Kleinere Modelle (wie einige Llama-Versionen) waren chaotisch. Sie schrieben lange Romane statt Listen oder ignorierten die Formatierung. Das machte ihre Antworten schwer zu bewerten, egal wie gut sie die Fehler eigentlich erkannt hätten.

B. Die Fehlerjagd (Accuracy)
Hier wurde es interessant.

• Offensichtliche Fehler: Bei groben Fehlern (z. B. „Du hast Balken verwendet, wo Punkte nötig wären") waren die großen KI-Modelle sehr gut. Sie fanden diese Fehler fast so gut wie der menschliche Experte.
• Versteckte Fehler: Bei subtileren, psychologischen Regeln (z. B. „Diese Farbe passt nicht zur Bedeutung der Daten") scheiterten die KIs oft. Ihre Erfolgsrate fiel hier dramatisch ab. Es ist, als würde ein KI-Modell verstehen, dass eine Treppe existieren muss, aber nicht verstehen, warum sie nicht zu steil sein darf.

C. Die Sprache zählt!
Ein wichtiger Fund: Es machte einen riesigen Unterschied, wie die Regeln den KI-Modellen erklärt wurden.

• Wenn die Forscher die Regeln in mathematischer Fachsprache (ASP-Code) gaben, waren die KIs fast blind.
• Wenn sie die Regeln in einfachem, menschlichem Deutsch (oder Englisch) erklärten, verbesserte sich die Leistung mancher Modelle um bis zu 150 %.
• Analogie: Es ist wie bei einem Kind. Wenn Sie ihm eine komplexe mathematische Formel geben, um zu erklären, warum man nicht über die Straße rennen soll, versteht es nichts. Geben Sie ihm aber den Satz „Über die Straße rennen ist gefährlich", versteht es sofort. Die KIs brauchen die menschliche Sprache, um die Regeln zu verstehen.

4. Fazit: Ein vielversprechender Assistent, aber noch kein Meister

Die Studie zeigt uns:

1. KI ist kein Ersatz für den strengen Mathematiker noch: Wenn es um absolute, harte Fakten geht, sind die alten Programm-Tools immer noch genauer und zuverlässiger.
2. KI ist ein toller flexibler Assistent: Große Sprachmodelle können die Regeln verstehen, wenn man sie in menschlicher Sprache fragt. Sie können als erste Prüfschicht dienen, um grobe Fehler zu finden.
3. Die Größe zählt: Größere Modelle sind generell besser, aber selbst die Besten scheitern manchmal an den feinen Nuancen der menschlichen Wahrnehmung.

Zusammenfassend: Die KI lernt gerade, wie ein junger Architekt. Sie kann die Grundregeln des Bauens verstehen, wenn man sie freundlich erklärt, aber sie braucht noch viel Übung, um die subtilen Details zu meistern, die ein erfahrener Mensch sofort erkennt. In Zukunft könnten diese KIs uns helfen, Diagramme schneller zu erstellen und zu prüfen, aber sie werden die strengen Sicherheitschecks der alten Computerprogramme noch nicht vollständig ersetzen.

Technische Zusammenfassung

Titel: Verstehen Large Language Models Regeln der Datenvisualisierung?

Autoren: Martín Sinnona, Valentín Bonás, Emmanuel Iarussi, Viviana Siless (Universidad Torcuato Di Tella, CONICET, Universidad de Buenos Aires).

---

1. Problemstellung

Datenvisualisierungsregeln, die auf jahrzehntelanger Forschung in Design und Wahrnehmung basieren, sind entscheidend für vertrauenswürdige Datenkommunikation. Bisherige Systeme zur Validierung (z. B. Draco oder VizLinter) nutzen constraint-basierte Ansätze (oft implementiert in Answer Set Programming - ASP), um Verletzungen dieser Regeln in Chart-Spezifikationen (wie Vega-Lite) automatisch zu erkennen.

Das Hauptproblem besteht darin, dass die Wartung und Erweiterung dieser symbolischen Regelwerke hohen Expertenbedarf erfordert und wenig flexibel ist. Während neuere Studien zeigen, dass Large Language Models (LLMs) irreführende Diagramme aus Bildern erkennen oder Fragen zu Visualisierungen beantworten können, ist unklar, ob LLMs in der Lage sind, Designregeln direkt in Chart-Spezifikationen zu verstehen, zu schlussfolgern und Verletzungen zu identifizieren. Es fehlt an einem Benchmark, der LLM-Leistung gegen eine durch Solver verifizierte Ground Truth (Wahrheit) in technischen Spezifikationen testet.

2. Methodik

Die Autoren entwickelten einen systematischen Evaluierungsrahmen, der LLMs gegen harte, solver-verifizierte Regeln testet.

• Datensatz-Generierung (2.000 Instanzen):
  • Es wurde ein synthetischer Datensatz von 2.000 Vega-Lite-Spezifikationen erstellt.
  • Als Ground Truth diente Draco, das Regeln als logische ASP-Constraints kodiert. Ein Solver (Clingo) identifizierte die Verletzungen.
  • Um eine unausgewogene Verteilung von Problemtypen zu vermeiden, wurde ein Kullback-Leibler (KL)-Divergenz-Filter angewendet. Dieser selektierte nur Spezifikationen, die die Verteilung der Problemkategorien in Richtung einer Gleichverteilung verschoben.
• Übersetzung der Regeln:
  • Die technischen ASP-Constraints wurden in natürlichsprachliche Regeln übersetzt, um sie für LLMs verständlich zu machen. Dies ermöglichte einen direkten Vergleich zwischen der technischen Formulierung (ASP) und der menschlichen Formulierung.
• Evaluierungs-Setup:
  • Modelle: Es wurden verschiedene Open-Source-Modelle getestet (Llama 3.1/3.2, Gemma 3, GPT-oss).
  • Prompting: Jede Spezifikation wurde mit fünf verschiedenen Prompt-Varianten abgefragt, um die Sensitivität gegenüber Formulierungen zu testen.
  • Metriken:
    1. Genauigkeit (F1-Score): Fähigkeit, die korrekten Regelverletzungen zu erkennen.
    2. Prompt-Adhärenz: Fähigkeit, das angeforderte Ausgabeformat (z. B. eine Liste von Problemnamen) strikt einzuhalten.

3. Wichtige Beiträge

• Erste systematische Evaluation: Dies ist die erste Studie, die LLMs gegen eine Ground Truth testet, die direkt aus einem ASP-Solver für Visualisierungsregeln abgeleitet wurde.
• Neuer Benchmark-Datensatz: Bereitstellung eines kontrollierten Datensatzes von 2.000 annotierten Vega-Lite-Spezifikationen mit expliziten Regelverletzungen.
• Dualer Evaluierungsansatz: Unterscheidung zwischen der reinen Erkennungsgenauigkeit und der strukturellen Adhärenz (Formattreue), was für die praktische Anwendbarkeit entscheidend ist.
• Vergleich ASP vs. Natürliche Sprache: Untersuchung, ob die Darstellung der Regeln (technisch vs. natürlich) die Leistung beeinflusst.

4. Ergebnisse

• Prompt-Adhärenz (Formattreue):
  • Frontier-Modelle wie Gemma 3 (4B/27B) und GPT-oss (20B) erreichten nahezu perfekte Adhärenz (100% bzw. 98%).
  • Llama-Varianten zeigten deutlich schwächere Ergebnisse (0,65 – 0,87), was zu Parsing-Fehlern und unzuverlässiger Evaluierung führte.
• Erkennungsgenauigkeit (F1-Score):
  • Allgemeine Leistung: Die besten Modelle (GPT-oss 20B) erreichten einen globalen durchschnittlichen F1-Score von 0,82. Gemma 3 27B erreichte 0,23, während Llama-Modelle unter 0,15 blieben.
  • Einfluss der Regelformulierung: Die Übersetzung von ASP-Constraints in natürliche Sprache verbesserte die Leistung kleinerer Modelle drastisch. Für Gemma 3 4B stieg der F1-Score von 0,058 (ASP) auf 0,145 (natürliche Sprache) – eine relative Steigerung von 150%.
  • Kategorische Unterschiede:
    • LLMs erkennen häufige, offensichtliche Verletzungen (z. B. falsche Skalierungstypen) relativ gut.
    • Bei subtileren wahrnehmungsbezogenen Regeln (perceptual rules) bricht die Leistung ein (F1 < 0,15 für einige Kategorien).
    • Größere Modelle zeigen generell bessere Generalisierung, aber auch kleinere Modelle (Gemma 3 4B) sind in spezifischen Domänen konkurrenzfähig.

5. Bedeutung und Fazit

• Potenzial: LLMs haben das Potenzial, als flexible, sprachgesteuerte Validatoren für Datenvisualisierungen zu dienen, insbesondere wenn die Regeln in natürlicher Sprache formuliert sind. Sie können die starren, wartungsintensiven symbolischen Systeme teilweise ergänzen.
• Grenzen: Im Vergleich zu symbolischen Solvern (wie Draco) sind LLMs inkonsistent, insbesondere bei komplexen oder subtilen Wahrnehmungsregeln. Sie neigen dazu, bei technischen Formulierungen (ASP) zu versagen.
• Praktische Implikation: Für den zuverlässigen Einsatz von LLMs in Visualisierungs-Tools ist die Prompt-Adhärenz eine kritische Voraussetzung. Modelle, die das Ausgabeformat nicht einhalten, sind für automatisierte Pipelines unbrauchbar.
• Zukunftsausblick: Die Autoren schlagen vor, den Datensatz zu erweitern, weitere Modelle zu testen, Fine-Tuning-Strategien zu untersuchen und die Evaluierung um Metriken für die Qualität des Schlussfolgerns zu erweitern.

Zusammenfassend zeigt die Studie, dass LLMs zwar Fortschritte machen, aber noch nicht die Zuverlässigkeit symbolischer Solver für die strikte Einhaltung von Visualisierungsregeln erreichen, wobei die Art der Regelpräsentation (natürliche Sprache) einen enormen Einfluss auf die Leistung hat.