Evaluating Graphical Perception Capabilities of Vision Transformers

Diese Studie untersucht die graphische Wahrnehmungsfähigkeit von Vision Transformern im Vergleich zu CNNs und Menschen und stellt fest, dass ViTs trotz ihrer allgemeinen Stärken in der Bildverarbeitung nur eine begrenzte menschähnliche Wahrnehmung im Bereich der Visualisierung aufweisen.

Das Wesentliche

🧠 Das große Duell: Der neue KI-Star gegen den menschlichen Blick

Stell dir vor, du hast zwei verschiedene Arten von „Augen", die Bilder betrachten sollen:

1. Die alten, bewährten Augen (CNNs): Diese funktionieren wie ein Handwerker, der ein Haus Stein für Stein betrachtet. Sie schauen sich kleine Details genau an und bauen daraus ein Gesamtbild.
2. Die neuen, modernen Super-Augen (Vision Transformers oder ViTs): Diese funktionieren wie ein Dirigent, der sofort das ganze Orchester hört. Sie schauen sich das gesamte Bild auf einmal an und verstehen, wie alles zusammenhängt, ohne sich zuerst in die Details zu verlieren.

In den letzten Jahren haben diese neuen „Super-Augen" (ViTs) in vielen Bereichen (wie Gesichtserkennung oder Autonomes Fahren) die alten Handwerker-Augen (CNNs) weit hinter sich gelassen. Sie sind extrem stark im Erkennen von komplexen Mustern.

Aber hier kommt der Haken:
Die Forscher aus dieser Studie wollten wissen: Können diese neuen Super-Augen auch so gut „sehen" wie ein echter Mensch, wenn es um einfache Dinge geht?

Stell dir vor, du siehst ein Diagramm. Kannst du sofort sagen:

• Ist dieser Balken länger als jener?
• Ist dieser Winkel spitzer als der andere?
• Wie viele Punkte sind in diesem Punktewolken-Bild?

Das sind die „Grundlagen" des Sehens. Frühere Studien haben gezeigt, dass Menschen bei manchen Dingen (wie Längen vergleichen) sehr gut sind, bei anderen (wie Flächen abschätzen) aber eher schlecht. Die Forscher wollten testen, ob die KI diese menschlichen Stärken und Schwächen nachahmt oder ob sie völlig anders „denkt".

🔍 Was haben die Forscher gemacht?

Sie haben drei verschiedene Versionen der neuen „Super-Augen" (ViTs) getestet und sie gegen:

1. Echte Menschen (die Aufgaben gelöst haben).
2. Die alten Handwerker-Augen (CNNs).

Die Aufgaben waren sehr simpel, aber wichtig für Diagramme:

• Längen messen: Welcher Balken ist länger?
• Winkel schätzen: Wie spitz ist dieser Keks?
• Punkte zählen: Wie viele Punkte sind in diesem Bild?

📉 Das überraschende Ergebnis

Das Ergebnis ist wie eine Geschichte mit einer moralischen Lektion:

1. Die KI ist ein Genie, aber kein Mensch.
Die neuen „Super-Augen" (ViTs) sind fantastisch darin, Texturen zu erkennen oder Richtungen zu verstehen. Bei manchen Aufgaben waren sie sogar besser als Menschen! Aber bei den klassischen Diagramm-Aufgaben (wie „Welcher Balken ist länger?") haben sie schlechter abgeschnitten als Menschen.

2. Die alten Handwerker (CNNs) sind im Diagramm-Bereich immer noch besser.
Seltsamerweise waren die alten Modelle (CNNs) bei diesen einfachen Diagramm-Aufgaben genauer als die neuen Super-Modelle (ViTs). Die neuen Modelle scheinen zwar das „große Ganze" zu verstehen, aber sie verlieren den Fokus auf die genauen Längen und Abstände.

3. Die KI lernt nicht so wie wir.
Menschen haben eine natürliche Hierarchie des Sehens: Wir sind super im Längen-Vergleich, aber schlecht im Winkel-Vergleich. Die KI hat diese Hierarchie nicht. Für die KI ist ein Winkel-Vergleich manchmal so einfach wie ein Längen-Vergleich. Das bedeutet: Die KI „sieht" die Welt anders als wir.

🎨 Eine Analogie zum besseren Verständnis

Stell dir vor, du musst einem Roboter beibringen, ein Rezept zu lesen.

• Der Mensch liest das Rezept und sagt: „Ah, 200 Gramm Mehl sind mehr als 100 Gramm Zucker. Das ist wichtig."
• Der alte Roboter (CNN) schaut sich die Zahlen genau an und sagt: „200 ist größer als 100. Korrekt."
• Der neue Roboter (ViT) schaut sich das ganze Rezept auf einmal an, versteht den „Vibe" des Kuchens, aber wenn man ihn fragt: „Ist das Mehl mehr als der Zucker?", zuckt er mit den Schultern. Er hat den Kontext verstanden, aber die genaue Zahl entgleitet ihm.

💡 Was bedeutet das für uns?

Die Studie sagt uns etwas Wichtiges:
Wenn wir KI nutzen wollen, um Diagramme zu erstellen, zu lesen oder zu analysieren (z. B. für automatische Berichte oder Datenvisualisierung), dürfen wir nicht einfach denken: „Die neue KI ist immer besser."

Bei der genauen Interpretation von Diagrammen (wie Balkendiagrammen oder Tortendiagrammen) sind die neuen Modelle noch nicht so verlässlich wie Menschen oder die älteren Modelle. Sie sehen die Welt auf eine Weise, die für uns Menschen manchmal verwirrend ist.

Fazit: Die neuen KI-Modelle sind wie brillante Künstler, die ein Gemälde aus der Ferne verstehen, aber wenn man sie bittet, die genaue Länge eines Pinselstrichs zu messen, scheitern sie. Für die Zukunft der Datenvisualisierung müssen wir also Wege finden, diese KI-Modelle so zu trainieren, dass sie nicht nur „schön" sehen, sondern auch „genau" rechnen – so wie ein Mensch.

Technische Zusammenfassung

Titel: Evaluating Graphical Perception Capabilities of Vision Transformers

Veröffentlicht in: Computers & Graphics (2026)
Autoren: Poonam Poonam, Pere-Pau Vázquez, Timo Ropinski

---

1. Problemstellung

Vision Transformers (ViTs) haben sich in vielen bildbasierten Aufgaben als leistungsfähige Alternative zu Convolutional Neural Networks (CNNs) etabliert. Während CNNs bereits umfassend auf ihre Fähigkeit zur Durchführung graphischer Wahrnehmungsaufgaben (z. B. das Interpretieren von Visualisierungen) untersucht wurden, bleibt das wahrgenommene Potenzial von ViTs in diesem Bereich weitgehend unerforscht.

Die zentrale Fragestellung ist, inwieweit ViTs die menschliche visuelle Wahrnehmung auf grundlegenden, niedrigstufigen visuellen Aufgaben (low-level visual tasks) nachahmen können. Solche Aufgaben – wie das Schätzen von Position, Länge, Winkel oder Fläche – bilden die Basis für das Verständnis von Datenvisualisierungen. Die Autoren untersuchen, ob ViTs, die für komplexe räumliche Muster bekannt sind, auch die feinen, menschlichen Wahrnehmungshierarchien (basierend auf den klassischen Studien von Cleveland und McGill) replizieren können, die für zuverlässige Visualisierungssysteme entscheidend sind.

2. Methodik

Aufgaben und Daten

Die Studie baut auf dem Rahmenwerk von Cleveland und McGill auf, das eine Hierarchie der menschlichen Wahrnehmungsgenauigkeit für verschiedene visuelle Kodierungen definiert. Die Autoren evaluierten drei spezifische Aufgabenkategorien:

• Position-Winkel: Schätzung von Verhältnissen in Balkendiagrammen und Kreisdiagrammen.
• Position-Länge: Bewertung von Längen und Positionen in gruppierten und geteilten Balkendiagrammen.
• Balken und gerahmte Rechtecke: Vergleich von Längenurteilen entlang nicht ausgerichteter Skalen.
• Punktwolken (Point Cloud): Schätzung der Anzahl von Punkten in Streudiagrammen (basierend auf dem Weber-Gesetz).

Die visuellen Stimuli wurden als 100x100 binäre Bilder generiert (ähnlich wie in früheren Studien), dann auf das für ViTs erforderliche Format von 224x224 Pixeln skaliert und mit Rauschen versehen, um ein Auswendiglernen zu verhindern. Es wurden 100.000 Bilder pro Aufgabe erstellt und in Trainings-, Validierungs- und Testsets (60:20:20) aufgeteilt.

Evaluierte Architekturen

Drei repräsentative ViT-Architekturen wurden von Grund auf (from scratch) trainiert, um Verzerrungen durch Vorab-Training zu minimieren:

1. Vanilla Vision Transformer (vViT): Reine Transformer-Architektur ohne induktive Verzerrungen (nur globale Aufmerksamkeit).
2. Convolutional Vision Transformer (CvT): Integriert Faltungsschichten für lokale Merkmalsextraktion.
3. Swin Transformer: Nutzt hierarchische Repräsentationen und verschobene Fenster (shifted windows) für effiziente lokale und globale Kontextmodellierung.

Als Baseline dienten Ergebnisse von menschlichen Teilnehmern (aus der Literatur) und CNN-Modelle (LeNet, VGG19, Xception, ResNet-18), die in einer früheren Studie von Haehn et al. evaluiert wurden.

Metriken

Die Leistung wurde mittels Mean Log Absolute Error (MLAE) quantifiziert. Ein niedrigerer Wert bedeutet eine höhere wahrgenommene Genauigkeit. Zusätzlich wurden statistische Tests (ANOVA, Tukey HSD) durchgeführt, um signifikante Unterschiede zwischen den Modellen zu identifizieren.

3. Wichtige Beiträge

• Erste systematische Evaluation von ViTs: Das Paper füllt eine Lücke in der Literatur, indem es ViTs nicht nur auf Klassifikationsaufgaben, sondern spezifisch auf elementare graphische Wahrnehmungsaufgaben testet.
• Vergleich mit Mensch und CNN: Es bietet einen direkten Vergleich zwischen modernsten Transformer-Modellen, etablierten CNNs und menschlicher Wahrnehmung.
• Architekturelle Analyse: Durch den Vergleich von vViT, CvT und Swin wird untersucht, wie unterschiedliche Designentscheidungen (globale vs. lokale Aufmerksamkeit, Faltung) die Wahrnehmungsgenauigkeit beeinflussen.
• Ablationsstudien: Untersucht den Einfluss von Bildauflösung, Patch-Größe, Datengröße und Vorab-Training (Pretraining) auf die Leistung.

4. Ergebnisse

Mensch vs. ViT

• Überlegenheit des Menschen: Menschen schnitten in den meisten Aufgaben, insbesondere bei Position-Länge und Punktwolken, signifikant besser ab als alle getesteten ViTs.
  • Beispiel Position-Länge: Menschlicher MLAE = 2.01 vs. Swin (bester ViT) = 4.72.
  • Beispiel Punktwolken: Menschlicher MLAE = 4.95 vs. Swin = 6.37.
• Ausnahmen: ViTs (insbesondere Swin) zeigten in Aufgaben wie Richtung (Direction) und Schattierung (Shading) eine höhere Genauigkeit als Menschen, was auf ihre Stärke bei der Verarbeitung feiner Textur- und Orientierungsmuster hindeutet.
• Wahrnehmungshierarchie: Die Rangfolge der Schwierigkeit der Aufgaben durch ViTs weicht von der menschlichen Hierarchie ab. Während Menschen Kurven und Flächen als schwierig empfinden, bewerten ViTs diese Aufgaben als einfacher.

CNN vs. ViT

• CNNs sind präziser: Insgesamt zeigten CNNs (insbesondere VGG19) eine höhere Genauigkeit als ViTs bei den meisten niedrigstufigen Aufgaben.
  • Durchschnittlicher Fehler: CNNs (VGG19) lagen bei ca. 0,30–1,54 MLAE, während die besten ViTs (Swin) bei 0,95–2,15 lagen (je nach Vorab-Training).
  • Der größte Leistungsunterschied zeigte sich bei der Punktwolken-Schätzung (CNN: 3,40 vs. ViT: 6,37).
• Generalisierung: ViTs scheiterten häufiger bei der Generalisierung auf neue Parameterkonfigurationen (z. B. Änderungen in der Objektgröße oder Position) als CNNs. Die Swin-Architektur zeigte zwar die beste Leistung unter den ViTs, blieb aber hinter den CNNs zurück.

Ablationsstudien

• Vorab-Training (Pretraining): Das Vorab-Training auf ImageNet verbesserte die Leistung einiger Modelle (insbesondere CvT), aber Swin, das von Grund auf trainiert wurde, zeigte in bestimmten Szenarien dennoch starke Ergebnisse.
• Patch-Größe und Auflösung: Eine Verkleinerung der Patch-Größe (auf 8x8) oder eine Erhöhung der Trainingsdatengröße führte nicht zu signifikanten Verbesserungen bei den niedrigstufigen Aufgaben. Dies deutet darauf hin, dass die Architektur selbst und nicht nur die Datenmenge das Limit darstellt.

5. Bedeutung und Fazit

Die Studie kommt zu dem Schluss, dass Vision Transformers, obwohl sie in allgemeinen Sehaufgaben (wie Objekterkennung) CNNs übertreffen, in Bezug auf die menschliche graphische Wahrnehmung (insbesondere bei quantitativen Vergleichen wie Länge und Menge) noch nicht auf dem gleichen Niveau sind.

• Kritische Lücke: Die Diskrepanz zwischen ViT-Leistung und menschlicher Wahrnehmung ist besonders problematisch für Anwendungen in der Datenvisualisierung, wo Systeme oft menschenähnliche Urteile treffen müssen (z. B. automatisierte Chart-Interpretation oder perceptually optimiertes Design).
• Architekturelle Implikationen: Die Ergebnisse deuten darauf hin, dass die rein globale Aufmerksamkeit von ViTs für die präzise Schätzung lokaler geometrischer Eigenschaften (wie exakte Längenvergleiche) weniger geeignet ist als die lokalen rezeptiven Felder von CNNs.
• Zukunftsausblick: Für den Einsatz von ViTs in Visualisierungssystemen sind möglicherweise architektonische Anpassungen oder hybride Ansätze notwendig, um die menschliche Wahrnehmungsgenauigkeit zu erreichen. Die Studie liefert eine wichtige Grundlage für die Entwicklung wahrnehmungsbewusster KI-Modelle in der Computergrafik.

Zusammenfassend warnt das Paper davor, ViTs blind in Visualisierungssystemen einzusetzen, da ihre Wahrnehmungshierarchien und Fehlerprofile signifikant von denen des Menschen und von spezialisierten CNNs abweichen.