Using Vision + Language Models to Predict Item Difficulty

Diese Studie zeigt, dass ein multimodaler Ansatz mit einem großen Sprachmodell, der sowohl Text- als auch Bilddaten von Visualisierungsfragen kombiniert, die Schwierigkeit von Testitems für US-Erwachsene präziser vorhersagen kann als rein text- oder bildbasierte Methoden.

Das Wesentliche

Titel: Wie KI die Schwierigkeit von Diagramm-Fragen vorhersagt – Eine einfache Erklärung

Stellen Sie sich vor, Sie sind ein Lehrer, der einen neuen Test für Schüler erstellt. Ihre größte Sorge ist: „Ist diese Aufgabe zu schwer oder zu leicht?" Normalerweise müssen Sie den Test erst an echten Menschen ausprobieren, um das herauszufinden. Das kostet Zeit und Geld.

Dieser Forschungsbericht von Samin Khan aus Stanford fragt sich: Können wir das vorhersehen, noch bevor wir den Test überhaupt verteilen? Und zwar mit Hilfe einer sehr schlauen KI, die sowohl sehen als auch lesen kann.

Hier ist die Geschichte, wie das funktioniert, erklärt mit ein paar einfachen Bildern:

1. Das Problem: Der „Schwierigkeits-Test"

In der Welt der Datenvisualisierung (also Diagramme, Grafiken und Charts) gibt es viele Fragen, die Menschen beantworten sollen. Manche sind einfach (z. B. „Wie viele Äpfel sind im Bild?"), andere sind hart (z. B. „Welche Schlussfolgerung lässt sich aus dem Trend der letzten drei Jahre ziehen?").

Die Forscher wollten herausfinden: Was macht eine Frage eigentlich schwer? Ist es das Bild selbst? Ist es der Text der Frage? Oder ist es die Kombination aus beidem?

2. Die Lösung: Ein KI-Detektiv mit zwei Sinnen

Die Forscher haben eine moderne KI (ein sogenanntes „Multimodales Modell", speziell GPT-4.1-nano) eingesetzt. Man kann sich diese KI wie einen Super-Detektiv vorstellen, der zwei besondere Fähigkeiten hat:

• Sehsinn: Er kann Diagramme, Farben und Linien genau betrachten.
• Lesesinn: Er kann die Fragen und Antwortmöglichkeiten lesen und verstehen.

Der Detektiv bekam drei verschiedene Aufträge, um zu testen, was am besten funktioniert:

• Auftrag A (Nur der Text): Der Detektiv liest nur die Frage, schaut aber nicht auf das Bild.
  • Ergebnis: Er rät ziemlich schlecht. Es ist wie jemand, der eine Landkarte beschreiben soll, ohne sie je gesehen zu haben. Er weiß nicht, ob das Bild verwirrend ist.
• Auftrag B (Nur das Bild): Der Detektiv schaut nur auf das Diagramm, liest aber die Frage nicht.
  • Ergebnis: Besser als nur Text, aber immer noch nicht perfekt. Er sieht vielleicht, dass das Bild chaotisch ist, weiß aber nicht, welche spezifische Information gesucht wird.
• Auftrag C (Der Allrounder): Der Detektiv schaut auf das Bild und liest die Frage gleichzeitig.
  • Ergebnis: Das war der Gewinner! Nur wenn er beides zusammen betrachtet, versteht er wirklich, warum eine Aufgabe schwer ist.

3. Die Analogie: Der Koch und das Rezept

Stellen Sie sich vor, Sie wollen wissen, wie schwer ein Gericht zu kochen ist.

• Wenn Sie nur das Rezept lesen (Text), denken Sie vielleicht: „Das klingt einfach."
• Wenn Sie nur auf die Zutaten schauen (Bild), denken Sie vielleicht: „Das sind nur ein paar Eier."
• Aber erst wenn Sie beides zusammen betrachten, merken Sie: „Moment, das Rezept verlangt, dass ich die Eier in einem sehr spezifischen, komplizierten Muster aufschlagen muss, das auf dem Foto zu sehen ist."

Genau das hat die KI gelernt. Die Schwierigkeit entsteht oft durch das Zusammenspiel von Bild und Text. Ein einfaches Bild kann durch eine verwirrende Frage schwer werden, und ein komplexes Bild kann durch eine klare Frage leicht zu lösen sein.

4. Was hat die KI herausgefunden?

Die Forscher haben den KI-Detektiv an 154 verschiedenen Testfragen ausprobiert.

• Die Kombination aus Bild und Text machte die genauesten Vorhersagen.
• Die KI konnte fast so gut raten, wie ein erfahrener Psychologe, der hunderte von Tests ausgewertet hat.

Am Ende haben sie die beste KI-Version auf einen neuen, unbekannten Test angewendet (einen „Held-out-Test"). Die Vorhersagen waren so gut, dass die KI beweisen konnte: Ja, wir können die Schwierigkeit von Fragen automatisch berechnen, ohne Menschen zu befragen.

5. Warum ist das wichtig? (Die Zukunft)

Warum sollten wir uns dafür interessieren?

• Zeitersparnis: Statt Monate zu warten, bis ein Test fertig ist, können Entwickler sofort sehen: „Oh, diese Frage ist viel zu schwer, wir müssen sie ändern."
• Bessere Bildung: Wir können Tests bauen, die genau auf das Niveau der Schüler abgestimmt sind.
• Klarheit: Es hilft uns zu verstehen, wo Menschen bei Diagrammen hängen bleiben. Vielleicht sind die Diagramme zu unübersichtlich, oder die Fragen sind zu knifflig formuliert.

Ein kleiner Haken (Die Grenzen)

Die KI war nicht perfekt. Es gab ein paar Bilder im Test, die ein spezielles Format hatten (SVG), das die KI damals nicht lesen konnte. Für diese wenigen Fälle musste sie einfach raten (wie ein Münzwurf). Das hat die Gesamtbewertung etwas verschlechtert. Aber das ist wie ein Koch, der ein Rezept nicht lesen kann, weil es in einer fremden Sprache geschrieben ist – das ist ein technisches Problem, das man in Zukunft lösen wird.

Fazit

Dieses Projekt zeigt, dass KI bald wie ein Assistent für Testmacher fungieren kann. Sie kann uns sagen, ob unsere Fragen fair sind, bevor wir sie jemandem geben. Es ist ein großer Schritt hin zu smarteren, schnelleren und gerechteren Tests für alle, die Daten verstehen müssen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Using Vision + Language Models to Predict Item Difficulty" von Samin Khan auf Deutsch:

Problemstellung

Die Fähigkeit, Datenvisualisierungen zu lesen und zu interpretieren (Data Visualization Literacy, DVL), ist in einer informationsreichen Gesellschaft von zentraler Bedeutung. Die Entwicklung standardisierter, zuverlässiger und gut kalibrierter Testaufgaben zur Messung dieser Kompetenz ist jedoch herausfordernd. Ein kritischer Aspekt der psychometrischen Evaluation ist die Vorhersage der Aufgabenschwierigkeit (Item Difficulty), definiert als der Anteil der Testteilnehmer, die eine Aufgabe korrekt lösen.
Das Ziel des Projekts ist es, Modelle zu entwickeln, die die Schwierigkeit von DVL-Testaufgaben basierend auf den Eigenschaften der Aufgaben selbst vorhersagen können. Dabei wird untersucht, ob visuelle Merkmale (das Diagramm), textuelle Merkmale (Fragestellung und Antwortoptionen) oder eine Kombination beider die Schwierigkeit am besten vorhersagen.

Methodik

1. Datengrundlage:

• Quelle: Ein Datensatz von Verma und Fan (2025), der Antwortdaten von US-Erwachsenen und Studierenden auf Items aus fünf verschiedenen DVL-Assessments (WAN, GGR, BRBF, VLAT, CALVI) enthält.
• Zielvariable: Die Schwierigkeit wurde als Anteil der falschen Antworten berechnet und in „Leichtigkeit" (Easiness = 1 - Schwierigkeit) umgewandelt.
• Datenaufteilung: Der Datensatz wurde in 80 % Validierungsdaten und 20 % Testdaten aufgeteilt. Für die Modellierung wurde eine Teilmenge von 154 Items aus dem Validierungsset verwendet, die auf PNG-Bilder gefiltert wurden, um die Bildverarbeitung zu vereinfachen.

2. Modellierungsansatz:
Es wurde das GPT-4.1-nano-Modell (via OpenAI API) als multimodales Large Language Model (LLM) eingesetzt. Um strukturierte JSON-Ausgaben zu gewährleisten, wurden Pydantic-Modelle definiert. Drei verschiedene Ansätze wurden verglichen:

• Text-only-Modell: Eingabe nur von Frage-Text und Antwortoptionen. Das LLM analysierte kognitive Aufgabenarten, Klarheit, Integrationsniveau und Distraktoren.
• Vision-only-Modell: Eingabe nur des Bild-URLs. Das LLM analysierte Diagrammtyp, Achsenklarheit, Datenkodierung, Lesbarkeit und visuelle Komplexität.
• Multimodales Modell (Vision + Text): Eingabe von Bild, Frage-Text und Antwortoptionen. Das LLM führte eine umfassende Analyse der Interaktion zwischen visuellen Elementen und textlichen Anforderungen durch.

3. Evaluierung:
Die Leistung wurde durch den Mean Absolute Error (MAE) zwischen der vorhergesagten und der tatsächlichen Leichtigkeit bewertet. Für den finalen Test auf einem zurückgehaltenen Testset (Kaggle) wurde der Mean Squared Error (MSE) verwendet.

Wichtige Ergebnisse

1. Modellvergleich (Validierungsset):
Das multimodale Modell schnitt am besten ab, was die Hypothese stützt, dass die Interaktion zwischen Bild und Text entscheidend für die Schwierigkeit ist.

• Multimodal (Vision + Text): MAE = 0,2239 (Bestes Ergebnis)
• Vision-only: MAE = 0,2819
• Text-only: MAE = 0,3382

2. Verteilung der Vorhersagen:

• Das Vision-only-Modell neigte dazu, systematisch höhere Leichtigkeitswerte vorherzusagen (Peak bei 0,85–0,9).
• Das Text-only-Modell zeigte eine breitere Streuung mit einem Cluster um 0,25.
• Das Multimodale Modell zeigte eine zentriertere Verteilung, was auf eine bessere Balance bei der Erfassung komplexer Wechselwirkungen (z. B. klares Diagramm + komplexe Frage) hindeutet.

3. Externe Evaluation (Held-out Testset):
Das multimodale Modell wurde auf 46 Items des Testsets angewendet. Da 6 SVG-Bilder vom API nicht unterstützt wurden, erhielten diese einen Zufallswert (0,5). Für die verbleibenden 40 PNG-Items erreichte das Modell einen MSE von 0,10805. Dies belegt die Generalisierungsfähigkeit des Modells auf unbekannte Items.

Hauptbeiträge

• Nachweis der Überlegenheit multimodaler Ansätze: Die Studie demonstriert, dass die Kombination von visuellen und textuellen Features durch LLMs die Genauigkeit bei der Vorhersage der psychometrischen Schwierigkeit von Datenvisualisierungs-Aufgaben signifikant verbessert.
• Automatisierung der Psychometrie: Es wird gezeigt, dass moderne LLMs (wie GPT-4.1-nano) effektiv zur automatisierten Analyse und Vorhersage von Item-Schwierigkeiten eingesetzt werden können, was den Prozess der Testentwicklung beschleunigen kann.
• Einblicke in kognitive Anforderungen: Die Analyse des Modells liefert Einblicke darin, wie visuelle und textuelle Merkmale zusammenwirken, um die Schwierigkeit einer Aufgabe zu bestimmen.

Bedeutung und Implikationen

Die Ergebnisse haben weitreichende Konsequenzen für die Bildungsforschung und die Testentwicklung:

1. Beschleunigung der Testentwicklung: Automatisierte Vor-Kalibrierung von Aufgabenschwierigkeiten ermöglicht effizientere Erstellung von Assessments.
2. Verbesserung von Lehrmaterialien: Das Verständnis der Schwierigkeitsfaktoren kann zur Gestaltung besserer Datenvisualisierungen und pädagogischer Materialien führen.
3. Zukunftsperspektiven: Trotz der Erfolge gibt es Limitationen, wie die Unfähigkeit, SVG-Dateien direkt zu verarbeiten (was zu einem Abfall der Testleistung führte) und die Abhängigkeit von proprietären APIs. Zukünftige Arbeiten sollten SVG-Konvertierungen, alternative Architekturen und die Integration von Unsicherheitsmaßen in die Vorhersagen untersuchen.

Zusammenfassend belegt das Paper, dass multimodale LLMs ein vielversprechendes Werkzeug für die psychometrische Analyse im Bereich der Datenvisualisierung sind und das Potenzial haben, traditionelle Methoden der Item-Entwicklung zu ergänzen oder zu automatisieren.