Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms

Die Studie zeigt, dass die Kombination von Large Language Models zur Extraktion linguistischer und kognitiver Merkmale mit baumbasierten maschinellen Lernalgorithmen eine genauere Schätzung der Aufgabenschwierigkeit für K-5-Mathematik- und Lesetests ermöglicht als direkte LLM-Schätzungen und somit den Bedarf an aufwendigen Vorabtests reduziert.

Das Wesentliche

Hier ist eine einfache Erklärung der Studie, als würde man sie einem Freund beim Kaffee erzählen – auf Deutsch, mit ein paar bildhaften Vergleichen.

Das große Rätsel: Wie schwer ist eine Schulaufgabe?

Stellen Sie sich vor, Sie sind ein Lehrer oder ein Testentwickler. Sie haben eine neue Mathe- oder Lesefrage für Grundschulkinder geschrieben. Die große Frage ist: Wie schwer ist diese Aufgabe eigentlich?

Normalerweise muss man dafür Tausende von Kindern die Aufgabe lösen lassen, um statistisch herauszufinden, ob sie leicht oder schwer ist. Das ist aber wie ein riesiger, teurer und langwieriger Umzug: Es kostet viel Geld, dauert Monate und man muss die Fragen den Kindern zeigen, bevor sie im echten Test verwendet werden können.

Die Forscher aus dieser Studie wollten wissen: Können wir das mit Hilfe von Künstlicher Intelligenz (KI) schneller und günstiger lösen, ohne Tausende Kinder zu befragen?

Die zwei Versuche: Der "Allwissende Experte" vs. Der "Detektiv mit Checkliste"

Die Forscher haben zwei verschiedene Wege ausprobiert, um die Schwierigkeit einer Aufgabe vorherzusagen, indem sie nur den Text der Aufgabe an eine moderne KI (ein sogenanntes "Large Language Model", ähnlich wie ChatGPT) geschickt haben.

1. Der "Allwissende Experte" (Direkte Schätzung)

Die Idee: Man fragt die KI einfach direkt: "Hey, wie schwer ist diese Aufgabe für einen Drittklässler? Gib mir eine Note von 1 bis 100."
Das Ergebnis: Die KI war ganz gut. Wenn man alle Klassenstufen zusammenzählte, lag ihre Schätzung ziemlich nah an der Wahrheit.
Das Problem: Bei den ganz kleinen Kindern (Klasse 1 und 2) war die KI oft ratlos. Sie konnte den Unterschied zwischen einer "einfachen" und einer "mittelschweren" Aufgabe für Erstklässler oft nicht so gut erkennen wie ein erfahrener Lehrer. Es war, als würde man einen Erwachsenen fragen, wie schwer es ist, für ein Baby zu krabbeln – er weiß es theoretisch, aber er hat das Gefühl dafür verloren.

2. Der "Detektiv mit Checkliste" (Feature-basierte Methode)

Die Idee: Statt die KI zu bitten, einfach nur eine Zahl zu nennen, haben die Forscher ihr eine Checkliste gegeben. Sie haben Experten (Lehrer und Testmacher) gefragt: "Was macht eine Aufgabe schwer?"
Die Antworten waren Dinge wie:

• "Muss man viele Schritte nacheinander machen?"
• "Sind die falschen Antwortmöglichkeiten sehr verwirrend?"
• "Ist der Wortschatz kompliziert?"
• "Muss man ein Bild interpretieren?"

Die KI hat dann jede Aufgabe genau nach dieser Checkliste abgearbeitet und für jeden Punkt eine Bewertung abgegeben. Diese vielen kleinen Bewertungen wurden dann an einen Computer-Algorithmus (eine Art mathematischer Assistent) gegeben, der gelernt hat, wie man diese Punkte kombiniert, um die endgültige Schwierigkeit vorherzusagen.

Das Ergebnis: Das war der Gewinner! Diese Methode war viel genauer als die direkte Frage. Die Vorhersagen passten fast perfekt zu den echten Ergebnissen, die man normalerweise durch Tests mit Tausenden Kindern bekommt. Besonders bei den kleinen Kindern funktionierte diese "Checklisten-Methode" viel besser als der direkte Rat der KI.

Warum war der "Detektiv" besser?

Stellen Sie sich vor, Sie wollen das Wetter vorhersagen.

• Methode 1 (Direkt): Sie fragen einen Freund: "Wird es morgen regnen?" Er schaut aus dem Fenster und sagt: "Vielleicht." Das ist okay, aber nicht sehr präzise.
• Methode 2 (Checkliste): Sie fragen Ihren Freund: "Wie hoch ist die Luftfeuchtigkeit? Wie schnell weht der Wind? Wie sieht der Himmel aus?" Dann nehmen Sie diese Daten und stecken sie in eine Wetter-App. Die App rechnet alles zusammen und sagt: "90% Regenwahrscheinlichkeit."

Die Forscher haben gezeigt, dass die KI sehr gut darin ist, die Details (die Checkliste) zu analysieren, aber ein Computer-Algorithmus besser darin ist, diese Details zu einer genauen Vorhersage zu kombinieren.

Was bedeutet das für die Zukunft?

Diese Studie ist wie ein neuer Werkzeugkasten für Lehrer und Testmacher:

1. Schneller und günstiger: Man muss nicht mehr warten, bis Tausende Kinder die Aufgabe getestet haben, um zu wissen, wie schwer sie ist. Die KI kann das fast sofort sagen.
2. Bessere Tests: Man kann Aufgaben schon vor dem Testen "vorselektieren". Wenn die KI sagt: "Diese Aufgabe ist viel zu schwer für die 2. Klasse", kann man sie sofort überarbeiten, bevor sie überhaupt einem Kind gezeigt wird.
3. Kein Ersatz für Menschen: Die KI ist kein Ersatz für echte Lehrer. Sie ist ein Assistent. Die Forscher betonen, dass man besonders bei den ganz kleinen Kindern (Klasse 1-2) noch vorsichtig sein muss und die KI-Ergebnisse immer noch von Menschen überprüfen sollte.

Fazit in einem Satz

Die Studie zeigt, dass Künstliche Intelligenz zwar nicht perfekt ist, wenn man sie einfach nur fragt "Wie schwer ist das?", aber genial ist, wenn man sie als intelligenten Assistenten nutzt, der eine detaillierte Checkliste abarbeitet, um die Schwierigkeit von Schulaufgaben vorherzusagen. Das spart Zeit, Geld und Nerven im Bildungswesen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Forschungsartikels auf Deutsch:

Titel: Schätzung der Aufgabenschwierigkeit unter Verwendung von Large Language Models und baumbasierten Machine-Learning-Algorithmen

Autoren: Pooya Razavi und Sonya Powers (Edmentum, USA)

---

1. Problemstellung

Die Schätzung der Schwierigkeit von Testaufgaben (Item Difficulty) erfolgt traditionell durch aufwendige und zeitintensive Feldtests (Pilotierungen) mit großen Schülerstichproben. Dies führt zu Verzögerungen zwischen der Entwicklung und dem Einsatz von Aufgaben, erhöht die Kosten und birgt Risiken bezüglich der Sicherheit von Testaufgaben (z. B. vorzeitige Offenlegung).
Alternative Methoden wie manuelle Bewertungen durch Fachexperten (Subject Matter Experts, SMEs) sind ebenfalls ressourcenintensiv und oft inkonsistent.
Bisherige Ansätze zur automatisierten Schätzung mittels Natural Language Processing (NLP) basierten oft auf oberflächlichen Textmerkmalen (z. B. Lesbarkeitsformeln, Wortanzahl), die jedoch nur eine moderate Vorhersagekraft zeigten und tiefergehende kognitive und semantische Faktoren oft nicht erfassen konnten.
Ziel der Studie: Die Untersuchung der Machbarkeit und Genauigkeit, Large Language Models (LLMs) zu nutzen, um die Schwierigkeit von Mathematik- und Lesetests für die Klassenstufen K–5 (Vorschule bis 5. Klasse) allein basierend auf dem Aufgabentext vorherzusagen.

---

2. Methodik

Datengrundlage:

• Stichprobe: 5.170 Items aus dem kommerziellen adaptiven Assessment "Exact Path Diagnostic" von Edmentum.
• Fächer: Mathematik (n=2.564) und Lesen (n=2.606).
• Klassenstufen: K bis 5.
• Ground Truth: Die tatsächlichen Schwierigkeitswerte basieren auf empirisch kalibrierten Rasch-Parametern (b-Werte), die durch IRT (Item Response Theory) aus großen Schülerstichproben abgeleitet wurden.
• Aufteilung: Stratifizierte Stichprobe in Trainingsdaten (3.970 Items) und Holdout-Testdaten (1.200 Items), um die Verteilung der Schwierigkeit in beiden Sets sicherzustellen.

Verwendetes Modell:

• LLM: OpenAI GPT-4o (Version 2024-11-20).
• Einstellungen: Temperatur = 0 zur Maximierung der Konsistenz und Reproduzierbarkeit.

Zwei geschätzte Ansätze:

A. Direkte LLM-Schätzung (Zero-Shot)

• Prozess: Der LLM erhält einen detaillierten Prompt, der ihn anweist, als Experte für K-12-Bewertungen zu agieren. Er analysiert den Aufgabentext und Metadaten (Klasse, Aufgabentyp) und gibt eine direkte numerische Schwierigkeitsschätzung auf einer Skala von 1 bis 100 ab.
• Nachbearbeitung: Die Rohwerte des LLM werden z-standardisiert und dann so skaliert, dass sie Mittelwert und Standardabweichung der Rasch-Logits entsprechen. Anschließend wird eine lineare Regression gefittet, um die Vorhersagen auf die Holdout-Daten anzuwenden.

B. Feature-basierte Schätzung (Hybrid-Ansatz)

• Schritt 1: Feature-Extraktion durch LLM: Basierend auf Fokusgruppen mit SMEs wurden spezifische kognitive und linguistische Merkmale definiert (z. B. "Kognitive Last", "Tiefe des Wissens (DOK)", "Distraktor-Täuschung", "Syntax-Komplexität"). Der LLM wird angewiesen, jedes Item nach diesen Merkmalen zu bewerten (Skalen 1–10 oder Ja/Nein).
• Schritt 2: Machine Learning Modellierung: Die vom LLM extrahierten Merkmale werden zusammen mit Item-Metadaten (Wortanzahl, Fach, Klasse) als Prädiktoren in Ensemble-Modelle eingespeist.
• Algorithmen: Random Forests (RF) und Gradient Boosting Machines (GBM/XGBoost).
• Optimierung: Hyperparameter wurden mittels 5-facher Kreuzvalidierung optimiert.

Benchmarks (Vergleichsmodelle):

1. Dummy-Regressor: Vorhersage basierend nur auf dem durchschnittlichen Schwierigkeitswert der jeweiligen Klassenstufe.
2. TF-IDF + Random Forest: Traditioneller NLP-Ansatz (Wortfrequenzen) ohne LLM.
3. Metadata-Only-Modelle: Nutzung nur von Metadaten (ohne LLM-Features).

---

3. Wichtige Beiträge und Ergebnisse

Leistung der direkten LLM-Schätzung

• Gesamtkorrelation: Zeigte moderate bis starke Korrelationen mit den wahren Schwierigkeitswerten (Mathematik: r = .83; Lesen: r = .81).
• Klassenstufen-Abhängigkeit: Die Genauigkeit variierte stark. Für Klassen K und 1 war die Vorhersage oft schlechter oder nur marginal besser als der einfache Dummy-Regressor. Ab Klasse 2/3 verbesserte sich die Leistung signifikant.
• Fehlermaße: RMSE und MAE waren niedriger als beim Dummy-Regressor, aber höher als beim Feature-basierten Ansatz.

Leistung der Feature-basierten Schätzung (Der beste Ansatz)

• Überlegene Genauigkeit: Dieser Ansatz erzielte die höchsten Korrelationen und niedrigsten Fehlerwerte.
  • Mathematik: r = .87, RMSE = 0.81 (GBM).
  • Lesen: r = = .87, RMSE = 0.72 (RF).
• Vergleich mit Benchmarks:
  • Deutlich besser als der Dummy-Regressor (Reduktion des RMSE um ca. 31% bei Lesen).
  • Deutlich besser als TF-IDF-Modelle (die kaum über den Dummy-Regressor hinausreichten).
  • Deutlich besser als Modelle, die nur Metadaten nutzten.
• Klassenstufen-Performance: Auch bei den schwierigen frühen Klassenstufen (K und 1) übertraf der Feature-basierte Ansatz (insbesondere GBM) die Benchmarks signifikant, während die direkte LLM-Schätzung hier versagte.

Feature-Importanz (Erklärbarkeit)

• Random Forest: Zeigte, dass sowohl Metadaten (Klassenstufe, Wortanzahl) als auch LLM-bewertete Features (z. B. "Verwendung von Visuals" in Mathematik, "Syntax-Komplexität" beim Lesen) entscheidend sind.
• Gradient Boosting (SHAP-Analyse): Bestätigte die Wichtigkeit von Klassenstufe und Wortanzahl. Besonders hervorzuheben war, dass beim Lesen die Syntax-Komplexität (vom LLM bewertet) der wichtigste Prädiktor war, stärker sogar als die Klassenstufe. Beim Lesen war die "Skill Challenge" und die "Distraktor-Täuschung" ebenfalls hochrelevant.

---

4. Signifikanz und Implikationen

• Paradigmenwechsel: Die Studie zeigt, dass LLMs nicht nur als "simulierte Prüflinge" (AI as examinee), sondern effektiv als Feature-Extraktoren eingesetzt werden können. Die Kombination aus LLMs (für tiefes semantisches Verständnis) und klassischen ML-Algorithmen (für robuste Gewichtung der Merkmale) ist der Schlüssel zum Erfolg.
• Überwindung früherer Grenzen: Im Gegensatz zu früheren Studien, die nur oberflächliche Textmerkmale nutzten (niedrige Korrelationen), ermöglicht der LLM-basierte Feature-Ansatz die Erfassung komplexer kognitiver Anforderungen (z. B. mehrstufiges Denken, Inferenzbedarf).
• Praktischer Nutzen:
  • Kostensenkung: Potenzial zur Reduzierung teurer Feldtests.
  • Beschleunigung: Schnellere Item-Entwicklungszyklen.
  • Bayessche Kalibrierung: LLM-Schätzungen können als informative Priors in der psychometrischen Kalibrierung genutzt werden, um kleinere Stichprobengrößen zu ermöglichen.
• Workflow-Empfehlung: Die Autoren stellen einen 7-stufigen Workflow für Testprofis bereit, der von der Item-Auswahl über die SME-Integration bis hin zur Modellvalidierung reicht.

5. Einschränkungen und Ausblick

• Klassenstufen K-1: Die Vorhersagegenauigkeit ist in den untersten Klassenstufen schwieriger, möglicherweise aufgrund einer geringeren Varianz in den tatsächlichen Schwierigkeitswerten (Range Restriction).
• Generalisierung: Die Ergebnisse basieren auf Mathematik und Lesen (K-5). Die Übertragbarkeit auf andere Fächer (Naturwissenschaften) oder höhere Klassenstufen muss noch untersucht werden.
• Fine-Tuning: Das Fine-Tuning von LLMs wurde nicht durchgeführt, da die Datenmenge (5.000 Items) für ein robustes Fine-Tuning zu gering ist und Datenschutzbedenken bestehen. Zukünftige Forschung sollte hybride Ansätze untersuchen.

Fazit: Die Studie belegt, dass ein strukturierter, feature-basierter Ansatz, der LLMs zur Extraktion kognitiver Merkmale mit Ensemble-Learning kombiniert, die derzeit genaueste Methode zur automatisierten Schätzung von Item-Schwierigkeiten darstellt und einen vielversprechenden Weg für die Zukunft der Bildungsassessment-Entwicklung ebnet.