🤖 machine learning

Context-Aware Prediction of Student Quiz Performance with Multimodal Textbook Features

Diese Arbeit zeigt auf, dass die Einbeziehung leichtgewichtiger linguistischer und visueller Merkmale aus Lehrbuch-Review-Fragen die Vorhersage der Quiz-Leistung von Studierenden im Vergleich zu dem, was allein durch bisherige Leistungsdaten der Studierenden erreichbar ist, signifikant verbessert.

Ursprüngliche Autoren: Samin Khan

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Samin Khan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu erraten, wie gut ein Schüler bei einer Abschlussprüfung abschneiden wird. Normalerweise schauen Lehrer (oder Computerprogramme) auf die bisherigen Hausaufgabennoten des Schülers, um diese Vermutung anzustellen. Es ist so, als würde man versuchen vorherzusagen, wie schnell ein Läufer ein Rennen beendet, indem man sich lediglich seine Zeiten in den vorherigen Trainingsläufen ansieht.

Diese Arbeit stellt eine einfache Frage: Hilft es uns, eine bessere Vorhersage zu treffen, wenn wir uns das Testmaterial selbst ansehen?

Der Autor, Samin Khan, wollte herausfinden, ob die tatsächlichen Wörter und Bilder innerhalb eines Quiz-Kapitels uns etwas darüber verraten könnten, wie schwer das Quiz ist, was wiederum helfen könnte, die Punktzahl eines Schülers sogar noch besser vorherzusagen als nur durch den Blick auf seine bisherigen Noten.

Hier ist die Aufschlüsselung der Studie unter Verwendung alltäglicher Analogien:

Der Aufbau: Die „CourseKata“-Bibliothek

Betrachten Sie die Daten als eine riesige Bibliothek von Online-Statistik-Lehrbüchern (genannt CourseKata). Schüler lesen Kapitel, bearbeiten Übungsaufgaben und absolvieren am Ende ein Quiz.

Die Daten: Der Forscher untersuchte etwa 4.700 Instanzen, in denen Schüler diese Quizze absolvierten.
Das Ziel: Die Vorhersage der finalen Quiz-Punktzahl (0 bis 100 %).
Die Basislinie: Die „alte Methode“ der Vorhersage bestand schlichtweg darin: „Wenn ein Schüler bei seinen Übungsaufgaben 80 % erreicht hat, wird er wahrscheinlich auch im Quiz etwa 80 % erreichen.“

Das Experiment: Das Hinzufügen von „Kontext“

Der Forscher baute ein Computermodell, um zu sehen, ob das Hinzufügen von Details über den Quiz-Inhalt die Vorhersage verbesserte. Er behandelte den Quiz-Inhalt wie ein Rezept:

Text-Merkmale: Er analysierte die Wörter in den Fragen. Verwendeten die Fragen lange, komplizierte Wörter? Gab es seltene Vokabeln? War der Text sehr wortreich? (Stellen Sie sich das so vor, als würde man prüfen, ob das Rezept exklusive, schwer zu findende Zutaten verwendet).
Bild-Merkmale: Er analysierte die Bilder im Lehrbuch. Er zählte, wie viele Linien in den Zeichnungen vorhanden waren und wie viele verschiedene Formen oder „Regionen“ sichtbar waren. (Stellen Sie sich das so vor, als würde man prüfen, ob das Rezept ein komplexes Diagramm oder nur eine einfache Skizze enthält).

Die Ergebnisse: Zwei verschiedene Szenarien

Der Forscher testete das Modell auf zwei verschiedene Arten, wie zwei verschiedene Spielmodi:

Spielmodus 1: Vorhersage für einen neuen Schüler in einer bekannten Klasse

Das Szenario: Der Computer hat die Quizfragen schon einmal gesehen (weil andere Schüler sie bereits bearbeitet haben), aber er hat diesen spezischen Schüler noch nicht gesehen.
Das Ergebnis: Das Hinzufügen der Text- und Bilddetails half sehr viel.
Die Analogie: Stellen Sie sich vor, Sie kennen die Speisekarte eines Restaurants perfekt. Wenn Sie wissen, dass ein neuer Kunde normalerweise scharfes Essen bestellt, und Sie zudem wissen, dass dieses spezifische Menü sehr scharfe Beschreibungen und Bilder von Chilischoten enthält, können Sie dessen Bestellung viel besser vorhersagen als nur durch das Wissen, dass er gerne scharf isst.
Der Erfolg: Das Modell wurde 9,1 % genauer, als es die Text- und Bilddetails berücksichtigte. Die Textdetails waren dabei der größte Helfer.

Spielmodus 2: Vorhersage für ein völlig neues Kapitel

Das Szenario: Der Computer hat dieses spezifische Kapitel noch nie gesehen. Er muss versuchen, die Leistung der Schüler in einem völlig neuen Satz von Fragen vorherzusagen, basierend auf dem, was er aus anderen Kapiteln gelernt hat.
Das Ergebnis: Dies war ein gemischtes Urteil.
- Text: Die Details zur Wortreichheit und Komplexität der Sprache halfen weiterhin. Es scheint, dass ein Kapitel mit schwierigen Wörtern generell schwieriger ist, und diese Regel gilt auch für neue Kapitel.
- Bilder: Die Bildanalyse verschlechterte die Vorhersage. Das Modell wurde schlechter, als es versuchte, die Bilddaten zu nutzen.
Die Analogie: Stellen Sie sich vor, Sie versuchen zu erraten, wie schwer ein neues Puzzle ist. Sie wissen, dass Puzzles mit langen Anleitungen meist schwierig sind (Text = Gut). Aber Ihre Methode, um Bilder zu beurteilen, bestand lediglich darin, „Linien“ zu zählen. Sie könnten eine einfache Tabelle zählen und feststellen, dass sie 50 Linien hat, während ein komplexer Graph vielleicht nur 5 Linien hat. Da der „Linien-Zähler“ zu simpel war, verwirrte er den Computer und machte die Vorhersage für das neue Puzzle schlechter.

Was hat der Computer gelernt?

Als der Forscher die „Gewichtungen“ betrachtete (wie stark der Computer jeden einzelnen Faktor berücksichtigte), fand er heraus:

Wortanzahl & Komplexität: Dies waren die wichtigsten Hinweise. Wenn ein Kapitel viele Wörter und komplexe Vokabeln enthält, wusste der Computer, dass er eine andere Leistung erwarten musste.
Bilder: Die einfache Methode des „Linienzählens“ war nicht klug genug, um zu verstehen, was die Bilder tatsächlich bedeuteten. Ein Bild mit vielen Linien konnte ein einfliches Diagramm oder ein verwirrendes Chaos sein; der Computer konnte den Unterschied nicht erkennen.

Das Fazit

Diese Arbeit beweist, dass das Wissen darüber, wie ein Test aussieht, hilft vorherzusagen, wie Schüler abschneiden werden.

Wenn man das Kursmaterial kennt, macht das Betrachten der Wörter in den Fragen die Vorhersagen wesentlich präziser.
Das Betrachten von Bildern hilft, wenn man ein spezifisches, bekanntes Kapitel analysiert, aber die aktuelle Methode der Bildanalyse (das bloße Zählen von Linien) ist zu plump, um bei der Vorhersage der Leistung für neue Inhalte nützlich zu sein.

Der Autor kommt zu dem Schluss, dass wir, um die Leistung von Schülern wirklich zu verstehen, nicht nur in deren bisherige Geschichte blicken sollten, sondern den „Kontext“ des Tests selbst betrachten müssen, insbesondere die Sprache, die in den Fragen verwendet wird. Wir benötigen jedoch intelligentere Wege, um Bilder zu analysieren, bevor sie für die Vorhersage der Leistung bei völlig neuem Material nützlich sein können.

Technische Zusammenfassung: Kontextsensitive Vorhersage der Quizleistung von Studierenden mit multimodalen Lehrbuchmerkmalen

Problemstellung
Das Educational Data Mining konzentriert sich traditionell auf die Vorhersage der Leistung von Studierenden basierend auf Interaktionsverläufen und vorherigen Übungsergebnissen. Dieser Ansatz setzt jedoch voraus, dass der Inhalt von Bewertungen statisch oder irrelevant für die Vorhersageaufgabe ist. In der Realität variiert die Schwierigkeit von Kapitel-Abschlussquizfragen erheblich aufgrund linguistischer Komplexität, der Seltenheit des Vokabulars und visueller Darstellungen. Diese Arbeit untersucht, ob die Einbeziehung von leichtgewichtigen, inhaltsspezifischen Merkmalen, die aus den Review-Fragen des Lehrbuchs extrahiert wurden, die Vorhersage der Quiz-Scores von Studierenden über das hinaus verbessern kann, was allein durch die bisherige Leistung der Studierenden erreichbar ist. Die Studie adressiert zwei unterschiedliche Generalisierungsszenarien: die Vorhersage von Scores für neue Studierende innerhalb eines bekannten Curriculums (Held-Out Student) und die Vorhersage für völlig neue Kapitel des Curriculums (Held-Out Chapter).

Methodik
Die Studie nutzt einen Datensatz von 4.742 Studierenden-Kapitel-Beobachtungen, die aus 562 Kurs-Studierende-IDs aus fünf Universitätskursen unter Verwendung der Lehrbücher Statistics and Data Science: A Modeling Approach (Versionen ABC und ABCD) auf der CourseKata-Plattform abgeleitet wurden. Die Zielvariable ist der End-of-Chapter-Quiz-Score (skaliert von 0–1).

Die Methodik umfasst eine vierstufige Pipeline:

Konstruktion der Baseline: Ein Baseline-Prädiktor wird mithilfe des durchschnittlichen Anteils korrekter Antworten (avg_exercise_scores) aus zuvor im selben Kapitel absolvierten Übungen erstellt.
Merkmalsextraktion:
- Textmerkmale: Extrahiert aus der Formulierung der Kapitel-Review-Fragen mittels wordfreq. Zu den Metriken gehören die durchschnittliche Wortlänge, die mittlere Wortseltenheit (basierend auf der Zipf-Frequenz), die Anzahl komplexer Wörter (niedrige Zipf-Frequenz) und die Gesamtwortzahl.
- Bildmerkmale: Extrahiert aus den visuellen Elementen des Lehrbuchs mittels OpenCV. Zu den Metriken gehören die Canny-Kantendetektion, die Anzahl der Hough-Liniensegmente und die Anzahl der externen Konturen (visuelle Regionen). Kapitelweise Merkmale werden als Durchschnitt pro Bild und Gesamtzahl der Bilder aggregiert.
Modellierung: Die Studie vergleicht vier Merkmals-Sets: (1) Base (nur vorherige Leistung), (2) Base + Image, (3) Base + Text und (4) Base + Image + Text. Zur Handhabung der Merkmalskorrelation und zur Vermeidung von Overfitting wird die Ridge-Regression eingesetzt, wobei die Regularisierungsstärke mittels Kreuzvalidierung ausgewählt wird.
Evaluierung:
- RQ1 (Held-Out Student): Fünffache gruppierte Kreuzvalidierung, bei der alle Kapitel eines spezifischen Studierenden in derselben Fold gehalten werden. Dies testet die Generalisierung auf neue Studierende bei bekanntem Inhalt.
- RQ2 (Held-Out Chapter): Leave-chapter-out Validierung, bei der das Modell an acht Kapiteln trainiert und am neunten getestet wird. Dies testet die Generalisierung auf ungesehene Curriculum-Inhalte.

Wichtigste Ergebnisse

Vorhersage für Held-Out Students (RQ1): Das Hinzufügen von Inhaltsmerkmalen verbessert die Vorhersagegenauigkeit signifikant. Das volle multimodale Modell (Base + Text + Image) erreicht ein $R^2$ von 0,4338 und einen mittleren quadratischen Fehler (MSE) von 0,02270, was einer relativen Reduktion des MSE um 9,1 % gegenüber der Baseline ( $R^2$ = 0,3775, MSE = 0,02496) entspricht. Sowohl Text- als auch Bildmerkmale tragen zu dieser Verbesserung bei, wobei die Textmerkmale eine etwas größere individuelle Auswirkung zeigen (8,9 % Reduktion) als die Bildmerkmale (2,9 % Reduktion).
Vorhersage für Held-Out Chapters (RQ2): Die Ergebnisse divergieren je nach Typ der Merkmale.
- Textmerkmale: Die Einbeziehung von Textmerkmalen verbessert die Leistung und reduziert den MSE um 8,7 % ( $R^2$ = 0,4119) im Vergleich zur Baseline. Dies deutet darauf hin, dass linguistische Merkmale übertragbare Signale bezüglich der Schwierigkeit von Bewertungen erfassen.
- Bildmerkmale: Modelle, die Bildmerkmale enthalten, schneiden schlechter ab als die Baseline. Das Modell Base + Image erhöht den MSE um 15,5 %, und das volle multimodale Modell führt zu einem negativen $R^2$ (-0,1776) und einer massiven Erhöhung des MSE um 82,9 %.
Merkmalsrelevanz: Eine Analyse der standardisierten Koeffizienten des Ridge-Modells zeigt, dass die Wortzahl und die Anzahl der komplexen Wörter die größten Gewichte unter den Inhaltsmerkmalen tragen, gefolgt von den vorherigen Übungsergebnissen. Bildmerkmale (Linienanzahl, Regionenanzahl) haben kleinere Gewichte.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass der Bewertungskontext ein prädiktives Signal enthält, das sich von der historischen Leistung eines Studierenden unterscheidet.

Kontextsensitivität: Für operative Settings mit bekannten Curricula bietet ein kontextsensitives Modell, das Text- und visuelle Merkmale integriert, eine genauere Prognose der Leistung von Studierenden als die bloße Abhängigkeit von der bisherigen Leistung.
Übertragbarkeit linguistischer Signale: Die Studie zeigt, dass linguistische Merkmale (z. B. Wortseltenheit, Wortzahl) Informationen über die Schwierigkeit von Bewertungen erfassen, die über verschiedene Kapitel hinweg generalisierbar sind, was sie wertvoll für die Vorhersage der Leistung bei neuen Inhalten macht.
Limitierungen aktueller Bildmerkmale: Die Arbeit stellt explizit fest, dass die aktuellen Bildmerkmale (Kantenzahlen, Konturzahlen) zu grob sind, um für die Vorhersage neuer Inhalte nützlich zu sein. Die Autoren argumentieren, dass diese Merkmale nicht in der Lage sind, die semantische Komplexität visueller Relationen (z. B. Unterscheidung zwischen einer komplexen statistischen Grafik und einer einfachen Tabelle) zu kodieren, was darauf hindeutet, dass zukünftige Arbeiten semantisch bedeutsamere Repräsentationen (z. B. Diagrammtypen, Vision-Language-Embeddings) benötigen, um die visuelle Komplexität effektiv zu modellieren.

Fazit
Die Studie kommt zu dem Schluss, dass die Modellierung von Studierenden den Bewertungskontext als integralen Bestandteil des Vorhersageproblems behandeln sollte. Während leichtgewichtige Textmerkmale sowohl die Vorhersagen für neue Studierende als auch für neue Kapitel erfolgreich verbessern, bieten die derzeitigen einfachen Bildmerkmale noch keinen vergleichbaren Nutzen für die Generalisierung auf ungesehene Lehrinhalte. Die Autoren betonen, dass diese Ergebnisse deskriptiv für prädiktive Rollen und nicht als kausale Schätzungen der Schwierigkeit von Fragen zu verstehen sind.