Faster, Cheaper, More Accurate: Specialised Knowledge Tracing Models Outperform LLMs

Die Studie zeigt, dass spezialisierte Knowledge-Tracing-Modelle Large Language Models (LLMs) bei der Vorhersage von Schülerantworten hinsichtlich Genauigkeit, Geschwindigkeit und Kosten deutlich übertreffen und somit als universelle Lösung ungeeignet sind.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Lehrer, der 100.000 Schüler hat. Ihre Aufgabe ist es, vorherzusagen, welche Schüler eine nächste Matheaufgabe richtig oder falsch lösen werden. Warum ist das wichtig? Damit Sie genau dann helfen können, wenn ein Schüler gerade ins Wanken gerät, bevor er frustriert aufgibt.

In diesem Papier vergleichen die Autoren zwei verschiedene Arten von „Helfern" (Künstlicher Intelligenz), die diese Vorhersage treffen sollen:

1. Der Spezialist (Knowledge Tracing / KT): Ein kleiner, extrem trainierter Roboter, der nur Mathe und Schülerverhalten kennt.
2. Der Alleskönner (Large Language Model / LLM): Ein riesiger, super-intelligenter Supercomputer, der alles kann – von Dichtungen schreiben über Programmieren bis hin zu Mathe.

Die Frage war: Wer ist besser für den Schulalltag geeignet?

Hier ist die einfache Zusammenfassung der Ergebnisse, übersetzt in Alltagssprache:

1. Die Genauigkeit: Der Spezialist gewinnt

Stellen Sie sich vor, Sie müssen einen Schlüssel für ein ganz bestimmtes Schloss machen.

• Der Spezialist ist wie ein Schlossmacher, der sein Leben lang nur diese eine Art von Schloss baut. Er kennt jede Schraube, jedes Zahnrad und jedes Muster. Er weiß genau, wie der Schüler denkt.
• Der Alleskönner ist wie ein genialer Architekt, der zwar riesige Gebäude entwerfen kann, aber vielleicht nicht weiß, wie man einen winzigen, spezifischen Schlüssel für ein altes Schultor schneidet.

Das Ergebnis: Der Spezialist (KT-Modell) hat die Schüler viel genauer vorhergesagt als der Alleskönner (LLM). Der Alleskönner lag oft daneben, manchmal sogar schlechter als eine einfache Faustregel („Die meisten Schüler machen das richtig"). Der Spezialist hingegen sah die Muster im Verhalten der Schüler sofort.

2. Die Geschwindigkeit: Der Hase gegen die Schnecke

Stellen Sie sich vor, Sie müssen 100.000 Briefe sortieren.

• Der Spezialist ist wie ein hochmodernes Sortierband: Er braucht weniger als eine Sekunde pro Schüler. Das ist so schnell, dass Sie kaum blinzeln können, bevor er fertig ist.
• Der Alleskönner ist wie ein sehr langsamer, aber sehr gründlicher Briefträger, der jeden Brief einzeln liest, überlegt und dann schreibt. Bei manchen Modellen dauert es Minuten oder sogar Stunden pro Schüler.

Das Ergebnis: Der Spezialist ist um ein Vielfaches schneller. Für eine App, die Schüler in Echtzeit unterstützen soll, ist der Alleskönner zu langsam. Er würde die Schüler warten lassen, bis die Motivation weg ist.

3. Die Kosten: Der Sparfuchs gegen den Goldesel

Stellen Sie sich vor, Sie mieten einen Dienstleister für ein Jahr.

• Der Spezialist kostet Sie für 100.000 Schüler im ganzen Jahr weniger als 2 Dollar. Das ist so günstig, als würden Sie ein paar Kaugummis kaufen.
• Der Alleskönner kostet Sie für die gleiche Aufgabe zwischen 1.200 und 25.000 Dollar im Jahr.

Das Ergebnis: Der Spezialist ist extrem billig. Der Alleskönner ist ein „Goldesel", der den Geldbeutel von Schulen und Bildungstools leer saugt, ohne dabei besser zu sein.

Die große Erkenntnis (Die Moral der Geschichte)

Die Autoren sagen im Grunde: „Nicht jede Aufgabe braucht einen Supercomputer."

Es ist wie beim Kochen:

• Wenn Sie ein komplexes, internationales Menü für ein Hochzeitsessen kochen wollen, brauchen Sie einen Koch mit einem riesigen Arsenal an Werkzeugen und Zutaten (das ist der LLM).
• Wenn Sie aber jeden Tag um 8 Uhr morgens für 100.000 Schüler das gleiche, perfekte Frühstück (Mathe-Hilfe) zubereiten müssen, brauchen Sie einen perfekt eingestellten Toaster (das ist der KT-Modell).

Der Toaster ist schneller, billiger und macht genau das, was er soll. Der riesige Koch mit dem ganzen Arsenal ist zwar beeindruckend, aber für das tägliche Frühstück viel zu teuer, zu langsam und macht die Aufgabe sogar schlechter, weil er sich zu sehr auf andere Dinge konzentriert.

Fazit: Für Bildungstechnologie (EdTech), wo es darum geht, tausenden Schülern schnell und günstig zu helfen, sind die kleinen, spezialisierten Modelle (KT) die klare Wahl. Die großen KI-Modelle sind toll für andere Dinge, aber sie sollten nicht blindlings als „Allheilmittel" für alles eingesetzt werden, besonders nicht, wenn es um das Vorhersagen von Schülerleistungen geht.

Technische Zusammenfassung

1. Problemstellung

Die Vorhersage zukünftiger Schülerantworten ist ein zentrales Element adaptiver Lernsysteme, um gezielte pädagogische Interventionen zu ermöglichen. Traditionell werden dafür Knowledge Tracing (KT)-Modelle verwendet, die auf historischen Interaktionsdaten trainiert sind, um den Wissenszustand eines Schülers über die Zeit zu modellieren.

Mit dem Aufkommen von Large Language Models (LLMs) stellt sich die Frage, ob diese allgemeinen Modelle, die in mathematischem Denken und Problemlösen erfolgreich sind, die spezialisierten KT-Modelle in der Vorhersage von Schülerleistungen ersetzen oder übertreffen können. Die Autoren untersuchen drei Kernfragen:

1. Wie gut können LLMs zukünftige Schülerantworten vorhersagen?
2. Sind LLMs in Bezug auf Latenz und Kosten für diesen Anwendungsbereich skalierbar?
3. Wie schneiden LLMs im direkten Vergleich zu spezialisierten KT-Modellen ab?

2. Methodik

Datensatz und Aufgabe:

• Aufgabe: Binäre Klassifikation (Vorhersage, ob eine Antwort korrekt oder inkorrekt ist).
• Daten: Ein realer Datensatz einer Online-Lernplattform (Eedi).
• Aufbau: 12.800 Schüler im Trainingsset, 1.600 im Validierungsset. Jeder Schüler hat Antworten auf bis zu 50 Fragen gegeben; das Modell muss die letzten 40 vorhersagen (Cold-Start-Problematik wurde durch Ignorieren der ersten 10 Fragen gemildert).
• Eingaben: Fragen-ID, Fragetext, Konstruktion (Skill)-Text, sowie bei einigen Modellen Misskonzept-Texte und Erklärungen.

Vergleichene Modelle:

• Spezialisierte KT-Modelle:
  • DKT (Deep Knowledge Tracing): Nutzt rekurrente neuronale Netze (RNN).
  • SAKT (Self-Attentive Knowledge Tracing): Nutzt Transformer-Aufmerksamkeitsmechanismen.
  • LLM KT (Eigenentwicklung): Ein kleiner, maßgeschneiderter temporaler Transformer, der Texteingaben (Fragen, Konstrukte, Misskonzepte) über einen vortrainierten Embedding-Encoder (Qwen 0.6B) in Vektoren umwandelt. Die eigentliche Vorhersage erfolgt ohne LLM-Inferenz zur Laufzeit.
• Large Language Models (LLMs):
  • Geschlossene Modelle: GPT-4o-mini, Gemini-2.5-flash-lite.
  • Open-Source Modelle: Llama-1B (Zero-Shot und LoRA-feinabgestimmt), Qwen2.5-7B-Instruct.
  • Prompting: Die Schülerhistorie und die neue Frage wurden als Prompt übergeben, mit der strikten Vorgabe, nur „Yes" oder „No" als Antwort zu geben.

Bewertungsmetriken und Infrastruktur:

• Metriken: Genauigkeit (Accuracy) und F1-Score (macro-averaged).
• Latenz & Kosten: Gemessen auf einer CPU-basierten Azure-Instanz (DS3) für selbstgehostete Modelle; API-Kosten und Latenz für geschlossene Modelle.
• Skalierungsszenario: Berechnung für 100.000 Schüler mit jeweils 40 Vorhersagen pro Jahr.

3. Wichtige Beiträge und Ergebnisse

Die Studie liefert einen umfassenden Vergleich über drei Dimensionen:

A. Vorhersageleistung (Performance)

• Spezialisierte KT-Modelle gewinnen: Das maßgeschneiderte „LLM KT"-Modell erreichte die höchste Genauigkeit (72,8 %) und den höchsten F1-Score (0,674).
• Vergleich mit etablierten KT-Modellen: SAKT (72,7 %) und DKT (71,8 %) lagen knapp dahinter, aber deutlich über allen LLMs.
• Leistung der LLMs:
  • GPT-4o-mini: 58,6 % Genauigkeit.
  • Gemini-2.5-flash-lite: 66,5 %.
  • Qwen2.5-7B-Instruct: 64,6 %.
  • Llama-1B (Zero-Shot): Nur 33,5 % (schlechter als ein Zufallsgenerator).
  • Llama-1B (LoRA-feinabgestimmt): 71,0 %.
• Wichtige Erkenntnis: Selbst feinabgestimmte kleine LLMs (LoRA) erreichen nicht die Leistung der reinen KT-Architekturen. Zudem scheiterten einige LLMs daran, den Prompt-Formatierungskonstrainten zu folgen oder einfache statistische Muster (z. B. die Basiswahrscheinlichkeit korrekter Antworten im Datensatz) zu erkennen.

B. Latenz und Modellgröße

• Geschwindigkeit: KT-Modelle sind um Größenordnungen schneller.
  • KT-Modelle: < 0,25 Sekunden pro Schüler.
  • LLMs: 3,1 Sekunden (GPT-4o-mini) bis über 3.000 Sekunden (Qwen2.5-7B) pro Schüler.
• Größe: KT-Modelle sind extrem kompakt (0,58M – 0,85M Parameter). LLMs sind massiv größer (1B – 8B Parameter).

C. Kostenanalyse

• Jahreskosten für 100.000 Schüler:
  • KT-Modelle: < 2 USD pro Jahr (da auf CPU lauffähig).
  • LLMs: Zwischen 1.230 USD (Gemini) und 24.741 USD (Qwen) pro Jahr.
• Faktor: KT-Modelle sind 615- bis 12.400-mal günstiger als LLMs für denselben Aufgabenbereich bei gleichzeitig höherer Genauigkeit.

4. Signifikanz und Fazit

Das Paper widerlegt die Annahme, dass allgemeine LLMs eine universelle Lösung für alle Aufgaben im Bildungsbereich (EdTech) darstellen könnten.

• Domänenspezifität ist entscheidend: Für die Vorhersage von Schülerleistungen, die auf der Modellierung individueller Lernpfade und Wissenslücken über die Zeit basiert, sind spezialisierte, kleine Architekturen (KT) überlegen.
• Skalierbarkeit: LLMs sind aufgrund ihrer hohen Latenz und extremen Kosten für den Echtzeit-Einsatz bei großen Schülerzahlen in Bildungssystemen ungeeignet.
• Empfehlung: LLMs sollten nicht als Standardlösung für die Schülermodellierung eingesetzt werden. Sie haben ihren Platz dort, wo sie nachweislich Kosten senken oder Lernergebnisse verbessern (z. B. bei der Generierung von Erklärungen), aber für die Kernfunktion der Leistungsprognose bleiben spezialisierte KT-Modelle die effizienteste und genaueste Wahl.

Die Studie unterstreicht, dass „More Data" (durch LLMs) nicht automatisch „Better Performance" in spezialisierten, zeitbasierten Vorhersageaufgaben bedeutet, wenn die Architektur nicht auf die spezifische Datenstruktur und das Problem zugeschnitten ist.