Faster, Cheaper, More Accurate: Specialised Knowledge Tracing Models Outperform LLMs

Dit artikel toont aan dat gespecialiseerde kennis-tracering-modellen voor educatieve toepassingen grotere voorspellingsnauwkeurigheid bieden en aanzienlijk sneller en goedkoper zijn dan grote taalmodellen (LLMs).

De kern

Stel je voor dat je een schoolmeester bent die probeert te voorspellen of een leerling de volgende wiskundevraag goed zal beantwoorden. Je hebt twee opties om je bij te staan:

1. De Speciale Expert: Een slimme, maar kleine assistent die zich uitsluitend heeft gespecialiseerd in het patroon van jouw leerlingen. Hij kent elke fout die ze maken, weet precies waar ze vastlopen, en is razendsnel.
2. De Allesweter: Een gigantische, superintelligente robot die alles over de wereld weet, van de geschiedenis van Egypte tot de beste recepten voor pizza. Hij kan ook wiskunde, maar hij is niet specifiek getraind om jouw leerlingen te begrijpen.

Dit onderzoek van Eedi (een educatief platform) stelt de vraag: Wie doet het beter?

Het antwoord is verrassend duidelijk: De kleine, speciale expert wint het van de gigantische allesweter.

Hier is de uitleg, vertaald naar alledaagse taal:

1. De Wedstrijd: Snelheid, Kosten en Slimheid

De onderzoekers hebben deze twee types modellen tegen elkaar op laten staan in een test met 100.000 leerlingen. Ze keken naar drie dingen:

• Hoe vaak hebben ze gelijk? (Nauwkeurigheid)

  • De Speciale Expert (Knowledge Tracing of KT-modellen) had in 73% van de gevallen gelijk.
  • De Allesweter (LLMs zoals GPT-4 of Gemini) had maar in 58% tot 66% van de gevallen gelijk.
  • Vergelijking: Het is alsof de allesweter probeert een medische diagnose te stellen voor een specifieke ziekte door te googelen, terwijl de specialist die ziekte al 10 jaar elke dag behandelt. De specialist kent de nuances beter.

• Hoe snel zijn ze? (Snelheid)

  • De Speciale Expert doet er minder dan een seconde over om een voorspelling te doen voor een leerling. Het is alsof hij direct antwoord geeft.
  • De Allesweter is traag. Voor sommige modellen duurt het minuten (soms wel 3000 seconden!) om één leerling te analyseren.
  • Vergelijking: De specialist is een sprinter die in een flits een antwoord geeft. De allesweter is een olifant die eerst even moet denken, rondkijkt en dan pas langzaam antwoordt. Voor een school met duizenden leerlingen is die vertraging dodelijk.

• Hoeveel kost het? (Kosten)

  • De Speciale Expert kost bijna niets. Om 100.000 leerlingen een jaar lang te helpen, betaal je minder dan $2.
  • De Allesweter is extreem duur. Voor hetzelfde werk moet je tussen de $1.200 en $25.000 per jaar betalen.
  • Vergelijping: De specialist is als een fiets: goedkoop, onderhoudsvriendelijk en doet precies wat je nodig hebt. De allesweter is als een privé-jet: indrukwekkend, maar je kunt er niet mee naar de supermarkt voor een ei.

2. Waarom wint de "kleine" expert?

Je zou denken: "Maar die grote AI-modellen zijn toch slimmer? Ze kunnen toch alles?"

Ja, ze kunnen veel, maar ze zijn niet gespecialiseerd.

• De Allesweter (LLM) is getraind om teksten te lezen en te schrijven over alles. Hij probeert wiskundevragen op te lossen door te "redeneren" zoals een mens. Maar hij mist de specifieke data over hoe jouw leerlingen leren en fouten maken. Hij is te algemeen.
• De Specialist (KT-model) is gebouwd als een "patroonzoeker". Hij kijkt niet naar de tekst van de vraag, maar naar de geschiedenis van de leerling: "Ah, deze leerling maakt altijd fouten bij breuken als er een haakje in staat." Hij is getraind op de specifieke data van de school.

3. De Les voor de Wereld

De boodschap van dit papier is heel belangrijk voor de toekomst van onderwijs:

Gebruik niet altijd de grootste, duurste AI voor alles.

Soms is een "grote taalmodel" (zoals ChatGPT) geweldig voor creatief schrijven of het uitleggen van complexe concepten. Maar als je wilt voorspellen of een leerling een toets gaat halen, of welke hulp die leerling nu nodig heeft, dan is een klein, specifiek model veel beter.

Het is als het kiezen van een gereedschap:

• Wil je een muur slopen? Gebruik een sloophamer (de grote AI).
• Wil je een klein schroefje in een horloge zetten? Gebruik een kleine, precieze schroevendraaier (de KT-model).

Als je de sloophammer gebruikt om een schroefje vast te zetten, is het te duur, te langzaam en maak je waarschijnlijk de horloge kapot.

Kortom: Voor het voorspellen van leerlingresultaten zijn de kleine, snelle en goedkope specialisten de winnaars. De grote AI-modellen zijn indrukwekkend, maar voor deze specifieke taak zijn ze te traag, te duur en minder nauwkeurig.

Technische samenvatting

Titel: Sneller, Goedkoper, Nauwkeuriger: Gespecialiseerde Knowledge Tracing-modellen presteren beter dan LLM's

1. Probleemstelling

In het domein van educatieve data mining is het voorspellen van toekomstige antwoorden van studenten op vragen cruciaal voor adaptieve leersystemen en gepersonaliseerd onderwijs. Traditioneel wordt dit opgelost met Knowledge Tracing (KT)-modellen: compacte, domeinspecifieke modellen die getraind zijn op interactiegegevens van studenten.

Met de opkomst van Large Language Models (LLM's) rijst de vraag of deze algemene modellen, die uitstekend presteren in redeneren en wiskunde, de gespecialiseerde KT-modellen kunnen vervangen of overtreffen voor het voorspellen van studentprestaties. De auteurs stellen drie kernvragen:

1. Hoe goed kunnen LLM's toekomstige antwoorden van studenten voorspellen?
2. Zijn LLM's schaalbaar voor dit domein qua latentie (snelheid) en kosten?
3. Hoe vergelijken LLM's zich met gespecialiseerde KT-modellen op deze specifieke taak?

2. Methodologie

De auteurs hebben een systematische vergelijking uitgevoerd tussen gespecialiseerde KT-modellen en diverse LLM's op basis van drie dimensies: voorspellende prestaties, inferentie-tijd (latentie) en implementatiekosten.

• Taakformulering: Een binaire classificatietaken waarbij het model moet voorspellen of een student een toekomstige vraag correct of incorrect zal beantwoorden, gebaseerd op hun antwoordgeschiedenis.
• Dataset: Een real-world dataset van het online leerplatform Eedi.
  • Trainingsset: 512.000 antwoorden van 12.800 studenten (alleen gebruikt voor training van KT en fine-tuned LLM's).
  • Validatieset: 64.000 antwoorden van 1.600 verschillende studenten (gebruikt voor evaluatie).
  • Opzet: Het model moet de laatste 40 antwoorden voorspellen op basis van een geschiedenis van 10 eerdere antwoorden (om koude-startproblemen te vermijden).
• Geëvalueerde Modellen:
  • Gespecialiseerde KT-modellen:
    • DKT (Deep Knowledge Tracing): Gebruikt recurrente neurale netwerken.
    • SAKT (Self-Attentive Knowledge Tracing): Gebruikt transformer-achtige self-attention.
    • LLM KT (Eigen model): Een aangepast encoder-decoder temporair transformer dat tekstuele input (vragen, concepten, uitleg, misconcepties) omzet via een ingebouwde embedding (Qwen 0.6B) en vervolgens verwerkt door een klein temporair model. Belangrijk: Tijdens inferentie wordt geen grote LLM gebruikt, alleen de embeddings.
  • Algemene LLM's:
    • Gesloten bron: GPT-4o-mini, Gemini-2.5-flash-lite.
    • Open source: Qwen2.5-7B-Instruct, Llama-1B (zero-shot en met LoRA fine-tuning).
• Prompting Strategie: Voor LLM's werd een gestructureerde prompt gebruikt met een beperkte output ('Yes' of 'No') om deterministisch parseren te garanderen.
• Infrastructuur:
  • KT-modellen en open-source LLM's werden getest op een CPU-only Azure-instantie (4 vCPU, 14GiB RAM).
  • Gesloten LLM's werden via API benaderd; kosten en latentie zijn gebaseerd op API-prijzen.

3. Belangrijkste Resultaten

A. Voorspellende Prestaties (Accuracy en F1-score)

• Gespecialiseerde KT-modellen winnen: De gespecialiseerde modellen presteerden consistent beter dan de algemene LLM's.
  • LLM KT (eigen model): 72,8% accuracy, F1-score 0,674.
  • SAKT: 72,7% accuracy, F1-score 0,669.
  • DKT: 71,8% accuracy, F1-score 0,650.
• LLM's presteren slechter:
  • GPT-4o-mini: 58,6% accuracy (F1: 0,579).
  • Gemini-2.5-flash-lite: 66,5% accuracy (F1: 0,527).
  • Qwen2.5-7B: 64,6% accuracy (F1: 0,533).
  • Llama-1B (zero-shot): Slecht 33,5% accuracy (F1: 0,251), vaak door het niet volgen van de prompt-indeling.
  • Llama-1B (LoRA fine-tuned): 71,0% accuracy, maar nog steeds onder de KT-modellen.
• Opmerkelijk: Enkele LLM's presteerden zelfs slechter dan een simpele "dataset bias" baseline (die simpelweg de gemiddelde correctheid van de vraag voorspelt, 66,5%), wat aantoont dat ze geen nuttige patronen in de individuele leertrajecten kunnen leren.

B. Latentie (Snelheid)

• KT-modellen zijn extreem snel: Inferentie-tijd ligt onder de 0,25 seconden per student.
• LLM's zijn traag:
  • GPT-4o-mini: ~3,1 seconden.
  • Gemini-2.5-flash-lite: ~128 seconden.
  • Qwen2.5-7B en Llama-1B: Duizenden seconden (tot ~3.300 seconden) per student.
• LLM's zijn dus ordes van grootte trager dan KT-modellen.

C. Kostenanalyse

• De kosten werden berekend voor een scenario van 100.000 studenten met elk 40 voorspellingen per jaar.
• KT-modellen: Kosten minder dan $2 per jaar voor de volledige workload.
• LLM's:
  • GPT-4o-mini: ~$2.322 per jaar.
  • Gemini-2.5-flash-lite: ~$1.230 per jaar.
  • Llama-1B varianten: ~$11.991 per jaar.
  • Qwen2.5-7B: ~$24.741 per jaar.
• Conclusie: KT-modellen zijn 600 tot 12.000 keer goedkoper dan LLM's voor dezelfde taak, terwijl ze ook nauwkeuriger zijn.

D. Modelgrootte

• KT-modellen zijn compact (0,58M - 0,85M parameters).
• LLM's zijn massaal groter (1B tot 8B parameters), wat de inefficiëntie voor deze specifieke taak benadrukt.

4. Bijdragen en Significantie

Deze paper levert een kritische bijdrage aan het debat over het gebruik van AI in het onderwijs:

1. Validatie van Domeinspecificiteit: Het bewijst dat voor specifieke, tijdsgebonden taken zoals het voorspellen van studentprestaties, gespecialiseerde architecturen (KT) superieur zijn aan algemene LLM's, ondanks de enorme rekenkracht en capaciteiten van laatstgenoemden.
2. Economische en Technische Haalbaarheid: Het toont aan dat het gebruik van gesloten LLM's voor schaalbare educatieve toepassingen onrealistisch duur en te traag is. Gespecialiseerde modellen maken real-time interventies mogelijk op een schaal die LLM's niet kunnen bieden.
3. Waarschuwing voor "One-size-fits-all": De auteurs waarschuwen tegen het blindelings adopteren van LLM's als universele oplossing voor alle educatieve taken. LLM's zijn waardevol voor generatieve taken (zoals het geven van feedback of het genereren van content), maar niet als de kernmotor voor voorspellende analyses van leertrajecten.
4. Praktische Richtlijn: Voor EdTech-bedrijven die schaalbare, kostenefficiënte en nauwkeurige systemen willen bouwen, blijven gespecialiseerde KT-modellen de enige praktische en effectieve keuze.

Samenvattend: Hoewel LLM's indrukwekkende redeneercapaciteiten hebben, falen ze in de specifieke context van het modelleren van individuele leertrajecten over tijd. Gespecialiseerde Knowledge Tracing-modellen bieden de beste balans tussen snelheid, kosten en nauwkeurigheid en blijven de gouden standaard voor educatieve voorspellingstaken.