A Transparent Fuzzy-Inference Layer for Explainable Knowledge Tracing: Why Prerequisite Graphs Must Be Expert-Supplied, and Which T-Norm to Use

In het moderne klaslokaal is technologie een constante metgezel geworden, met systemen die bijhouden hoe leerlingen leren en lessen in realtime aanpassen. Deze systemen, bekend als knowledge tracing (kennisopsporing), fungeren als een digitale tutor die de volgorde van antwoorden van een leerling op wiskundevragen of leesvragen observeert. Ze zijn opmerkelijk goed in het voorspellen of een leerling de volgende vraag goed of fout zal beantwoorden. Deze digitale tutors werken echter vaak als een 'black box'. Ze kunnen signaleren dat een leerling moeite heeft met een specifiek concept, maar ze kunnen niet uitleggen waarom. Ze kunnen aangeven dat een leerling faalt bij "het delen van breuken", maar ze kunnen de docent niet vertellen welk eerder concept de leerling heeft gemist dat deze mislukking heeft veroorzaakt. Voor een menselijke docent is het kennen van de grondoorzaak essentieel; het is het verschil tussen het opnieuw onderwijzen van het huidige onderwerp en het teruggaan naar de basis om die te herstellen. Zonder deze helderheid blijven de krachtigste voorspellingen nutteloos voor daadwerkelijke interventie.

Onderzoekers hopen dit al lang op te lossen door computers te leren om automatisch de verborgen kaart van hoe concepten met elkaar verbonden zijn te ontdekken. Het idee was dat door miljoenen antwoorden van leerlingen te analyseren, een algoritme zou kunnen uitzoeken dat "vermenigvuldigen van breuken" een noodzakelijke stap is vóór "delen van breuken", zonder dat daarvoor een mens een kaart hoeft te tekenen. Als dit mogelijk zou zijn, zou het systeem moeiteloos naar elk onderwerp kunnen schalen en op basis van de data alleen zijn eigen verklaringen kunnen genereren. Een nieuwe studie daarenteft de optimistische aanname uit. Door strikt te testen of deze automatische kaarten uit leerlinglogs gebouwd kunnen worden, ontdekten de onderzoekers dat de data simpelweg niet over de noodzakelijke aanwijzingen beschikt. In plaats van dat een computer de regels ontdekt, concludeert de studie dat deze kaarten door menselijke experts moeten worden geleverd, en dat de echte doorbraak ligt in het bouwen van een transparant systeem dat die expertkaarten gebruikt om de voorspellingen van de computer te verklaren.

De onderzoekers begonnen met het testen van drie verschillende methoden die een computer zou kunnen gebruiken om deze verbindingen zelfstandig te leren. Ze voedden de algoritmen enorme hoeveelheden interactielogs van een populair online wiskundeplatform, waarbij ze zochten naar patronen waarbij het beheersen van één vaardigheid leek te leiden tot succes in een andere. De eerste methode keek naar informatiestroom, de tweede probeerde de natuurlijke neiging van slimme leerlingen om alles goed te doen weg te filteren, en de derde gebruikte een paar bekende voorbeelden om de rest te raden. Ondanks het gebruik van verschillende wiskundige benaderingen, faalden alle drie de methoden. Wanneer de onderzoekers de gissingen van de computer vergeleken met een bekende, door experts geverifieerde kaart van zestien wiskundige concepten, waren de resultaten niet te onderscheiden van willekeurige kans. De algoritmen konden het verschil niet zien tussen een echte vereiste en twee ongerelateerde vaardigheden die toevallig door dezelfde leerlingen werden beantwoord.

De reden voor dit falen is een subtiele maar krachtige valstrik in de data. In elk klaslokaal variëren leerlingen in hun algemene vermogen; sommigen zijn van nature snelle leerlingen, terwijl anderen met alles worstelen. Dit creëert een verwarrend signaal waarbij bijna elke vaardigheid met elke andere vaardigheid verbonden lijkt te zijn. Een sterke leerling krijgt zowel "optellen van breuken" als "aftrekken van breuken" goed, niet omdat de een de ander veroorzaakt, maar simpelweg omdat de leerling goed is in wiskunde. Een zwakke leerling krijgt beide fout om diezelfde reden. Deze "vermogensval" (ability trap) overstemt de ware causale verbanden, waardoor het voor een computer onmogelijk is om de kaart alleen uit de logs te leren. De onderzoekers bevestigden dit door hetzelfde probleem te testen op twee andere enorme datasets, één met bijna een miljoen interacties en een andere met meer dan vijfentwintig miljoen. In elk geval bleef de valstrik standhouden, wat bewees dat de beperking niet een fout is in de specifieke algoritmen, maar een fundamentele eigenschap van de data zelf.

Omdat de computer de kaart niet zelf kan bouwen, verschoof de focus van de onderzoekers naar een andere vraag: als we de computer een door experts geverifieerde kaart geven, kan deze de kaart dan gebruiken om zijn voorspellingen te verklaren op een manier die duidelijk en betrouwbaar is? Ze bouwden een nieuwe laag bovenop de standaard voorspellingsmotor, een systeem dat fungeert als een vertaler. Deze vertaler neemt de interne schatting van de computer over het vaardigheidsniveau van een leerling en controleert deze tegen de expertkaart. Als de computer voorspelt dat een leerling zal falen bij een moeilijk concept, kijkt de vertaler naar de kaart om te zien welke eerdere concepten vereist zijn. Vervolgens genereert het een eenvoudige, leesbare verklaring: "De leerling loopt risico omdat het begrip van de vereiste vaardigheid zwak is." Cruciaal is dat deze vertaler niet leert of verandert; het is een vaste set regels die iedereen kan inspecteren. Dit ontwerp zorgt ervoor dat de verklaring altijd gekoppeld is aan een specifieke, controleerbare regel, in plaats van een mysterieus resultaat uit een complex neuraal netwerk.

Het team testte vervolgens of deze aanpak daadwerkelijk beter werkte dan de standaardmethoden die vandaag de dag worden gebruikt om beslissingen van AI uit te leggen. Ze vergeleken hun nieuwe vertaler met populaire technieken die proberen het denken van een computer te reconstrueren door te highlighten welke eerdere interacties het belangrijkst waren. De resultaten waren opvallend. De standaardmethoden waren onbetrouwbaar; ze wezen vaak naar de verkeerde eerdere interacties of verspreidden hun aandacht over veel irrelevante details, waardoor ze de werkelijke oorzaak niet konden identificeren, zelfs niet wanneer de voorspelling van de computer correct was. In contrast hiermee identificeerde de nieuwe vertaler, omdat deze gebouwd was op de expertkaart, consequent de juiste vereiste. Dit deed het ongeacht de onderliggende computerarchitectuur en werkte even goed op verschillende soorten modellen. De studie toonde aan dat hoewel de interne logica van de computer vaak opaak was voor standaard uitlegtools, de expertkaart een betrouwbare gids bood die de vertaler zonder problemen kon volgen.

De onderzoekers onderzochten ook hoe de verschillende stukken informatie het beste gecombineerd kunnen worden om deze verklaringen te creëren. Ze testten vier verschillende wiskundige manieren om te bepalen wanneer een vereiste echt de oorzaak van een probleem is. De ene methode was zeer strikt, een andere zeer ruim, en twee zaten daar tussenin. Door hun keuzes te vergelijken met het werkelijke gedrag van het computermodel, ontdekten ze dat een specifieke methode, bekend als de productregel, het beste aansloot bij de realiteit. Deze methode markeerde een probleem pas wanneer zowel de vereiste zwak was als de huidige vaardigheid een risico liep, waarmee de juiste balans werd gevonden tussen te gevoelig en te strikt zijn. Deze bevinding suggereert dat de manier waarop we deze logische stappen combineren ertoe doet, en dat een zorgvuldige keuze de nauwkeurigheid van de verklaring kan verbeteren.

Uiteindelijk biedt de studie een duidelijke weg voorwaarts voor educatieve technologie. Het demonstreert dat het proberen om de structuur van kennis automatisch te ontdekken uit leerlinglogs een doodlopende weg is; de data is te ruisig en de verbindingen tezeer verborgen door het algemene vermogen van de leerling. In plaats daarvan is de meest effectieve aanpak om te accepteren dat menselijke experts de kaart moeten leveren van hoe concepten met elkaar verbonden zijn. Zodra die kaart aanwezig is, kan een transparant, op regels gebaseerd systeem deze gebruiken om opake voorspellingen om te zetten in helder, actiegericht advies voor docenten. Dit betekent niet dat de computer minder krachtig is; het betekent dat de computer nu werkt met een menselijke gids om verklaringen te bieden die niet alleen statistisch waarschijnlijk zijn, maar ook logisch sluitend en betrouwbaar. De waarde van dit werk ligt niet in een nieuw algoritme dat sneller leert, maar in een nieuw ontwerpprincipe dat prioriteit geeft aan helderheid en correctheid boven de illusie van automatische ontdekking.