Atom Learning Model (ALM): how a real classroom got tokenised
Dit artikel beschrijft het Atom Learning Model (ALM), een systeem dat twee wiskundeboeken heeft getokeniseerd naar een prerequisietengrafiek van 1.934 leertrajecten om tegen lage kosten gepersonaliseerde vragen te genereren voor 373 studenten, terwijl het onverwachte bevindingen onthulde zoals de hoge kosten van het leggen van verbanden, het onvermogen van taalmodellen om de moeilijkheidsgraad van vragen te voorspellen, en het feit dat de implementatie van het systeem net niet ver genoeg ging om de kernhypothese te testen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In een typisch klaslokaal staat een leraar voor dertig leerlingen, allemaal ongeveer even oud, en probeert één enkele les te geven. De uitdaging is dat geen twee kinderen in die ruimte zich op exact hetzelfde punt in hun leerproces bevinden. De één kan misschien een complexe puzzel oplossen, terwijl een ander nog worstelt met de basisstukjes. Omdat de leraar niet onmiddellijk het exacte vaardigheidsniveau van elke individuele leerling kan kennen, wordt de les op een gemiddeld niveau aangeboden, waardoor sommigen zich vervelen en anderen de draad kwijtraken. Decennialang hebben onderwijzers geprobeerd dit op te lossen door leerlingen in groepen in te delen op basis van hun algemene niveau, maar dit verkleint de kloof slechts marginaal; het behandelt dertig kinderen nog steeds als één eenheid in plaats van dertig individuen. Het kernprobleem is een gebrek aan resolutie: scholen hebben een kaart van wat er geleerd moet worden, maar ze missen een manier om precies te bepalen waar elk kind zich op elk gegeven moment op die kaart bevindt.
Dit is de kloof die een nieuw systeem genaamd het Atom Learning Model probeert te vullen. Het idee is om een schoolvak, zoals wiskunde, op te splitsen in de kleinste mogelijke stappen, zogenaamde "atomen". Stel je een vaardigheid voor zoals het oplossen van een vergelijking, niet als één enkele, monolithische taak, maar als een keten van kleine, afzonderlijke handelingen: weten hoe je moet vermenigvuldigen, weten hoe je moet aftrekken, weten hoe je een regel moet herschrijven. Als een leerling de eerste drie kan, maar de vierde niet, dan weet het systeem precies waar de breuk in de keten zit. Door deze minuscule stappen en de volgorde waarin ze geleerd moeten worden in kaart te brengen, kan het systeem in theorie elke leerling een werkblad geven dat perfect is afgestemd op net boven wat zij al weten. Deze aanpak belooft de educatie weg te bewegen van rigide leerjaren en toe naar een model waarbij leerlingen hun eigen tempo volgen, waarbij ze één kleine stap beheersen voordat ze naar de volgende gaan.
Een onderzoeker aan het Imperial College London, onder leiding van Philipp Bogdan, testte dit idee in een echte omgeving gedurende zeven weken in twee Britse middelbare scholen. Zij hebben het curriculum of de vragen niet handmatig geschreven. In plaats daarvan voerden ze twee standaard wiskundeboeken in een computersysteem en vroegen het systeem de pagina's te lezen, de vaardigheden te extraheren en een enorme, onderling verbonden kenniskaart te bouwen. Het systeem verwerkte 757 pagina's tekst en veranderde deze in 1.934 afzonderlijke "atomen", die elk een enkele handeling vertegenwoordigen die een leerling kan uitvoeren. Vervolgens besteedde het systeem het merendeel van zijn inspanning aan het uitzoeken hoe deze atomen met elkaar verbonden zijn, waardoor meer dan 4.600 links ontstonden die laten zien welke vaardigheden eerst geleerd moeten worden voordat andere kunnen worden gevolgd. Deze structuur stelde de computer in staat om duizenden unieke vragen te genereren, afgestemd op specifieke combinaties van deze kleine vaardigheden, en deze voor te leggen aan 373 leerlingen.
De resultaten van dit experiment waren verrassend en daagden verschillende algemene aannames over hoe leren werkt uit. Ten eerste ontdekten de onderzoekers dat een computermodel dat naar een vraag kijkt, niet kon voorspellen hoe moeilijk deze voor een leerling zou zijn. Het systeem had moeilijkheidsgraden aan de vragen toegewezen, maar toen ze deze labels vergeleken met hoe de leerlingen daadwerkelijk presteerden, bleken de labels volkomen nutteloos. De moeilijkheid van een vraag is, zo ontdekten zij, geen vaste eigenschap van de vraag zelf. In plaats daarvan is moeilijkheid een relatie tussen de vraag en de specifieke leerling die de vraag beantwoordt. Een vraag is alleen moeilijk als de leerling de specifieke kleine stappen mist die nodig zijn om het probleem op te lossen. Dit betekent dat een leraar of een computer niet simpelweg naar een probleem kan kijken en kan zeggen dat het "moeilijk" is; ze kunnen alleen weten dat het moeilijk is voor een specifter kind dat de noodzakelijke achtergrondstappen mist.
Nog een onverwachte bevinding betrof de snelheid van de feedback. De onderzoekers maten hoe lang leerlingen moesten wachten voordat hun antwoorden werden beoordeeld en hoe deze wachttijd hun bereidheid om door te werken beïnvloedde. Ze ontdekten dat als een leerling slechts zeven seconden moest wachten op een beoordeling, de kans dat zij aan de volgende vraag begonnen aanzienlijk kleiner was dan wanneer zij slechts drie seconden moesten wachten. Deze minieme vertraging, die de meeste onderwijzers als verwaarloosbaar zouden beschouwen, was genoeg om het momentum van de leerling te verbreken. Dit suggereert dat in een digitale leeromgeving de snelheid van het systeem even cruciaal is voor de betrokkenheid als de kwaliteit van de vragen.
Misschien wel de belangrijkste beperking van de studie was dat het systeem nooit zijn eigen diepste theorie heeft getest. De centrale premisse van het Atom Learning Model is dat moeilijkheid voortkomt uit de diepte van de keten van vaardigheden die een leerling mist. Om dit te bewijzen, zou het systeem vragen moeten presenteren die vereisen dat een leerling een gat van drie of vier ontbrekende stappen overbrugt. Echter, tijdens de zeven weken durende proefperiode diende het systeem bijna nooit een vraag voor die dieper ging dan twee stappen. De onderzoeker gaf toe dat het belangrijkste deel van hun theorie — het idee dat moeilijkheid puur gaat over wat er ontbreekt — ongetest bleef, omdat het systeem nooit de moeilijke vragen had gesteld die het hadden kunnen bewijzen. Het systeem werkte goed voor oppervlakkige vragen, maar de ultieme test om te zien of het een leerling door een diepe kennisachterstand kan leiden, werd aan de toekomst overgelaten.
Ondanks deze beperkingen bood het experiment een concreet inzicht in wat een volledig getokeniseerde leerstof zou kosten en hoe het zou kunnen functioneren. Het gehele proces van het lezen van de tekstboeken en het bouwen van de kaart van vaardigheden kostte tussen de £615 en £1.230, een eenmalige investering. Eenmaal gebouwd, genereerde het systeem meer dan 6.000 vragen voor de leerlingen tegen een kost van ongeveer 26 pence per vraag. De studie toonde aan dat het mogelijk is om de creatie van een gepersonaliseerd leertraject te automatiseren zonder dat menselijke docenten elk probleem handmatig hoeven te schrijven. De onderzoeker merkte echter voorzichtig op dat het systeem de docent nog niet heeft vervangen. De kaart van vaardigheden bestond en de vragen werden gegenereerd, maar het systeem gebruikte nog niet de live prestatiegegevens van de leerling om in real-time te beslissen wat het hen als volgende zou tonen. De scores werden achteraf berekend, wat betekende dat de leerlingen tijdens de proefperiode niet daadwerkelijk door het systeem werden begeleid naar het volledige potentieel ervan.
De visie die uit dit werk naar voren komt, is een wereld waarin het concept van een "leerjaar" overbodig wordt. Als een systeem precies weet welke kleine stap een kind beheerst en welke stap het mist, is er geen reden meer om dertig kinderen samen in één kamer te houden terwijl ze wachten tot de rest van de klas bij is. Een kind kan het materiaal op eigen tempo doorlopen, waarbij het negen maanden over een niveau kan doen als dat nodig is, of er zes maanden over doet als het er klaar voor is. Het examen, momenteel een logistieke gebeurtenis waarbij iedereen tegelijkertijd plaatsneemt, zou een persoonlijke mijlpaal kunnen worden die een leerling aflegt wanneer hij of zij er klaar voor is. Het Atom Learning Model heeft die toekomst in de zeven weken durende proefperiode niet bereikt, maar het heeft de eerste echte brug daarnaartoe gebouwd, door aan te tonen dat de infrastructuur voor een dergelijk systeem geconstrueerd kan worden, zelfs als het water er nog niet doorheen stroomt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.