🤖 AI

BEAGLE: Behavior-Enforced Agent for Grounded Learner Emulation

BEAGLE is een neuro-symbolisch raamwerk dat de theorie van zelfgereguleerd leren integreert met een semi-Markov-model, Bayesiaanse kennisvolging met foutinjectie en een ontkoppeld agentontwerp om authentieke, foutgevoelige leerdersgedragingen in open-ended probleemoplossing te simuleren, en zo effectief een menselijke Turingtest bestaat tegen echte studentendata.

Oorspronkelijke auteurs: Hanchen David Wang, Clayton Cohn, Zifan Xu, Siyuan Guo, Gautam Biswas, Meiyi Ma

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanchen David Wang, Clayton Cohn, Zifan Xu, Siyuan Guo, Gautam Biswas, Meiyi Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die probeert een nieuwe manier te ontwerpen om studenten te helpen programmeren te leren. Om je nieuwe lesmethode te testen, moet je zien hoe het werkt bij studenten die worstelen, in de war zijn en fouten maken. Maar je kunt niet zomaar echte kinderen vragen keer op keer te falen; het is duur, kost te veel tijd en roept privacyproblemen op.

Dus wil je een digitaal robotstudent bouwen die precies doet alsof het een echt menselijk leerling is.

Het probleem is dat huidige AI (Grote Taalmodellen) te slim zijn. Als je hen vraagt "te doen alsof je een verwarde beginner bent", lossen ze het probleem meestal toch perfect op. Ze zijn als een genie-acteur die zijn tekst vergeet en een perfect einde improviseert in plaats van door de scène te struikelen.

Dit artikel introduceert BEAGLE, een nieuw type AI dat expres als een "slechte" student is ontworpen. Het doet niet alleen alsof; het is gebouwd met een speciale interne motor die het dwingt te worstelen, vast te lopen en op de harde manier te leren, net als een echt mens.

Hier is hoe BEAGLE werkt, opgesplitst in eenvoudige onderdelen:

1. Het "Brein" versus de "Handen" (De Architect)

De meeste AI probeert tegelijkertijd na te denken en code te schrijven. BEAGLE splitst deze taak op in twee verschillende rollen:

De Strategist (Het Brein): Dit deel beslist wat de student denkt. Het zegt: "Ik ben in de war," of "Ik denk dat de zwaartekrachtberekening fout is," of "Ik ga gewoon gokken." Het bepaalt de sfeer en het doel.
De Executor (De Handen): Dit deel schrijft daadwerkelijk de code. Cruciaal is dat het niet zijn eigen fouten mag herstellen als het "Brein" heeft gezegd dat het een specifieke fout moet maken. Als de Strategist zegt: "Ik ben vergeten het zwaartekrachtsding toe te voegen," moet de Executor code schrijven die de zwaartekracht vergeet, zelfs als de AI het beter weet. Dit voorkomt dat de AI "valt" door zich stilletjes te corrigeren.

2. De "Verkeersregelaar" (De Symbolische Controle)

Echte studenten werken niet in een rechte lijn. Ze bouwen een beetje, lopen vast, proberen het te repareren, lopen nog meer vast, nemen dan een pauze en proberen het daarna opnieuw.
BEAGLE gebruikt een Verkeersregelaar (een semi-Markov-model) om de stroom te controleren. Het beslist:

"Oké, voor de komende 5 minuten moet je Debuggen (vastzitten aan een fout)."
"Schakel nu over naar Plannen voor 2 minuten."
"Nu ben je Uitvoeren (gewoon blind typen zonder na te denken)."
Dit zorgt ervoor dat de AI het probleem niet in 6 perfecte stappen oplost. Het dwingt de AI om tijd door te brengen in de rommelige, iteratieve lussen waarin echte studenten vast komen te zitten.

3. De "Blinddoek" (Kennisvolging en Foutinjectie)

Echte beginners lijden aan de "Vloek van incompetentie": ze maken niet alleen fouten; ze weten niet eens wat ze niet weten. Ze proberen misschien een wiskundig hulpmiddel te gebruiken waarvan ze nog nooit hebben gehoord.
BEAGLE gebruikt een Blinddoek-systeem:

Het volgt wat de student "weet" (zoals een kenniskaart).
Als de student een beginner moet zijn in "Trigonometrie", blokkeert BEAGLE de AI om wiskundige bibliotheken te gebruiken die daar mee te maken hebben.
In plaats van het juiste hulpmiddel te gebruiken, moet de AI improviseren. Het kan proberen het antwoord te raden of een nep, gebroken versie van de wiskundefunctie schrijven. Dit creëert "onbekende onbekenden" – fouten die ontstaan omdat de student het concept echt mist, niet omdat ze een typefout hebben gemaakt.

4. De "Turing-test" (Werkt het?)

De onderzoekers testten BEAGLE door echte mensen (studenten, leraren en experts) een mix te tonen van echte studentencode en BEAGLE's code. Ze vroegen: "Welke is van de mens?"

Het resultaat was verbluffend: De mensen konden het verschil niet zien.

De nauwkeurigheid van het raden was ongeveer 53%, wat in feite een muntworp is.
Zelfs experts met jaren ervaring konden de AI niet opsporen.
De code van de AI zag er rommelig uit, emotioneel ("Ugh, waarom werkt dit niet?"), en zat vol met dezelfde repetitieve fouten die echte studenten maken.

Waarom dit belangrijk is

BEAGLE is niet zomaar een cool trucje; het is een veilige zandbak voor onderwijsresearch.

Stress-testen: Leraren kunnen BEAGLE gebruiken om nieuwe tutorsoftware te testen. Ze kunnen zien of hun nieuwe app een "verwarde robotstudent" helpt leren, zonder het onderwijs van een echt kind te riskeren.
Privacy: Je hoeft geen privégegevens van echte kinderen te verzamelen om deze systemen te trainen.
Worsteling begrijpen: Het helpt onderzoekers te bestuderen waarom studenten vastlopen, omdat BEAGLE vastloopt om de juiste redenen (gebrek aan kennis), en niet alleen omdat de AI willekeurig is.

Kortom, BEAGLE is de eerste AI die succesvol heeft geleerd hoe het is om een worstelende student te zijn door gedwongen te worden de regels van menselijke verwarring te volgen, in plaats van alleen maar te worden gevraagd "verward te doen". Het bewijst dat je om een menselijke leerling te simuleren niet zomaar een slimme AI kunt vragen te doen alsof; je moet een systeem bouwen dat het dwingt imperfect te zijn.

Technische Samenvatting: BEAGLE – Gedragsgedwongen Agent voor Gegrondde Leerling-Emulatie

Probleemstelling

De vooruitgang van generatieve AI in het onderwijs is sterk afhankelijk van authentieke leerlingdata om pedagogische modellen te trainen, evalueren en verfijnen. Het verkrijgen van dergelijke data wordt echter gehinderd door strenge privacyregels (zoals FERPA, GDPR), de hoge kosten van longitudinale studies en ethische bezwaren tegen interventies bij echte minderjarigen. Hoewel Large Language Models (LLM's) een mogelijke oplossing bieden voor het simuleren van leerlinggedrag, lijden ze onder een fundamentele competentiebias. Voorkeursgetuned LLM's zijn geoptimaliseerd voor uitkomstkwaliteit en efficiëntie, waardoor ze lineaire, correcte oplossingen genereren, zelfs wanneer ze worden gevraagd om als novice te handelen. Dit resulteert in drie specifieke vormen van ontrouw:

Gedragsontrouw: LLM's vermijden de iteratieve trial-and-error-cycli (bijvoorbeeld aanhoudende debug-loops) die kenmerkend zijn voor Zelfgereguleerd Leren (SRL).
Epistemische ontrouw: LLM's fungeren als "gemaskerde experts", vaak met het inzicht om fouten te diagnosticeren die ze niet zouden moeten kennen, en falen in het simuleren van de "vloek van incompetentie" (onbekende onbekenden).
Perceptuele ontrouw: RLHF-training egaliseert de outputdiversiteit en slaagt er niet in het lawaai en de emotionele variatie van authentieke leerlingexpressie vast te leggen.

Methodologie: Het BEAGLE-kader

BEAGLE (Behavior-Enforced Agent for Grounded Learner Emulation) is een neuro-symbolisch kader dat is ontworpen om competentiebias te overwinnen door architecturale beperkingen in plaats van alleen prompt-engineering. Het werkt als een systeem zonder training met bevroren LLM-ruggengraten en integreert drie gekoppelde subsystemen:

1. Symbolische Controle (De "Governor")

Dit subsystem dwingt de temporele en structurele dynamiek van leren af op basis van SRL-theorie.

Semi-Markov-dynamiek: In tegenstelling tot standaard Markov-modellen die geometrische duurverdelingen afdwingen, gebruikt BEAGLE een semi-Markov-controller met Gamma-verdeelde duur. Dit vangt de onregelmatige persistentie van echte leerlingen op (bijvoorbeeld "vastlopen" in een staat) en regelt de overgangen tussen metacognitief gedrag (Plannen, Uitvoeren, Bewaken, Reflecteren) en cognitief gedrag (Construeren, Debuggen, Beoordelen).
Expliciete Foutinjectie (EFI) & Bayesiaanse Kennistracing (BKT): Om "onbekende onbekenden" te simuleren, combineert BEAGLE BKT met EFI. BKT traceert de waarschijnlijkheid van beheersing voor specifieke Kenniscomponenten (KC's). Wanneer een KC niet beheerst is, blokkeert EFI de agent toegang tot dat concept in zijn vocabulaire. De agent wordt gedwongen om incorrecte oplossingen te improviseren of verward te blijven, waardoor de LLM wordt verhinderd zijn latente expertkennis te benutten om te "valsspelen".
Observatiefiltratie: Feedback wordt afgeschermd door de metacognitieve staat van de agent. Tijdens impulsieve "Uitvoerende" staten worden foutsporen geredigeerd, waardoor de agent wordt gedwongen tot realistische trial-and-error in plaats van directe diagnose.

2. Neuronale Actie (De "Actor")

Dit subsystem maakt gebruik van een Strateeg/Executor-architectuur om hoog-niveau planning te ontkoppelen van codegeneratie, waardoor stil zelfcorrectie wordt voorkomen.

Strateeg: Synthetiseert een hoog-niveau plan bestaande uit een Doel, Mindset en Directief op basis van de huidige symbolische staat. Het fungeert als een interne monoloog.
Executor: Genereert de uiteindelijke actie (code en monoloog) strikt geconditioneerd op het directief van de Strateeg. Cruciaal is dat de Executor beperkt is tot het implementeren van het directief, zelfs als het gebrekkig is; hij kan het plan niet overrulen met een "beter" oplossing. Deze architecturale scheiding zorgt ervoor dat de agent een gebrekkige redeneerweg van een novice volgt in plaats van deze te corrigeren.

3. Omgeving

De omgeving voert de gegenereerde code uit in een Python-sandbox (IDE Oracle) en levert gefilterde observaties terug aan de agent. Het update BKT-beheersingskansen alleen tijdens bewuste evaluatiestaten (Bewaken/Reflecteren), wat overeenkomt met hoe mensen kennis consolideren.

Belangrijkste Bijdragen

Nieuwe Architectuur: Het eerste systeem dat gedragsdynamiek (via semi-Markov-controle) en kennisbeperkingen (via BKT + EFI) gezamenlijk afdwingt om novice-leerlingen te simuleren.
Ontkoppelde Agentontwerp: De splitsing tussen Strateeg en Executor voorkomt effectief de "stille zelfcorrectie" die gebruikelijk is bij LLM's, en dwingt epistemische ontrouw af door de agent gebrekkige plannen te laten implementeren.
Expliciete Foutinjectie: Een mechanisme om "onbekende onbekenden" te simuleren door deterministisch toegang tot specifieke concepten te blokkeren, waardoor de agent wordt gedwongen te improviseren in plaats van toegang te krijgen tot latente expertkennis.
Uitgebreide Evaluatie: Een rigoureuze evaluatie over vier taken (drie in-distributie natuurkundesimulaties, één out-of-distributie wiskundetaak), zes frontier LLM-ruggengraten en negen baselines.

Resultaten

BEAGLE werd geëvalueerd op metrics voor gedrags-, epistemische en perceptuele ontrouw:

Gedragsontrouw: BEAGLE verlaagde de KL-divergentie ( $D_{KL}$ ) tussen gesimuleerde en echte cognitieve gedragsverdelingen significant (0,31 versus baselines $\ge$ 0,53). Het slaagde erin iteratieve debug-loops (C $\leftrightarrow$ D-overgangen) te reproduceren die baselines systematisch omzeilden.
Epistemische ontrouw: BEAGLE behaalde een foutrecurrentiepercentage van 86,2%, wat nauw overeenkomt met de "vloek van incompetentie" waarbij novices herhaaldelijk worstelen met dezelfde fouten. In tegenstelling hiermee losten baselines zoals Vanilla LLM's fouten direct op (7,8% recurrentie).
Perceptuele ontrouw (Menselijke Turingtest): In een studie met N=71 deelnemers (waaronder studenten, professionals en educatoren) konden deelnemers BEAGLE-sporen niet betrouwbaar onderscheiden van echte leerlingdata. De classificatie-accuraatheid was 52,8%, statistisch equivalent aan toeval ( $p=0,053$ ). Signal Detection Theory-analyse leverde een discriminatie-index op van $d' = 0,15$ , en equivalentietesten (TOST) bevestigden dat de sporen perceptueel niet te onderscheiden waren van echte data ( $p_{TOST} = 0,038$ ).
Generalisatie: Het kader behield hoge ontrouw over verschillende LLM-ruggengraten (Gemini, GPT, Claude) en out-of-distributie-taken (Gradiëntafdaal), wat aantoont dat de architecturale beperkingen generaliseren buiten specifieke modelcapaciteiten.

Betekenis en Claims

Het artikel claimt dat BEAGLE een significante stap voorwaarts is in synthetische leerlinggeneratie door verder te gaan dan prompt-gebaseerde persona-aanname naar architecturale afdwinging van leertheorie. Door succesvol de "worsteling" van leren te simuleren – inclusief aanhoudende fouten, gebrek aan zelfinzicht en niet-lineaire probleemoplossing – maakt BEAGLE schaalbaar, ethisch AI-onderwijsonderzoek mogelijk. Het stelt onderzoekers in staat pedagogische interventies te stress-testen en adaptieve tutoringsystemen te trainen zonder de risico's en kosten die gepaard gaan met experimenten met echte leerlingen. De auteurs merken op dat hoewel er nog steeds een restant van competentiebias bestaat op de sterkste ruggengraten, het kader een principieel fundament biedt voor toekomstig werk in multi-agent klaslokalen en capabiliteitsadaptieve symbolische controle.