FACET: Teacher-Centred LLM-Based Multi-Agent Systems-Towards Personalized Educational Worksheets

Probleemstelling

De toenemende heterogeniteit van studentpopulaties vormt een grote uitdaging voor docenten, met name in het wiskundeonderwijs. Leerlingen verschillen sterk in cognitieve vaardigheden, motivatie en emotionele staat (zoals wiskunde-angst). Hoewel er veel AI-gedreven personalisatietools zijn, vertonen deze twee belangrijke beperkingen:

1. Te beperkte focus: De meeste systemen richten zich uitsluitend op prestatieadaptatie (op basis van quizresultaten) en negeren de psychologische en motivatie-aspecten die cruciaal zijn voor leerresultaten.
2. Gebrek aan docentondersteuning: Bestaande tools zijn vaak gericht op de leerling (student-facing) en bieden docenten weinig directe ondersteuning bij het differentiëren van lesmateriaal voor diverse klassen. Docenten moeten vaak zelf handmatig materiaal aanpassen binnen krappe tijdslimieten, wat leidt tot lagere kwaliteit en minder effectiviteit.

Er is behoefte aan een modulair, docentgericht AI-systeem dat realistische leerdersimulaties kan uitvoeren en lesmateriaal genereert dat zowel cognitieve als motivatie-dimensies adresseert.

Methodologie: Het FACET Framework

Het paper introduceert FACET (Framework for Agent-based Classroom Enhancement for Teacher), een multi-agent systeem gebaseerd op Large Language Models (LLM). Het doel is het genereren van gepersonaliseerde werkbladen die rekening houden met zowel het kennisniveau als de motivatie van de leerling.

Architectuur en Agenten:
Het systeem bestaat uit drie gespecialiseerde agenten die sequentieel werken:

1. Leerling-agent (Learner Agent):
   • Simuleert diverse leerprofielen door cognitieve (wiskundige vaardigheid: hoog/laag) en motivatie-dimensies (intrinsieke motivatie: hoog/laag) te modelleren.
   • Reageert op een wiskundetaak en genereert een transcriptie met redeneerstappen, misvattingen, emotionele cues en zelfgerapporteerde zelfeffectiviteit.
   • Dit maakt het mogelijk om realistisch gedrag te simuleren zonder dat de docent complexe prompts hoeft te schrijven.
2. Docent-agent (Teacher Agent):
   • Ontvangt het transcript van de leerling-agent en past instructie toe volgens didactische principes (o.a. Bloom's taxonomie).
   • Bestaat uit drie modules:
     • Analyse: Evalueert het leerprofiel.
     • Personalisatielaag: Genereert adaptieve instructie, motivatie-feedback en selecteert taken die passen bij het niveau (niet te makkelijk, niet te moeilijk).
     • Output-generator: Produceert een gestructureerd werkblad in Markdown met taken, hints en motivatie-opmerkingen.
3. Evalueer-agent (Evaluator Agent):
   • Biedt automatische kwaliteitsborging.
   • Beoordeelt het gegenereerde werkblad op vier dimensies: didactische structuur, helderheid van de taak, creativiteit en geschiktheid voor de behoeften van de leerling.
   • Gebruikt een rubric met scores van 1 tot 6.

Technische Implementatie:

• Modellen: Het systeem gebruikt GPT-4.1 voor de complexere redenering (leerling- en docent-agent) en GPT-4o voor de evaluator en opmaak.
• Interactie: De agenten communiceren via gestructureerde prompts met slot-vulling voor parameters zoals niveau, onderwerp en profiel.
• Workflow: Leerling-agent → Docent-agent → Evalueer-agent. Er wordt één iteratie uitgevoerd, wat bleek voldoende te zijn voor accurate resultaten.

Evaluatie:
De studie gebruikte twee methoden om de haalbaarheid te testen:

1. Automatische evaluatie (Interne validiteit): 10 iteraties per profiel (4 profielen: laag/hoog kennis x laag/hoog motivatie) met de evalueer-agent.
2. Expert-feedback (Externe validiteit): Kwalitatieve en kwantitatieve feedback van 5 K-12 docenten in Nederland/Duitsland, die de gegenereerde werkbladen vergeleken met standaard werkbladen.

Belangrijkste Bijdragen

1. Docentgericht Multi-Agent Systeem: Ontwerp en implementatie van een LLM-systeem dat specifiek docenten ondersteunt bij het creëren van gepersonaliseerd materiaal, in plaats van alleen leerlingen te bedienen.
2. Integratie van Cognitieve en Motivatie-dimensies: Het systeem modelleert niet alleen kennisniveaus, maar integreert ook intrinsieke motivatie en zelfbeeld, wat essentieel is voor effectieve differentiatie.
3. Validatie met Echte Curriculum-inhoud: Het systeem is getest met authentieke wiskundetaak uit het 8e-jaars curriculum van het Duitse voortgezet onderwijs, wat de praktische relevantie waarborgt.
4. Robuustheid en Reproduceerbaarheid: Door het gebruik van persistente agent-profielen en gestructureerde prompts wordt de stabiliteit van de output gewaarborgd, wat een probleem is bij single-prompt LLM-systemen.

Resultaten

• Automatische Evaluatie: De gegenereerde werkbladen behaalden consistent hoge scores (gemiddeld >4.7 op een schaal van 6) voor 'geschiktheid voor de leerling' en 'helderheid van de taak'. De didactische structuur en creativiteit scoorden iets lager maar nog steeds goed. Dit wijst op hoge interne validiteit.
• Docent-feedback: Docenten beoordeelden de didactische structuur en geschiktheid zeer positief (gemiddeld >5.0).
  • Docenten waardeerden de mogelijkheid om taken aan te passen aan het niveau, waardoor de hele klas op hetzelfde onderwerp kan blijven zonder dat snelle leerlingen vervelen of langzamere leerlingen overbelast raken.
  • Feedback wees op verbeterpunten: voor leerlingen met lage motivatie en kennis waren meer gestructureerde hints en uitgewerkte voorbeelden gewenst. Voor leerlingen met lage motivatie werd geadviseerd om meer verhalende elementen en dagelijkse relevantie toe te voegen.
• Stabiliteit: Het systeem toonde hoge stabiliteit in het genereren van materialen die consistent waren met de gedefinieerde leerprofielen.

Betekenis en Toekomstperspectief

Het paper demonstreert dat multi-agent LLM-architecturen een schaalbare oplossing bieden voor personalisatie in heterogene klassen. Het sluit de kloof tussen pedagogische theorie (differentiatie, zelfdeterminatietheorie) en praktijk door docenten een hulpmiddel te geven dat automatisch rekening houdt met complexe leerdersprofielen.

Toekomstige richtingen:

• Rijke Profielen: Uitbreiding van leerlingprofielen met extra dimensies zoals taalachtergrond, aandachtvariatie en neurodiversiteit (bijv. ADHD, dyslexie).
• Curriculum-integratie: Volledige integratie van curriculumspecificaties en didactische theorieën in de prompts om de pedagogische fit te verbeteren.
• Real-world Tests: Uitvoeren van grootschalige evaluaties in echte klaslokalen om de effectiviteit in authentieke omstandigheden te valideren.

Kortom, FACET biedt een veelbelovende weg naar inclusief en adaptief onderwijs waarbij AI docenten ondersteunt bij het creëren van hoogwaardig, gepersonaliseerd lesmateriaal.