Mathematics Teachers Interactions with a Multi-Agent System for Personalized Problem Generation

Probleemstelling

Hoewel Generatieve AI (LLM's) het potentieel heeft om leeropdrachten te personaliseren op basis van individuele leerlingkenmerken, brengt het directe gebruik van deze modellen in het K-12-onderwijs (voortgezet onderwijs) aanzienlijke risico's met zich mee. Zonder tussenkomst van een leraar kunnen LLM's schadelijke of misleidende inhoud genereren, pedagogisch ongeschikte taken creëren, of inhoud produceren die niet aansluit bij de diepgaande kennis die leraren over hun leerlingen hebben. Daarnaast bestaat het risico dat de relatie tussen leraar en leerling wordt verstoord.

De kernuitdaging ligt in het vinden van een balans: hoe kan men de schaalbaarheid van AI benutten voor personalisatie (bijvoorbeeld door wiskundeproblemen te koppelen aan interesses van leerlingen zoals sport of games), terwijl men tegelijkertijd de kwaliteit, authenticiteit, realisme en pedagogische waarde garandeert? Bestaande studies tonen aan dat AI-genereren vaak leidt tot onrealistische scenario's ("hallucinaties") of problemen die niet echt aansluiten bij de dagelijkse levenswereld van de leerling, wat de motivatie kan ondermijnen in plaats van verhogen.

Methodologie

De auteurs hebben een Multi-Agent "Teacher-in-the-Loop" systeem ontwikkeld en getest, geïntegreerd in het bestaande online huiswerksysteem ASSISTments.

• Systeemarchitectuur:

  • De basis wordt gevormd door GPT-4o.
  • Een leraar voert een basisprobleem en een gewenst onderwerp (bijv. honkbal) in.
  • Het systeem genereert een gepersonaliseerde versie van het probleem.
  • Vervolgens evalueren vier gespecialiseerde AI-agenten het gegenereerde probleem:
    1. Authenticiteit-agent: Beoordeelt of de context leeftijds adequaat en herkenbaar is voor middelbare scholieren.
    2. Realisme-agent: Controleert of hoeveelheden, eenheden en contextuele details plausibel zijn (bijv. zijn scores realistisch?).
    3. Leesbaarheids-agent: Evalueert of woordenschat en zinsbouw overeenkomen met het beoogde leesniveau.
    4. Hallucinatie-agent: Controleert de wiskundige consistentie (bijv. zijn er correcte antwoordopties bij meerkeuzevragen?).
  • Bij een "fail" van een agent worden de geïdentificeerde problemen door een verfijnings-agent gebruikt om het probleem te herzien. Dit proces is iteratief (maximaal 5 rondes) totdat alle agenten "pass" geven of het maximum aantal iteraties is bereikt.

• Deelnemers en Data:

  • 8 wiskundedocenten (7e klas, VS) hebben 212 gepersonaliseerde problemen gegenereerd en aan hun studenten toegewezen.
  • 364 studenten (waarvan 207 met toestemming voor demografische data) hebben de problemen opgelost en feedback gegeven.
  • Data-analyse: De onderzoekers analyseerden logs van de agenten, de prompt-moves van leraren (thema-analyse), en open-ended feedback van studenten. Ook werden leesbaarheidsmetrieken (Coh-Metrix) vergeleken tussen originele en gegenereerde problemen.

Belangrijkste Bijdragen

1. Architectuur: Een nieuwe multi-agent, leraar-gestuurde architectuur voor contextuele personalisatie die de controle bij de leraar houdt terwijl AI de creatie ondersteunt.
2. Empirisch Bewijs: Data uit authentieke klaslokaal-toepassingen die aantonen welke dimensies van personalisatie het moeilijkst te bereiken zijn (namelijk de "fine-grained" authenticiteit).
3. Ontwerpimplicaties: Inzichten in hoe men de controle van de leraar kan balanceren met de authenticiteit op studentniveau, en hoe multi-agent systemen leraren kunnen ondersteunen zonder hen te vervangen.

Resultaten

• Authenticiteit: Dit bleek de grootste uitdaging. Hoewel de agenten en leraren probeerden de context aan te passen, bleek dat interesses van leerlingen extreem variabel en fijnmazig zijn. Leraren moesten vaak de onderwerpen aanpassen (bijv. van "pop" naar "hiphop") of namen van klasgenoten invoegen. Leerlingen gaven aan dat wat voor de één authentiek is, voor de ander niet werkt (bijv. Taylor Swift vs. Call of Duty). Veel studenten vonden de personalisatie te generiek of niet persoonlijk genoeg; sommigen prefereerden zelfs dat ze zelf hun interesses konden invoeren.
• Realisme: De agenten detecteerden veel realiteitsproblemen tijdens de generatie. Leraren maakten echter weinig correcties op dit vlak in de definitieve versies, wat suggereert dat het agentensysteem effectief was in het filteren van onrealistische scenario's (zoals onmogelijke hoeveelheden eten of game-mechanica).
• Leesbaarheid: De gegenereerde problemen hadden over het algemeen een vergelijkbaar leesniveau als de originele problemen, hoewel de Flesch-Kincaid-score iets steeg (richting het 7e-klas niveau). Leraren vroegen zelden om leesbaarheid aan te passen, maar studenten gaven soms aan dat ze meer detail en verhaal wilden, zelfs als dit de leesbaarheid technisch zou verlagen.
• Wiskundige Hallucinaties: Fouten in de wiskunde waren zeldzaam. Leraren gebruikten hun professionele kennis echter wel om wiskundige terminologie en getalkeuzes te verfijnen (bijv. het aanpassen van variabelen of percentages), zelfs als er geen directe fout was.
• Leerlingreacties: Leerlingen gaven aan dat de problemen soms niet interessant waren omdat de onderwerpen niet aansloten bij hun specifieke interesses. Er was ook weerstand tegen het idee van personalisatie zelf ("Ik wil niet van wiskunde houden").

Betekenis en Conclusie

Het onderzoek concludeert dat een "teacher-in-the-loop" benadering essentieel is voor kwalitatief hoogwaardige personalisatie. Hoewel multi-agent systemen goed zijn in het detecteren van realiteits- en leesbaarheidsproblemen, hebben ze moeite met het begrijpen van de fijnmazige, persoonlijke authenticiteit die leerlingen nodig hebben om echt gemotiveerd te raken.

De belangrijkste bevinding is dat leraren niet alleen oppervlakkige fouten corrigeren, maar diepgaande pedagogische kennis toepassen over de levenservaringen van leerlingen, linguïstische geschiktheid en wiskundige framing. Het verwijderen van de leraar uit de loop zou leiden tot een verlies van deze diepgang en mogelijk tot weerstand bij leerlingen die de personalisatie als "opgelegd" of "oppervlakkig" ervaren.

Voor de toekomst adviseren de auteurs systemen te ontwikkelen waarin leraren de gewichten van de agenten kunnen aanpassen (bijv. leesbaarheid lager prioriteren als dat niet relevant is) en mechanismen te creëren die leerlingen meer autonomie geven in het definiëren van hun eigen interesses, zonder de pedagogische controle van de leraar te verliezen.