Should There be a Teacher In-the-Loop? A Study of Generative AI Personalized Tasks Middle School

Probleemstelling

Het aanpassen van instructie aan de specifieke behoeften, doelen en interesses van individuele studenten wordt beschouwd als een grote uitdaging in het onderwijs. Generatieve AI (GenAI), en met name Large Language Models (LLMs) zoals GPT-4, beloven deze uitdaging op te lossen door taken snel te personaliseren op een zeer fijnmazig niveau (bijv. specifieke popcultuurreferenties).

Er zijn echter twee concurrerende modellen voor contextpersonalisatie:

1. Teacher-in-the-loop: De leraar gebruikt GenAI als hulpmiddel om taken te maken die gebaseerd zijn op hun professionele kennis en kennis van de klas. Dit biedt controle en professionele groei, maar is tijdrovend en leidt vaak tot personalisatie op een "brede korrelgrootte" (bijv. algemeen "sport" in plaats van "Taylor Swift").
2. Teacher-out-of-the-loop: GenAI past taken direct aan op de specifieke interesses van elke individuele student (bijv. via een AI-tutor). Dit kan zeer fijnmazig zijn, maar verlegt de verantwoordelijkheid en creatieve last naar de student of de AI, en neemt de leraar uit de proces.

De centrale vraag van dit onderzoek is: Hoe efficiënt en effectief is het wanneer een leraar "in de loop" zit om GenAI te gebruiken voor het personaliseren van wiskundeproblemen, en wat zijn de gevolgen voor de leerervaring van de studenten?

Methodologie

Het onderzoek was een mixed-method studie uitgevoerd in het middelbare onderwijs (7e klas wiskunde) in de VS.

• Deelnemers: 7 wiskundeleraars (gemiddelde ervaring: 11,9 jaar) en 521 studenten.
• Procedures:
  • Leraren kregen training over personalisatie en het gebruik van ChatGPT (GPT-4o).
  • Ze selecteerden bestaande problemen uit het Illustrative Mathematics (IM) curriculum (een open-source curriculum).
  • In twee sessies (een voor Unit 4 en een voor Unit 6) pasten leraren deze problemen aan met ChatGPT om ze te laten aansluiten bij de interesses van hun studenten (popcultuur, sport, muziek, etc.).
  • Leraren werkten in Zoom-sessies met onderzoekers, waarbij hun scherm- en spraakactiviteiten werden opgenomen.
• Data-analyse:
  • Prompt-analyse: De interactielogboeken van ChatGPT werden gecodeerd op het aantal prompts, het type prompt (bijv. algemene thema's vs. specifieke referenties) en de tijd die werd besteed.
  • Studentfeedback: Studenten gaven ratings (1-5 schaal) over de "interessantheid" en de "overeenkomst met hun interesses". Er werden ook open-ended vragen gesteld over waarom een probleem interessant was of niet, en of er onnauwkeurigheden waren.
  • Statistische modellen: Er werden mixed-effects lineaire regressiemodellen gebruikt om de relatie te analyseren tussen het aantal prompts, de tijd, en de studentratings, met leraren en studenten als willekeurige intercepten.

Belangrijkste Bijdragen

1. Operationalisatie van "Teacher-in-the-loop": Het onderzoek biedt een empirische analyse van hoe leraren daadwerkelijk samenwerken met LLM's, in plaats van alleen op zelfrapportage te vertrouwen.
2. Koppeling van Prompt-strategieën aan Leeruitkomsten: Het is een van de eerste studies die kwantificeert hoe specifiek het gedrag van de leraar (aantal prompts, type instructies) direct correleert met de reacties van studenten.
3. Analyse van "Grain Size" en "Ownership": Het paper introduceert een nuance in het debat over personalisatie door te laten zien dat leraren in de loop per ongeluk personalisatie op een te brede schaal uitvoeren, terwijl studenten fijnmazige personalisatie prefereren.
4. Tijdsinvestering: Het documenteert de feitelijke tijdsinvestering van leraren, wat vaak wordt onderschat in commerciële AI-aanbiedingen.

Resultaten

1. Prompt-gedrag van Leraren (RQ1)

• Leraren gebruikten gemiddeld 3,2 prompts per probleem (SD=2,6).
• De meest voorkomende strategieën waren het toevoegen of vervangen van specifieke popcultuurreferenties (bijv. "verander Doritos in Flaming Hot Cheetos").
• Leraren besteedden veel tijd aan het corrigeren van realisme (context en getallen). Ongeveer 139 van de 415 extra prompts waren gericht op het verbeteren van de realiteit van de situatie of de getallen (bijv. "een halve munt is niet mogelijk").
• Leraren gaven de AI soms controle over specifieke referenties, maar vaak namen ze zelf de beslissing om specifieke interesses van hun klas te benoemen.

2. Studentfeedback (RQ2)

• Studenten gaven de voorkeur aan specifieke, fijnmazige referenties (bijv. een specifiek merk of artiest) boven algemene categorieën (bijv. "muziek").
• Als een specifieke referentie niet paste bij de persoonlijke voorkeur van de student, werd het probleem als minder interessant ervaren.
• Studenten waren weinig kritisch op de diepgang (realisme van de wiskundige situatie); ze focusten meer op de oppervlakkige kenmerken (de popcultuurreferentie). Slechts een klein aantal studenten merkte onnauwkeurigheden in de context op.

3. Efficiëntie en Effectiviteit (RQ3)

• Het maken van één gepersonaliseerd probleem duurde gemiddeld 246 seconden (ca. 4 minuten).
• Er is een "Goldilocks-zone" gevonden: het gebruik van 3 tot 5 prompts resulteerde in de hoogste studentratings voor interessantheid en relevantie. Minder dan 3 prompts (vaak accepteren van het eerste antwoord) gaf lagere scores; meer dan 5 prompts gaf ook lagere scores (waarschijnlijk omdat de leraar worstelde met de AI).
• Er was geen bewijs dat leraren sneller werden naarmate ze meer ervaring hadden; de tijd per probleem bleef stabiel of nam zelfs toe.

4. Groei van Unit 4 naar Unit 6 (RQ4)

• Tussen de eerste en tweede eenheid (Unit 4 vs. Unit 6) nam het aantal prompts per probleem toe met 1,26 en de tijd met 70 seconden.
• Leraren werden dus minder efficiënt, maar wel effectiever: de studentratings voor interessantheid en relevantie stegen significant.
• Dit suggereert dat reflectie op studentfeedback leidde tot meer inspanning (meer prompts) om de kwaliteit te verhogen, in plaats van tot meer snelheid.

Betekenis en Conclusie

De studie concludeert dat het hebben van een leraar "in de loop" een tweesnijdend zwaard is:

• Nadeel: Het proces is tijdrovend voor leraren en resulteert in personalisatie op een brede korrelgrootte (bijv. "sport" in plaats van "Tennis"). Dit komt niet overeen met wat studenten willen (fijnmazige, specifieke interesses). De belofte van AI om leraren tijd te besparen, werd in deze setting niet waargemaakt.
• Voordeel: De rol van de leraar is cruciaal voor het monitoren van diepgang en realisme. Leraren corrigeerden onrealistische scenario's en ongeschikte inhoud die de AI zou hebben gegenereerd. Bovendien biedt het proces leraren professionele leerkansen over de interesses van hun studenten en hoe deze gekoppeld kunnen worden aan wiskunde.

Aanbevelingen:

1. Voor leraren: Het is realistisch om alleen personalisatie op een brede schaal toe te passen als leraren in de loop zijn. Voor fijnmazige personalisatie zijn student-facing AI-systemen (waar de AI direct met de student communiceert) mogelijk geschikter.
2. Voor AI-ontwikkeling: Systemen moeten leraren helpen om efficiënter te werken, bijvoorbeeld door proactief suggesties te doen als een leraar te veel prompts gebruikt (meer dan 5-6).
3. Toekomstig onderzoek: Er is meer onderzoek nodig naar multi-agent systemen die de leraar kunnen ontlasten bij het controleren van realisme, zodat de leraar zich kan focussen op de pedagogische waarde en de leerling-AI-relatie.

Kortom: Leraren moeten in de loop blijven voor ethische redenen, kwaliteitscontrole en professionele groei, maar de huidige technologie maakt het nog niet mogelijk om dit op een schaal en snelheid te doen die volledig aansluit bij de wensen van individuele studenten.