TeachMateGPT: A Multi-Agent Knowledge-Grounded Framework for Pedagogical Assessment Generation from Science Curriculum Materials

Stel je voor dat je een docent bent die een quiz probeert te maken voor je wetenschaples. Je hebt een dik, officieel tekstboek waarin alle antwoorden staan, maar je hebt geen tijd om door elke pagina te bladeren om de perfecte vragen te vinden. Je wendt je tot een superintelligente computerrobot (een Kunstmatige Intelligentie) om te helpen. Je vraagt het hem: "Maak me een quiz over zure regen," en de robot begint te typen. Maar hier is de catch: soms zijn deze robots als overijverige leerlingen die een paar feiten uit hun hoofd hebben geleerd en vervolgens dingen gaan verzinnen om slim te lijken. Ze kunnen een verzonnen wetenschappelijke regel bedenken of een feit uit een heel ander hoofdstuk halen. Dit wordt "hallucineren" genoemd. Om dit te voorkomen, gebruiken wetenschappers een truc genaamd Retrieval-Augmented Generation (RAG). Denk aan RAG als het geven van een bibliotheekpas aan de robot en een strikte regel: "Je mag alleen je quiz schrijven als je precies kunt aanwijzen op welke pagina in het tekstboek je het antwoord hebt gevonden."

Echter, zelfs met een bibliotheekpas kan de robot nog steeds in de war raken. Als het tekstboek op een complexe manier is georganiseerd, of als de robot een klein, geïsoleerd zinnetje pakt zonder de omliggende context, kan hij nog steeds een slechte vraag schrijven. De grote vraag voor onderzoekers is: Hoe bouwen we een robot die niet zomaar elke pagina pakt, maar de structuur van de les begrijpt, weet wanneer hij niet genoeg informatie heeft om een antwoord te geven, en zijn eigen werk controleert voordat hij het aan de docent laat zien? Dit is het probleem dat een nieuwe studie probeert op te lossen, specifiek voor wetenschapsdocenten in Bangladesh die een zeer specifiek nationaal tekstboek gebruiken.

---

Maak kennis met TeachMateGPT: De Robot-bibliothecaris met een vangnet

Het artikel introduceert een nieuw systeem genaamd TeachMateGPT. Je kunt dit niet zien als een enkele robot, maar als een team van gespecialiseerde werkers in een hightech fabriek, die allemaal samenwerken om een verzoek van een docent om te zetten in een perfecte, tekstboek-getrouwe quiz. Het systeem is specifiek ontworft voor het wetenschapstekstboek voor klas 8 van de National Curriculum and Textbook Board (NCTB) in Bangladesh, een bron die cruciaal is voor studenten maar vaak moeilijk door AI perfect te navigeren is.

Zo werkt de fabriek, stap voor stap:

1. De Slimme Index (COPE)
Eerst moet het systeem het tekstboek organiseren. Stel je voor dat het tekstboek een enorme, rommelige zolder is. Een normale robot zou gewoon een willekeurige doos met spullen kunnen pakken. TeachMateGPT gebruikt een speciaal hulpmiddel genomineerd COPE (Curriculum-Oriented Pedagogical Embedding). In plaats van de tekst in willekeurige stukjes te snijden, begrijpt COPE de "stamboom" van het boek. Het weet dat een "Hoofdstuk" "Lessen" bevat, die weer "Secties" bevatten, die weer "Definities" bevatten. Het bouwt een kaart waarbij elk stukje informatie is gekoppeld aan zijn ouders en buren. Als de robot iets wil weten over een specifiek dier, zoekt hij niet alleen naar het woord "dier"; hij vindt de hele paragraaf over waar dat dier past in de stamboom van het leven. Dit zorgt ervoor dat de robot de context begrijpt, en niet alleen de woorden.

2. De Poortwachters (De Routing Agents)
Voordat de robot überhaupt op zoek gaat naar antwoorden, controleert een team van "Poortwachter"-agents het verzoek van de docent.

• De Intent Agent vraagt: "Is dit een echte wetenschappelijke vraag, of zei de docent gewoon 'Hallo'?"
• De Ambiguity Agent vraat: "Is de vraag duidelijk? Als de docent zegt 'Maak een quiz over dieren', stopt de agent en vraagt: 'Welk hoofdstuk? Welk type dier?'"
• De Safety Agent zorgt ervoor dat er geen schadelijke of irrelevante verzoeken doorheen komen.
  Als het verzoek te vaag of onveilig is, stopt het systeem beleefd en vraagt om meer details. Het weigert te gokken.

3. Het Detective Team (Hybrid Retrieval)
Zodod de vraag duidelijk is, gaat het systeem op jacht naar bewijs. Het gebruikt twee soorten zoekopdrachten tegelijkertijd:

• De Semantische Detective: Zoekt naar de betekenis van de woorden (bijv. "zure regen" vinden, zelfs als de tekst "regen met een hoge zuurgraad" zegt).
• De Lexicale Detective: Zoekt naar exacte wetenschappelijke termen die alleen door betekenis misschien gemist zouden worden.
  Als het systeem het bewijs vindt, gebruikt het een "Fail-Closed" regel. Dit is als een strenge docent die zegt: "Als je niet genoeg bewijs hebt, krijg je een nul." Als het systeem niet genoeg tekstboekpagina's kan vinden om een vraag te ondersteunen, weigert het simpelweg een vraag te genereren, in plaats van iets te verzinnen.

4. De Schrijvers (Specialist Agents)
Zodra het bewijs is verzameld, nemen verschillende "schrijvers" het over.

• De MCQ Specialist schrijft meerkeuzevragen (zoals "A, B, C of D?").
• De Creative Question Specialist schrijft de langere, scenario-gebaseerde vragen die gebruikelijk zijn bij examencommissies (waarbij een student een scenario leest en vier delen beantwoordt).
  Deze schrijvers worden gedwongen om alleen het bewijs te gebruiken dat de detectives hebben gevonden. Ze kunnen hun eigen "geheugen" niet gebruiken om feiten te verzinnen.

5. De Inspecteur (SAVER)
Voordat de quiz aan de docent wordt overhandigd, controleert een laatste inspecteur genaamd SAVER (Source-Attributed Verification and Evidence Ranking) het werk. Het kijkt naar elke vraag en stelt drie vragen:

1. Getrouwheid (Faithfulness): Heb je dit feit daadwerkelijk in het tekstboek gevonden?
2. Relevantie (Relevance): Komt dit overeen met wat de docent vroeg?
3. Hallucinatie-risico (Hallucination Risk): Heb je iets verzonnen?
   Als de score te laag is, markeert het systeem de vraag voor de menselijke docent om te beoordelen. Het verwijdert de vraag niet automatisch; het zegt alleen: "Hé, controleer deze even, ik weet het niet 100% zeker."

Wat hebben ze ontdekt?

De onderzoekers testten dit systeem door 198 wetenschapsvragen te genereren (143 meerkeuzevragen en 55 creatieve vragen) die alle 14 hoofdstukken van het Klas 8-tekstboek beslaan. Vervolgens lieten ze drie echte wetenschapsdocenten de resultaten beoordelen.

De resultaten waren zeer indrukwekkend. Vergeleken met een standaard, "vanilla" AI-systeem dat gewoon tekst pakt en schrijft:

• Getrouwheid (hoe waar de feiten zijn ten opzichte van de bron) sprong van 0,68 naar 0,96. Dit betekent dat het nieuwe systeem bijna perfect eerlijk is over waar het zijn informatie vandaan heeft.
• Antwoordrelevantie (hoe goed het antwoord bij de vraag past) ging van 0,60 naar 0,89.
• Docent-nut (Teacher Utility) (hoe nuttig de docenten de vragen vonden) schoot omhoog van een score van 2,00 naar 4,80 op een 5-puntsschaal.
  De studie toonde ook aan dat als je de "Slimme Index" (COPE) verwijdert, de kwaliteit aanzienlijk daalt. Als je de "Inspecteur" (SAVER) verwijdert, begint het systeem weer feiten te verzinnen. Dit bewijst dat zowel het begrijpen van de structuur van het boek als het dubbelchecken van het werk essentieel zijn.

De Limieten en De Toekomst

De auteurs merken zorgvuldig op wat hun systeem nog niet kan doen.

• Het is Alleen Tekst: Het systeem leest de woorden van het tekstboek, maar heeft moeite met afbeeldingen. Als een vraag een diagram van een circuit of een cel vereist, kan het systeem de afbeelding niet "zien". Het moet vertrouwen op de tekstuele beschrijving, wat het punt van een visuele vraag kan missen.
• Het Heeft Menselijke Ogen Nodig: Het systeem is ontworpen als een hulpmiddel, niet als een vervanging. Het markeert vragen voor docenten om te controleren, maar het neemt niet de uiteindelijke beslissing. Docenten moeten het werk nog steeds beoordelen voordat ze het aan studenten geven.
• Specifiek voor Eén Boek: Dit systeem is specifiek gebouwd voor het wetenschapstekstboek voor klas 8 in Bangladesh. Het werkt misschien niet perfect voor een ander leerjaar, een ander vak of een ander landelijk curriculum zonder aanzienlijke wijzigingen.

Kortom, TeachMateGPT suggereert dat door AI een betere kaart van het tekstboek te geven, een strikte regel om niet te gokken, en een ingebouwde inspecteur, we een hulpmiddel kunnen creëren dat docenten helpt tijd te besparen zonder de nauwkeurigheid op te offeren. Het is een stap naar een toekomst waarin AI een betrouwbare co-piloot voor het onderwijs kan zijn, in plaats van een riskante autopilot.