AI-based Verbal and Visual Scaffolding in a Serious Game: Effects on Learning and Cognitive Load

Dit onderzoek naar de serious game *Qookies* over kwantumtechnologie toont aan dat, hoewel alle deelnemers leerwinst boeken, de combinatie van verbale en visuele AI-ondersteuning de cognitieve belasting verlaagt in vergelijking met enkel verbale ondersteuning.

De kern

Stel je voor: je probeert een ingewikkelde LEGO-set te bouwen van een ruimteschip, maar de handleiding is geschreven in een taal die je niet helemaal spreekt. Je kunt het zelf proberen (en vastlopen), je kunt iemand vragen om het uit te leggen via een berichtje, of je kunt iemand vragen om het voor te doen terwijl hij de blokjes in je handen laat zien.

Dit wetenschappelijke onderzoek heeft precies dit onderzocht, maar dan met een computerspel (Qookies) dat gaat over de mysterieuze wereld van quantumtechnologie (een onderwerp dat normaal gesproken zo moeilijk is dat zelfs professoren soms hoofdpijn krijgen).

Hier is de uitleg van wat de onderzoekers hebben gedaan en gevonden:

De drie "Hulpmiddelen" (De Scaffolding)

De onderzoekers wilden weten welke manier van helpen het beste werkt. Ze verdeelden de spelers in drie groepen:

1. De "Zelf doen"-groep (Geen hulp): Je krijgt het spel en je moet het zelf uitzoeken. Een beetje zoals een survival-game in het bos: je moet zelf het vuur maken en de weg vinden.
2. De "Pratende AI"-groep (Verbal scaffolding): Je hebt een AI-karakter in het spel dat je via een chatvenster uitleg geeft. Het is alsof je een tekstberichtje krijgt van een slimme vriend die zegt: "Hey, probeer eens die knop in te drukken."
3. De "Show, don't just tell"-groep (Verbal + Visual scaffolding): Dit is de luxe versie. De AI praat niet alleen met je, maar hij voert ook acties uit in het spel. Het is alsof die slimme vriend niet alleen zegt wat je moet doen, maar ook even naast je komt zitten om te laten zien: "Kijk, zo doe je dat."

Wat hebben ze ontdekt?

1. Iedereen leert (De "Game is een winnaar"-conclusie)
Het goede nieuws: ongeacht de groep, iedereen leerde meer na het spelen. Het spel zelf werkt dus uitstekend om die lastige quantum-stof begrijpelijk te maken. Het spel is als een goede leraar die de stof opknipt in hapklare brokjes.

2. Praten is vermoeiend, laten zien is ontspanning (De "Cognitieve belasting")
Dit is het meest interessante resultaat. De onderzoekers keken naar de "mentale batterij" van de spelers (de cognitive load).

• Alleen maar chatten met een AI kost veel energie. Je moet namelijk de tekst lezen, het vertalen naar wat er in het spel gebeurt, en dan zelf de actie uitvoeren. Dat is als een recept lezen terwijl je kookt; je moet constant schakelen tussen je ogen en je handen.
• De groep die zowel tekst als actie kreeg, had het veel minder zwaar. De AI liet namelijk zien wat hij deed. Dit is als een YouTube-tutorial kijken in plaats van een kookboek lezen: je ziet direct de beweging, waardoor je hersenen minder hard hoeven te "vertalen".

3. De AI is geen "Cheat Code"
De onderzoekers waren bang dat spelers lui zouden worden en de AI alles zouden laten oplossen (de "AI-luiheid"). Maar dat gebeurde niet! De spelers gebruikten de AI vooral als een soort coach om advies te vragen als ze vastliepen, in plaats van de AI de knoppen te laten indrukken. Ze wilden de uitdaging van het spel behouden.

De moraal van het verhaal

Als je een moeilijk onderwerp wilt leren via een spel, werkt het 't beste als de hulp twee kanten op werkt: laat het niet alleen horen (tekst), maar laat het ook zien (actie). Zo houd je de hersenen van de leerling actief zonder dat ze "oververhit" raken door te veel tekstuele informatie.

Technische samenvatting

Technische Samenvatting: AI-gebaseerde Verbale en Visuele Scaffolding in een Serious Game

Probleemstelling

Het onderzoek richt zich op de uitdaging van effectieve instructie binnen serious games (games met een educatief doel). Hoewel games interactieve leeromgevingen bieden, is het een balans tussen het bieden van ondersteuning (scaffolding) en het behouden van actieve probleemoplossing. Met de opkomst van Large Language Models (LLMs) is er een nieuwe mogelijkheid voor gepersonaliseerde ondersteuning, maar dit brengt risico's met zich mee, zoals "hallucinaties" (onjuiste informatie) en cognitieve luiheid (waarbij studenten de AI blindelings volgen zonder zelf na te denken). De centrale vraag is hoe verschillende vormen van AI-gestuurde ondersteuning de leerprestaties en de cognitieve belasting (cognitive load) van studenten beïnvloeden.

Methodologie

De onderzoekers ontwikkelden Qookies, een serious game die fundamentele concepten van quantumtechnologie introduceert. Er werd een experimenteel ontwerp gebruikt met 152 deelnemers (schoolleerlingen, studenten en leken), die willekeurig werden toegewezen aan één van de drie condities:

1. Geen scaffolding (Controlegroep): Geen AI-ondersteuning.
2. Verbale scaffolding (Chat-gebaseerd): Ondersteuning via een AI-NPC (Non-Player Character) die tekstuele uitleg en hints geeft via een chatfunctie (gebaseerd op Llama 3.1 70B).
3. Gecombineerde verbale en visuele scaffolding (Chat + Actie): Naast tekstuele uitleg kan de AI ook in-game acties uitvoeren om concepten te demonstreren (visuele ondersteuning via one-shot reinforcement learning).

Meetinstrumenten:

• Conceptueel begrip: Een pre-test en post-test met 16 meerkeuzevragen over quantumtechnologie.
• Cognitieve belasting: Zelfrapportage via een Likert-schaal, onderverdeeld in intrinsic (inhoudelijke complexiteit), extraneous (verstorende factoren) en germane (leergerelateerde inspanning) cognitive load.
• Interactie-analyse: Categorisering van chatberichten op basis van het ICAP-framework (passief, actief, constructief, interactief).

Belangrijkste Bijdragen

• Hybride AI-architectuur: De integratie van een LLM voor dialoog met een reinforcement learning model voor fysieke acties in een game-omgeving.
• Co-learning concept: In plaats van de AI de oplossing direct te laten geven, is de AI zo geprogrammeerd dat deze samen met de speler leert. De AI kent de oplossing van een level niet vooraf, wat het risico op passieve overdracht van kennis (cognitieve offloading) vermindert.
• Onderzoek naar multimodaliteit: Het kwantificeren van het effect van het combineren van verbale (tekst) en visuele (actie) ondersteuning in een AI-gestuurde educatieve context.

Resultaten

1. Leerwinst: Alle drie de groepen vertoonden significante verbeteringen in hun conceptuele begrip tussen de pre-test en de post-test. Er was echter geen significant verschil in de uiteindelijke leerresultaten tussen de groepen met en zonder AI-ondersteuning.
2. Cognitieve Belasting:
   • Er was geen significant verschil in extraneous of germane cognitive load tussen de groepen.
   • De groep met gecombineerde (verbale + visuele) scaffolding rapporteerde een significant lagere intrinsieke cognitieve belasting (ICL) dan de groep met enkel verbale ondersteuning. Dit suggereert dat visuele demonstraties helpen om complexe concepten toegankelijker te maken.
3. Gebruikersinteractie: De meeste interacties met de AI waren gericht op specifieke vragen over het huidige level en het vragen om aanbevelingen voor acties. Diepere, constructieve discussies over de onderliggende theorie waren zeldzaam.

Significantie en Conclusie

Het onderzoek toont aan dat serious games effectief zijn voor het aanleren van complexe onderwerpen zoals quantumtechnologie, ongeacht de aanwezigheid van AI-scaffolding. De belangrijkste wetenschappelijke implicatie is dat multimodale AI-ondersteuning (tekst én actie) de cognitieve drempel verlaagt door de intrinsieke complexiteit hanteerbaar te maken, zonder dat dit ten koste gaat van de leerprestaties.

Bovendien biedt het ontwerp waarbij de AI als "co-learner" fungeert een veelbelovende strategie om de nadelen van generatieve AI in het onderwijs (zoals het onkritisch overnemen van antwoorden) tegen te gaan. De studie benadrukt dat voor toekomstige AI-educatieve tools de integratie van actie en dialoog cruciaal is voor een optimale leerervaring.