Analyzing Undergraduate Problem-Solving in Physics Through Interaction With an AI Chatbot

Stel je een natuurkundeles voor als een enorme, lawaaierige gymzaal waar studenten proberen te leren hoe ze met zware kettingzagen te jongleren. Decennialang hebben docenten weten dat de experts (de professionals) en de beginners (de nieuwkomers) niet alleen anders jongleren; ze denken ook anders. De professionals hebben een geheime kaart in hun hoofd die hen helpt bij het plannen van hun bewegingen, het controleren van hun evenwicht en het bijsturen in de lucht. Maar in een traditioneel klaslokaal kan de docent alleen het eindresultaat zien: is de kettingzaag op de grond gevallen of niet? Het rommelige, onzichtbare denkproces dat plaatsvond voordat de val gebeurde, blijft een mysterie. Dit is een groot probleem, want als je niet kunt zien hoe een student denkt, kun je hen ook niet helpen om hun kaart te repareren.

Maak kennis met de nieuwe coach: Kunstmatige Intelligentie (AI). Zie AI niet als een robot die simpelweg antwoorden geeft, maar als een "Socratische" tutor — een chique woord voor een coach die je nooit het antwoord vertelt, maar je de perfecte vragen stelt om je te helpen het zelf uit te zoeken. Het is als een GPS die weigert te zeggen "sla linksaf", maar in plaats daarvan vraagt: "Zie je het straatnaambord van de Main Street?" Deze aanpak is ontworpen om de eigen mentale kaart van de student op te bouwen. De grote vraag voor wetenschappers is: helpt deze AI-coach studenten daadwerkelijk beter te jongleren, en kunnen we iets leren over hoe ze denken door simpelweg te luisteren naar de vragen die ze aan de coach stellen?

---

In dit onderzoek besloten onderzoekers van Purdue University deze AI-coach te testen in een echte natuurkundige gymzaal. Ze zetten een aangepaste chatbot op voor 150 eerstejaars natuurkundestudenten die een pittig mechanica-vak volgden. In plaats van simpelweg huiswerk uit te delen, gedroeg de chatbot zich als een menselijke assistent. De chatbot presenteerde een lastig scenario: een menselijke kanonsbal die wordt gelanceerd door een gigantische veer, en de student moest uitrekenen of de artiest een muur van 15 voet zou halen. De crux? De chatbot zou het niet voor hen oplossen. Het zou vragen: "Wat is je plan?" of "Welke gegevens hebben we?" en wachten tot de student antwoordde.

De onderzoekers wilden twee dingen weten. Ten eerste, hoe voelden de studenten zich bij deze AI-coach? Voelden ze zich slimmer of zelfverzekerder? Ten tweede, konden de onderzoekers iets leren over de probleemoplossende vaardigheden van de studenten door simpelweg de vragen te analyseren die de studenten aan de bot stelden? Ze behandelden de chatlogs als een schatkaart en zochten naar aanwijzingen over hoe het denken van de studenten evolueerde van "Ik ben verdwaald" naar "Ik heb het onder controle".

Wat de studenten dachten
Toen de studenten hun sessie voltooiden, vulden ze een enquête in. De resultaten waren vrij bemoedigend. Op een schaal van 1 tot 5 gaven de studenten de chatbot een solide 4,0 uit 5 voor het helpen begrijpen van de werkelijke natuurkundige concepten en vaardigheden. Ze hadden het gevoel dat de bot hen hielp om problemen op eigen kracht aan te pakken. De beoordeling van de algehele effectiviteit lag iets lager, rond de 3,4 uit 5, wat suggereert dat hoewel de bot geweldig was voor het leren, het geen toverstaf was die alles makkelijk of leuk maakte voor iedereen. Sommige studenten vonden de taken nog steeds uitdagend, en de bot elimineerde de strijd niet volledig, maar het hielp hen wel om erdoorheen te navigeren.

De evolutie van vragen
Hier wordt het verhaal echt interessant. De onderzoekers bekeken de transcripties van de gesprekken en behandelden elke vraag die de student stelde als een momentopname van hun brein op dat moment. Ze categoriseerden vragen in twee typen: "Breed" (zoals "Ik weet niet waar ik moet beginnen" of "Wat moet ik doen?") en "Specifiek" (zoals "Moet ik hier de behoudswet van energie gebruiken?" of "Maakt de hoogte van de veer uit?").

Aan het begin van de chat waren de meeste studenten in het duister. Slechts ongeveer 10–15% van de eerste vragen waren specifiek; de rest waren algemene smeekbeden om hulp. Maar naarmate het gesprek vorderde, gebeurde er iets magisch. De studenten begonnen scherpere, meer gerichte vragen te stellen. Tegen de vierde beurt in het gesprek was ongeveer 58% van de vragen specifiek. Tegen het einde van de sessie stelden 100% van de studenten specifieke, gefocuste vragen. Het was alsof de AI-coach hen succesvol had geleid van doelloos ronddwalen in een mist naar het lopen op een recht, goed verlicht pad.

De link naar succes
De onderzoekers vroegen zich vervolgens af: betekent het stellen van betere vragen dat je betere cijfers haalt? Ze vergeleken hoe specifiek de vragen van een student waren met het cijfer dat zij voor het vak verwachtten. Ze vonden een "licht positieve correlatie" (een statistische manier om te zeggen dat ze samen bewegen) met een waarde van 0,43.

Wat betekent dit in gewoon Nederlands? Studenten die meer specifieke, gedetailleerde vragen stelden, hadden de neiging om hogere cijfers te verwachten. Zo hadden veel studenten die een "A" verwachtten, meer dan 80% van hun vragen als specifiek geclassificeerd. Aan de andere kant neigden studenten die breed en vaag bleven vragen, naar lagere cijfers (rond een "C").

De onderzoekers waren echter voorzichtig met het bestempelen van dit als een perfecte regel. De data waren wat verspreid. Sommige studenten die zeer specifieke vragen stelden, verwachtten nog steeds een gemiddeld cijfer, en een paar studenten die hoge cijfers verwachtten, stelden verrassend brede vragen. Dit suggereert dat hoewel het stellen van goede vragen een sterk teken is van een goede probleemoplosser, het niet het enige is dat telt. Andere factoren, zoals hoeveel je al wist of hoe hard je werkte, spelen ook een enorme rol.

De conclusie
Dit onderzoek suggereert dat AI-chatbots krachtige hulpmiddelen kunnen zijn voor het onderwijzen van natuurkunde, niet alleen door antwoorden te geven, maar door studenten te begeleiden bij het stellen van de juiste vragen. De chatbot hielp studenten om te verschuiven van het gevoel verdwaald te zijn naar het denken als experts. Hoewel het stellen van specifieke vragen een goed teken van succes is, is het slechts één puzzelstukje. De onderzoekers geven toe dat dit een kleine test was met slechts één type probleem, dus ze moeten meer studies uitvoeren om te zien of dit voor iedereen en elk onderwerp werkt. Maar voor nu lijkt het erop dat het hebben van een AI-coach die vraagt "Wat is je plan?" in plaats van "Hier is het antwoord" een behoorlijk goede manier is om studenten te helpen leren hoe ze met die natuurkundige kettingzagen moeten jongleren.