Can AI be a Teaching Partner? Evaluating ChatGPT, Gemini, and DeepSeek across Three Teaching Strategies

Deze studie vergelijkt de pedagogische prestaties van ChatGPT, Gemini en DeepSeek als leerpartners voor C-programmering en concludeert dat ChatGPT en Gemini over het algemeen beter scoren dan DeepSeek, met name bij het toepassen van de Socratische methode.

De kern

🤖 Kunnen AI's echt lesgeven? Een proefje met drie digitale leraars

Stel je voor dat je drie nieuwe, slimme hulpmiddelen hebt die je kunt gebruiken om iets nieuws te leren, bijvoorbeeld programmeren in de taal C. Je wilt weten: kunnen deze digitale hulpmiddelen echt leren geven, of geven ze alleen maar het juiste antwoord?

Dit is precies wat onderzoekers van universiteiten in Brazilië en de VS hebben onderzocht. Ze hebben drie populaire AI's (ChatGPT, Gemini en DeepSeek) getest als ware het drie nieuwe studenten-assistenten.

🎯 De Opdracht: Drie Manieren om te Leren

De onderzoekers wilden niet alleen kijken of de AI het antwoord wist, maar hoe ze het uitlegden. Ze gebruikten drie klassieke leermethoden, alsof het drie verschillende stijlen van een leraar waren:

1. De "Voorbeeld-Geefster" (Examples):
   • Hoe het werkt: De AI geeft geen direct antwoord, maar toont een klein voorbeeldje (een code-snippet) waar de leerling zelf iets van kan afleiden.
   • Vergelijking: Het is alsof je een leraar hebt die zegt: "Kijk eens hoe ik dit broodje maak, en probeer jij dan je eigen broodje te maken."
2. De "Vergelijkings-Meister" (Explanations & Analogies):
   • Hoe het werkt: De AI legt iets uit door het te vergelijken met iets dat je al kent.
   • Vergelijking: Als je niet snapt wat een 'array' (een lijstje in code) is, zegt de AI: "Stel je een laadkast voor met drie laden. Elke laad is een plek in je lijstje."
3. De "Socratische Vraagbaak" (Socratic Method):
   • Hoe het werkt: De AI geeft nooit direct het antwoord. Ze stelt alleen vragen om de leerling zelf na te laten denken.
   • Vergelijking: Dit is de oude Griekse leraar Socrates. Hij zegt niet "Het antwoord is X", maar vraagt: "Waarom denk jij dat X het antwoord is? Wat gebeurt er als we Y proberen?"

👥 De Proefpersonen: De "Mensen" in de Test

Om te testen of deze AI's het goed deden, hadden ze zes menselijke beoordelaars nodig. Deze mensen speelden de rol van een beginner die C-programmeren leert. Ze gaven de AI's een oefening en keken hoe de AI reageerde. Ze beoordeelden alles van 0 tot 5 sterren.

🏆 De Resultaten: Wie is de beste leraar?

Hier zijn de belangrijkste bevindingen, vertaald naar simpele taal:

1. ChatGPT en Gemini: De Sterke Kandidaten
Beide AI's deden het over het algemeen heel goed. Ze hielden zich goed aan de regels en gaven goede voorbeelden of uitleg.

• ChatGPT was vaak heel duidelijk en goed in het uitleggen van moeilijke onderdelen.
• Gemini was heel goed in het maken van creatieve vergelijkingen (analogieën) en gaf zelden direct het antwoord weg (wat een goede eigenschap is voor een leraar!).

2. DeepSeek: De Onzekere Nieuweling
DeepSeek deed het wat minder goed.

• Het gaf vaker direct het volledige antwoord, terwijl de opdracht was om de leerling zelf te laten denken.
• Het was soms minder goed in het aanpassen van de uitleg aan het niveau van de beginner.
• Vergelijking: Het was alsof je een leraar hebt die soms te snel de oplossing op het bord schrijft, waardoor de leerling niet zelf hoeft na te denken.

3. De "Socratische" Uitdaging
De moeilijkste test was de methode waarbij de AI alleen vragen mag stellen.

• Hier waren de verschillen het grootst. ChatGPT en Gemini hielden zich goed aan de rol van de vraagsteller.
• DeepSeek verloor hier vaak de draad en gaf soms toch direct een antwoord, in plaats van de leerling te laten zoeken.

💡 Wat betekent dit voor jou?

• AI is een hulpmiddel, geen vervanging: Deze AI's kunnen prima fungeren als een extra hulpje voor studenten, vooral als er geen echte leraar bij is. Ze kunnen uitleggen, voorbeelden geven en vragen stellen.
• Niet alle AI's zijn gelijk: Als je een AI wilt gebruiken om te leren, is het belangrijk om de juiste te kiezen. ChatGPT en Gemini leken in dit onderzoek beter in de "rol van leraar" te spelen dan DeepSeek.
• De kunst van het wachten: Een goede leraar (of AI) geeft niet direct het antwoord. Het beste resultaat kwam van de AI's die de leerling dwongen om zelf na te denken.

🚧 Beperkingen (De "maar...")

De onderzoekers zeggen ook eerlijk wat er niet perfect was:

• De "leerlingen" in de test waren eigenlijk experts die zich voordeed als beginners. Echte beginners maken misschien andere fouten.
• De test was in het Engels en gericht op C-programmeren. Misschien werkt het anders voor andere talen of onderwerpen.
• De AI's veranderen snel. De versies die ze testten, zijn misschien al weer verbeterd of veranderd.

Conclusie

Kortom: Ja, AI kan een goede lespartner zijn, maar het hangt er heel erg van af welke AI je kiest en hoe je hem vraagt om te lesgeven. ChatGPT en Gemini deden het in deze test het beste als digitale tutor, terwijl DeepSeek nog wat meer oefening nodig heeft om de rol van geduldige leraar goed te spelen.

Technische samenvatting

1. Probleemstelling

Hoewel Large Language Models (LLMs) zoals ChatGPT, Gemini en DeepSeek snel worden geadopteerd in het onderwijs voor het bieden van uitleg en feedback, ontbreekt er nog steeds empirisch bewijs over hun pedagogische vaardigheden. Bestaande benchmarks (zoals MMLU of Chatbot Arena) meten voornamelijk de nauwkeurigheid van antwoorden of algemene kennis, maar evalueren niet hoe modellen hun strategie aanpassen tijdens real-time interacties met studenten.

De kernvraag is of LLMs werkelijk kunnen leren (door scaffolding, vragen stellen en aanpassing) of dat ze slechts correcte antwoorden genereren. Dit onderscheid is cruciaal, vooral in contexten met onderwijsongelijkheid waar AI een aanvullende rol kan spelen, maar alleen als het pedagogisch effectief is.

2. Methodologie

De auteurs hebben een vergelijkende studie ontwikkeld om drie populaire LLMs te evalueren: ChatGPT (4.1-mini), Gemini (2.5 flash) en DeepSeek (V3).

• Context: Het onderwijs van de programmeertaal C aan beginners (basisconcepten zoals operatoren, loops, arrays en functies).
• Pedagogische Strategieën: Drie specifieke benaderingen werden getest, gebaseerd op bestaande literatuur:
  1. Voorbeelden (Examples): Het model biedt codevoorbeelden om concepten te illustreren zonder direct de volledige oplossing te geven.
  2. Uitleg en Analogieën (Explanations and Analogies): Het model gebruikt concrete analogieën en gestructureerde uitleg om kennis te koppelen aan bestaande concepten.
  3. Socratische Methode: Het model leidt de student via een reeks gerichte vragen (wonder, hypothese, weerlegging) naar de oplossing, zonder directe instructie.
• Proces:
  • Deelnemers: Zes menselijke beoordelaars (judges) met geavanceerde programmeerkennis, die simuleerden als beginner-studenten.
  • Interactie: Elke beoordelaar voerde 25 oefeningen uit per model per strategie (totaal 1.350 evaluaties).
  • Prompt Engineering: Er werd gebruik gemaakt van "role prompting" waarbij het model werd geconfigureerd als een optimistische, aanmoedigende leraar met strikte regels om geen directe oplossingen te geven.
  • Beoordelingscriteria: De modellen werden beoordeeld op schaal 0-5 voor specifieke aspecten (bijv. relevantie, correctheid, niveau-aanpassing, kritisch denken) en op ongewenst gedrag (het direct geven van de oplossing).
• Statistische Analyse: Vanwege de niet-normale verdeling van de data werden niet-parametrische tests gebruikt (Kruskal-Wallis voor algemene verschillen, Dunn's test met Bonferroni-correctie voor paarsgewijze vergelijkingen, en Chi-kwadraat voor categorische variabelen).

3. Belangrijkste Bijdragen

• Nieuw Evaluatieprotocol: Een dynamisch protocol dat menselijke beoordelaars gebruikt om LLMs te testen op hun pedagogische gedrag in real-time, in plaats van alleen op statische datasets.
• Focus op Pedagogie: De studie verschuift de focus van "nauwkeurigheid" naar "pedagogische effectiviteit", zoals het vermogen om te scaffolding, analogieën te creëren en de Socratische methode toe te passen.
• Empirische Vergelijking: Een gedetailleerde vergelijking van drie verschillende LLM-architecturen (Westers vs. Oosters) in een specifiek educatief domein (C-programmeren).

4. Resultaten

De resultaten tonen duidelijke verschillen in pedagogische prestaties tussen de modellen:

• Algemene Prestaties:

  • ChatGPT en Gemini presteerden over het algemeen beter en werden door de beoordelaars als "bevredigend" (satisfactory) beoordeeld.
  • DeepSeek scoorde lager op de meeste criteria en werd vaak als "gedeeltelijk bevredigend" (partially satisfactory) beoordeeld.

• Per Strategie:

  • Voorbeelden (Examples): De modellen presteerden vergelijkbaar op correctheid en detail. ChatGPT scoorde het hoogst op relevantie, terwijl Gemini het beste was in het maken van abstract-concrete verbindingen. DeepSeek gaf vaker direct de oplossing (ongewenst gedrag) dan de andere twee.
  • Uitleg en Analogieën: ChatGPT scoorde significant hoger op helderheid, focus op kritieke onderdelen en bruikbaarheid. DeepSeek had moeite met het aanpassen aan het niveau van de beginner en gaf vaker directe oplossingen.
  • Socratische Methode: Dit was het meest differentiërende scenario. ChatGPT en Gemini toonden een groot vermogen om vragen te stellen en de student te leiden. DeepSeek had moeite om de lijn van vragen vol te houden, gaf vaker directe antwoorden en produceerde minder effectieve tegenvoorbeelden.

• Gedrag: Een veelvoorkomend probleem was dat modellen, vooral DeepSeek, neigden om de volledige oplossing te geven in plaats van de student te laten nadenken. ChatGPT en Gemini waren beter in het naleven van de instructie om geen directe antwoorden te geven.

5. Betekenis en Conclusie

De studie concludeert dat LLMs potentie hebben als "teaching partners", maar dat hun effectiviteit sterk afhankelijk is van het gekozen pedagogische model en de prompt-engineering.

• Pedagogische Aanpassing: Modellen kunnen Socratische methoden toepassen, maar dit vereist een zeer specifieke en sterke prompt. Zonder dit gedoeen ze vaak terug naar het geven van directe antwoorden.
• Verschillen tussen Modellen: Er is geen "beste" model voor alle situaties, maar ChatGPT en Gemini tonen in deze studie een grotere consistentie in het volgen van pedagogische instructies dan DeepSeek.
• Toekomstperspectief: De auteurs benadrukken de noodzaak om verder te gaan met het evalueren van Small Language Models (SLMs) voor contexten met beperkte middelen (AIED Unplugged) en om echte leerresultaten (pre- en post-tests) te meten in plaats van alleen menselijke perceptie.

De studie waarschuwt dat het blindelings vertrouwen op deze tools zonder pedagogisch toezicht het digitale gat kan vergroten, en dat AI moet worden gezien als een ondersteunend hulpmiddel (augmentation) voor leraren, niet als een vervanging.