💬 NLP

LLM Pedagogical Behavior in AI Tutoring Interactions

Deze studie introduceert een gevalideerde vijfpunts scaffoldingsschaal om meer dan 14.000 LLM-tutoringsreacties te analyseren, waarbij wordt onthuld dat AI-modellen overwegend directe hulp bieden (uitleggen of oplossen) in plaats van begeleide ondersteuning, een gedragspatroon dat de dialoog van studenten beïnvloedt maar beperkte voorspellende waarde heeft voor examenprestaties buiten het voorafgaande niveau van prestatie.

Oorspronkelijke auteurs: Suhyeon Lee, Juneha Baek, Jaehyeong Park, Donghyuk Shin

Gepubliceerd 2026-08-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Suhyeon Lee, Juneha Baek, Jaehyeong Park, Donghyuk Shin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het stille gezoem van een computerlab op een universiteit heeft een nieuw soort bijles wortel geschoten, een die nooit slaapt, nooit moe wordt en nooit oordeelt. Studenten wenden zich steeds vaker tot grote taalmodellen, krachtige computerprogramma's die zijn getraind op enorme hoeveelheden tekst, om hen te helpen bij het oplossen van huiswerkopdrachten en het begrijpen van moeilijke concepten. Deze digitale assistenten kunnen veel dingen, maar in de context van leren bestaat er een fundamentele spanning. Als een tutor te weinig hulp geeft, kan een student vastlopen en opgeven. Als de tutor te veel hulp geeft, kan de student simpelweg het antwoord kopiëren zonder ooit te leren hoe hij zelf over het probleem na moet denken. Dit evenwicht vormt de kern van de uitdaging: het vinden van de juiste mate van ondersteuning om een leerling te begeleiden zonder het werk voor hen te doen. Onderzoekers bestuderen al lang hoe menselijke leraren dit gebied navigeren, maar het blijft onduidelijk hoe deze nieuwe, geautomatiseerde tutors zich gedragen wanneer studenten hen gebruiken in echte, ongeplande leersituaties.

Een team onderzoekers aan de KAIST in Zuid-Korea zette zich af om dit onontgonnen terrein in kaart te brengen. Ze analyseerden een enorme collectie gesprekken tussen studenten en een kunstmatige intelligentie-tutor tijdens een introductiecursus kunstmatige intelligentie. De studenten waren vrij om alles te vragen, van een eenvoudige hint tot een volledige oplossing, en de computer reageerde op basis van zijn standaardprogrammering, die simpelweg bestond uit het zijn van een behulpzame assistent. De onderzoekers wilden precies weten wat voor soort hulp de computer daadwerkelijk gaf. Om dit te meten, creëerden ze een vijfstapsschaal om elke reactie van de AI te categoriseren. Aan de laagste kant kon de computer helemaal geen echte hulp bieden of de student simpelweg vragen om harder na te denken. In het midden kon het de computer een relevant concept wijzen of een specifieke fout benoemen zonder het probleem op te lossen. Aan de hoogste kant zou het een methode in detail uitleggen of de volledige, direct bruikbare oplossing voor de specifieke taak van de student verstrekken.

Toen de onderzoekers meer dan 14.000 reacties van meer dan 200 studenten onderzochten, kwam er een opvallend patroon aan het licht. De AI koos bijna nooit het middenpad. Meer dan 95 procent van de tijd gaf de computer ofwel een concept in grote detail uit, of loste het probleem simpelweg voor de student op. Reacties die de student slechts aanzetten tot nadenken of een kleine hint boden, waren uiterst zeldzaam en maakten minder dan vijf procent van alle interacties uit. Of de student nu hulp vroeg bij het schrijven van code, het bewerken van een verslag of het begrijpen van een complexe theorie, de standaardreactie van de computer was om substantiële, directe assistentie te verlenen. Het fungeerde minder als een coach die een speler door een oefening begeleidt en meer als een monteur die de auto voor hem repareert.

Deze neiging om directe antwoorden te geven had een duidelijk rimpeleffect op hoe de studenten zich daarna gedroegen. Wanneer de computer een volledige oplossing gaf, was de student waarschijnlijk geneigd om om een ander stuk code of een nieuwe taak te vragen om op te lossen. Wanneer de computer een uitleg bood, was de student eerder geneigd om een vervolgvraag te stellen over het onderliggende concept. De onderzoekers ontdekten dat het niveau van hulp dat de computer gaf, betrouwbaar voorspelde wat de student in de eerstvolgende beurt van het gesprek zou zeggen. Echter, deze onmiddellijke reactie vertaalde zich niet naar betere cijfers later. De studie keek naar hoe goed studenten presteerden op drie belangrijke examens, die zij aflegden zonder toegang tot de computer. De hoeveelheid hulp die de student ontving tijdens hun studiedessies, voorspelde hun examencijfers niet beter dan hun eerdere cijfers of het simpele feit dat ze wel met de computer praatten.

De bevindingen suggereren dat hoewel deze algemene AI-tools ongelooflijk leergierig zijn om te helpen, ze niet van nature geneigd zijn om te onderwijzen op een manier die studenten dwingt tot productief worstelen. Ze zijn standaard gericht op het zijn van efficiënte probleemoplossers in plaats van geduldige pedagogen. Dit betekent niet dat de technologie nutteloos is, maar het onthult een specifieke gedraging: zonder expliciete instructies om zich in te houden en te begeleiden, zullen deze systemen bijna altijd het zware werk voor de student doen. De onderzoekers concluderen dat om deze dynamiek te veranderen, onderwijzers en ontwikkelaars deze systemen bewust moeten ontwerpen om minder directe hulp te bieden, in plaats van te hopen dat de technologie vanzelf het juiste evenwicht vindt. De data biedt een duidelijke nulmeting van hoe deze tools momenteel functioneren, en laat zien dat de weg naar effectieve AI-bijles van ons kan eisen dat we de machines leren hoe ze moeten onderwijzen, in plaats van alleen hoe ze moeten antwoorden.

Technische Samenvatting: Pedagogisch Gedrag van LLM's in AI-Tutoringinteracties

Probleemstelling

Nu studenten steeds vaker Large Language Models (LLM's) gebruiken als on-demand tutors voor cursusmateriaal en probleemoplossing, is er een kritiek gebrek aan empirisch begrip over het niveau van assistentie dat deze modellen bieden in authentieke leerinteracties. Terwijl bestaand onderzoek de gebruiksmodellen van studenten heeft gekarakteriseerd (wat studenten vragen) en pedagogisch ontworpen tutors heeft verkend, blijft de werkelijke assistentie die door algemene LLM's wordt geleverd ondergekarakteriseerd. Deze kloof is significant omdat de mate van directe assistentie bepaalt wat de rol van de lerende is in de taak, wat direct impact heeft op het "Assistentie-dilemma" (Koedinger & Aleven, 2007) — de spanning tussen te weinig hulp bieden (voortgang belemmeren) en te veel hulp bieden (productieve cognitieve inspanning omzeilen).

Methodologie

De studie operationaliseert de dimensie van assistentie als scaffolding-niveau en ontwikkelt een meetkader om 14.637 LLM-responsen van 203 studenten in een introductiecursus universitair AI te analyseren (StudyChat-dataset).

1. Ontwikkeling van de Scaffolding-schaal

De auteurs definiëren een vijf-niveau ordinale schaal ( $L_0$ tot $L_4$ ) om LLM-responsen te classificeren op basis van de hoeveelheid directe assistentie die wordt geboden:

$L_0$ (Minimaal): Geen substantiële taakrelevante assistentie (bijv. weigeringen, heroriëntatie).
$L_1$ (Prompten): Stimuleert redeneren of experimenteren zonder richting een oplossing te sturen.
$L_2$ (Hinten): Identificeert relevante concepten, functies of foutlocaties zonder een concrete oplossing te bieden.
$L_3$ (Uitleggen): Legt een aanpak of concept uit dat de student nog steeds zelf moet toepassen.
$L_4$ (Oplossen): Biedt een volledige, taakspecifieke oplossing die direct bruikbaar is.

2. Data en Classificatie

Dataset: De StudyChat-dataset (McNichols et al., 2026) met interacties met een GPT-4o-mini model met een generieke systeemprompt ("Je bent een behulpzame assistent") zonder specifieke pedagogische instructies.
Geautomatiseerde Classificatie: Responsen werden geclassificeerd met GPT-4o-mini bij temperatuur 0, getraind op de gedefinieerde codeboek.
Validatie: Een gestratificeerde steekproef van 300 responsen werd geannoteerd door twee menselijke experts. De classifier behaalde een nauwkeurigheid van 75,3% en een gewogen F1 van .751 ten opzichte van geadjudiceerde menselijke labels. De overeenstemming tussen menselijke annotatoren was hoog ( $\kappa = .901$ ). De meeste classificatiefouten kwamen voor op de grens tussen $L_3/L_4$ , met een neiging om "Oplossen"-responsen onder te detecteren.

3. Analytische Aanpak

De studie behandelt drie onderzoeksvragen (RQ's):

RQ1: Wat is de distributie van scaffolding-niveaus, en hoe variëren deze per type verzoek en opdracht?
RQ2: Is het scaffolding-niveau geassocieerd met het daaropvolgende conversatiegedrag van de student (volgende dialoogact)?
RQ3: Biedt het scaffolding-niveau aanvullende voorspellende informatie met betrekking tot de daaropvolgende exameperformance, bovenop eerdere prestaties en dialooggedrag?

Statistische methoden omvatten Kruskal–Wallis-testen voor verschillen tussen opdrachten, Chi-kwadraat-testen voor de associatie tussen scaffolding en daaropvolgende dialoogacten, en regressieanalyse om de incrementele voorspellende kracht van scaffolding op examenscores te evalueren.

Belangrijkste Resultaten

1. Distributie van Assistentie (RQ1)

De LLM opereert voornamelijk op hoge niveaus van assistentie.

Concentratie: Meer dan 95% van de responsen wordt geclassificeerd als ofwel Uitleggen ( $L_3$ , 40,3%) of Oplossen ( $L_4$ , 55,2%).
Zeldzaamheid van Lage Assistentie: Responsen van Prompten ( $L_1$ ), Hinten ( $L_2$ ) en Minimaal ( $L_0$ ) maken gezamenlijk minder dan 5% van alle interacties uit.
Variatie: Hoewel assistieniveaus significant variëren tussen verschillende opdrachten en typen verzoeken (bijv. schrijfverzoeken ontvangen de hoogste gemiddelde scaffolding, $\bar{L}=3,72$ ), blijven reacties met hoge assistentie dominant in alle instructiecontexten.

2. Associatie met Vervolgent interactie (RQ2)

Het scaffolding-niveau is systematisch geassocieerd met de volgende conversatiestap van de student.

Duidelijke Patronen: Na Oplossen ( $L_4$ )-responsen doen studenten het meest frequent een nieuw schrijfverzoek (29,7%). Na Uitleggen ( $L_3$ )-responsen zijn conceptuele vragen het meest voorkomend (40,5%). Na Prompten ( $L_1$ ) leveren studenten vaak extra context (34,0%).
Robuustheid: Deze associatie blijft bestaan wanneer er wordt gecontroleerd voor de brede categorie van het initiële verzoek van de student, wat aangeeft dat het scaffolding-niveau zelf de directe flow van de dialoog beïnvloedt.

3. Voorspellende Kracht voor Prestaties (RQ3)

Scaffolding-niveau levert weinig aanvullende voorspellende informatie met betrekking tot de daaropvolgende exameperformance.

Modelvergelijking: Regressiemodellen die exam scores ( $e_1, e_2, e_3$ ) voorspellen met behulp van eerdere prestaties en het aantal dialoogacten verklaarden 12–30% van de variantie. Het toevoegen van het gemiddelde scaffolding-niveau verhoogde de verklaarde variantie met slechts 1–2 procentpunt.
Statistische Significantie: Geen van de modelvergelijkingen bereikte conventionele statistische significantie ( $p > .05$ ). De geschatte coëfficiënt voor scaffolding was inconsistent over de examens heen (veranderde van richting voor $e_3$ ).
Conclusie: Zodra eerdere prestaties en geobserveerd dialooggedrag worden meegewogen, voorspelt het specifieke niveau van scaffolding de examieresultaten niet significant in deze dataset.

Betekenis en Claims

Het artikel vestigt een empirische baseline voor LLM-assistentie in authentieke tutoring-interacties. De belangrijkste bijdragen zijn:

Gedragsbaseline: Het toont aan dat algemene LLM's, zonder expliciete pedagogische prompting, standaard kiezen voor assistentie met een hoge directheid (Uitleggen en Oplossen), en zelden strategieën met lage scaffolding zoals prompten of hinten toepassen.
Meetkader: Het introduceert een gevalideerd vijf-niveau scaffolding-schaal die gebruikt kan worden om te evalueren hoe alternatieve tutoring-ontwerpen (bijv. Socratische prompts, multi-agent systemen) de assistentie veranderen die studenten ontvangen.
Onderscheid tussen Interactie en Uitkomst: De bevindingen suggereren dat hoewel het scaffolding-niveau de onmiddellijke interactiepatronen beïnvloedt (wat de student vervolgens doet), dit niet noodzakelijkerwijs vertaalt naar meetbare verschillen in de daaropvolgende exameperformance in deze specifieke context.

De auteurs benadrukken dat deze bevindingen niet een "optimaal" assistieniveau identificeren, maar eerder een referentiepunt bieden. Zij stellen dat het evalueren van LLM-tutors vereist dat er onderscheid wordt gemaakt tussen twee vragen: (1) Gedragsmatig: Verandert een pedagogische interventie de ontvangen assistentie? En (2) Educatief: Verbetert die verandering het leren? De scaffolding-meting adresseert de eerste vraag direct, terwijl de tweede een open empirische vraag blijft die verdere investigatie vereist.

Beperkingen

De auteurs erkennen vier belangrijke beperkingen:

Contextspecifiteit: De data komt uit één introductiecursus AI en één modelconfiguratie; de resultaten karakteriseren deze setting in plaats van alle algemene LLM's.
Granulariteit van Classificatie: Geautomatiseerde classificatie is imperfect, met name bij de $L_3/L_4$ -grens, en lage assistieniveaus zijn zeldzaam, wat fijnmazige analyse van $L_0$ – $L_2$ beperkt.
Observationeel Karakter: De studie kan geen causaliteit vaststellen; de inhoud van de prompts, de moeilijkheidsgraad van de taak en de kenmerken van de student kunnen zowel de respons als het daaropvolgende gedrag beïnvloeden.
Omvang van de Beoordeling: De analyse evalueert incrementele voorspelling in plaats van causale leer-effecten, en de concentratie van responsen op hoge scaffolding-niveaus beperkt de variatie die beschikbaar is om prestatieverschillen te detecteren.