Technische Samenvatting: Grootte Taalmodellen Benaderen Expert Pedagogische Kwaliteit in Wiskundebegeleiding maar Verschillen in Instructie- en Taalprofielen

Probleemstelling

Hoewel Grootte Taalmodellen (LLMs) steeds vaker worden ingezet om begeleidingsreacties in wiskunde te genereren, is het nog onduidelijk hoe sterk hun instructieve gedrag overeenkomt met expert menselijke praktijk. Eerdere onderzoeken hebben vastgesteld dat LLMs systematische taalkundige regelmatigheden vertonen die verschillen van menselijk schrijven, en dat menselijke begeleiders vaak beter presteren dan LLMs bij het identificeren en corrigeren van conceptuele fouten. De bestaande literatuur behandelt taalkundige verschillen en pedagogische effectiviteit echter grotendeels als gescheiden domeinen. Er ontbreekt empirisch werk dat meetbare taalkundige kenmerken van begeleidingsreacties koppelt aan pedagogische kwaliteit, zowel bij menselijke als bij LLM-begeleiders, met name in de context van foutcorrectie. Dit onderzoek adresseert deze lacune door te analyseren hoe instructiestrategieën en taalprofielen verschillen tussen expert begeleiders, novice begeleiders en LLMs, en hoe deze factoren correleren met de waargenomen pedagogische kwaliteit.

Methodologie

Data

Het onderzoek maakt gebruik van een dataset uit de BEA 2025 Shared Task over Pedagogische Beoordeling van AI-gedreven Begeleiders. De dataset omvat 296 remediatiedialooggesprekken op niveau van middelbare school en basisschool wiskunde. Voor elk gesprek werden reacties gegenereerd door:

• Menselijke Begeleiders: Één expert en één novice begeleider.
• LLMs: Zeven modellen van variërende grootte en architectuur, waaronder GPT-4, Gemini, Sonnet (Anthropic), Mistral 7B, Llama-3.1-405B, Llama-3.1-8B en Phi-3.
• Totaal aantal reacties: 2.444 begeleidersreacties.

Annotaties en Kenmerken

Pedagogische Kwaliteit: Reacties werden geannoteerd op vier dimensies met een drie-niveau schaal (Ja, Tot op zekere hoogte, Nee):

1. Foutidentificatie
2. Foutlocatie
3. Het bieden van begeleiding
4. Actiegericht vermogen
   Deze werden omgezet naar numerieke waarden (2, 1, 0) en opgeteld om een samengestelde score voor pedagogische kwaliteit te creëren.

Instructieve en Taalkundige Kenmerken:

• Instructieve Acties: Afgeleid van de theorie van verantwoordelijk spreken (accountable talk), werden drie kenmerken geëxtraheerd met behulp van een transformer-gebaseerd tekstpaar-classificatiemodel (RoBERTa getraind op het TalkMoves-dataset):
  • Aandringen op Nauwkeurigheid: De juistheid van het antwoord betwisten.
  • Aandringen op Redenering: Om uitleg of rechtvaardiging vragen.
  • Opname (Herformuleren/Herhalen): De reactie van de leerling herschrijven.
• Taalkundige Kenmerken:
  • Reactielengte: Log-getransformeerde token-aantal.
  • Lexicale Diversiteit: Gemeten via de Measure of Textual Lexical Diversity (MTLD).
  • Leesbaarheid: Flesch–Kincaid Reading Ease score.
  • Höfelijkheid: Probabilistische output van een transformer-gebaseerde classifier die pragmatische markers detecteert.
  • Agentiviteit: Probabilistische output van een model dat agentieve expressie schat (intentie, controle, actieoriëntatie).

Analytische Strategie

De analyse richtte zich op drie onderzoeksvragen:

1. RV1 (Verschillen): Vergelijking van gemiddelde verschillen in instructieve en taalkundige kenmerken tussen LLMs, novice begeleiders en expert begeleiders (baseline).
2. RV2 (Kwaliteit): Beoordeling van relatieve pedagogische kwaliteit door afwijkingen te berekenen ten opzichte van het gemiddelde per beurt over alle begeleiders die reageerden op dezelfde studentfout.
3. RV3 (Associaties): Schatting van een lineair fixed-effects model op gesprek-niveau om relatieve pedagogische kwaliteit te voorspellen op basis van instructieve en taalkundige kenmerken. Deze aanpak controleerde voor niet-gemeten contextvariabelen (bijv. taakmoeilijkheid) door variabelen binnen elk gesprek te middelen (demeanen).

Belangrijkste Bijdragen

1. Karakterisering van Verschillen: Het onderzoek karakteriseert systematisch verschillen in instructiestrategieën en taalkundige kenmerken tussen expert begeleiders, novice begeleiders en een diverse set LLMs die reageren op identieke prompts.
2. Kwaliteitsvergelijking: Het biedt een vergelijkende analyse van de waargenomen pedagogische kwaliteit tussen deze begeleidersgroepen, met controle voor de instructieve context.
3. Kenmerkassociatie: Het identificeert specifieke instructiestrategieën en taalkundige kenmerken die positief of negatief geassocieerd zijn met pedagogische kwaliteit, en onderscheidt tussen kenmerken die kwaliteit aandrijven en die welke dat niet doen.

Resultaten

Instructieve en Taalkundige Profielen (RV1)

• Instructieve Acties: LLMs vertoonden over het algemeen lagere niveaus van "aandringen op redenering" en "aandringen op nauwkeurigheid" in vergelijking met expert begeleiders. Omgekeerd toonden LLMs een hogere prevalentie van "herformuleren/herhalen" dan zowel experts als novices.
• Lengte en Diversiteit: LLM-reacties waren aanzienlijk langer en vertoonden een hogere lexicale diversiteit (MTLD) dan expert begeleiders. Novice begeleiders produceerden kortere reacties met een lagere lexicale diversiteit.
• Leesbaarheid: LLM-reacties scoorden significant lager op leesbaarheidsmetrieken (Flesch–Kincaid) dan expert begeleiders, wat wijst op hogere cognitieve verwerkingsvereisten. Novice begeleiders kwamen qua leesbaarheid dichter bij experts.
• Höfelijkheid en Agentiviteit: LLMs vertoonden hogere höfelijkheidscores dan experts. Agentiviteitspatronen varieerden; sommige LLMs toonden lagere agentiviteit, terwijl novices hogere agentiviteit vertoonden dan experts.

Pedagogische Kwaliteit (RV2)

• Expert vs. Novice: Expert begeleiders behaalden consequent positieve scores voor relatieve pedagogische kwaliteit, terwijl novice begeleiders negatieve afwijkingen vertoonden.
• LLM-prestaties: LLMs besloegen een breed spectrum. Grotere modellen (bijv. Llama-3.1-405B, Mistral, Claude Sonnet) benaderden gemiddeld de relatieve pedagogische kwaliteit van expert begeleiders. Kleinere of minder presterende modellen (bijv. Phi-3) vertoonden negatieve afwijkingen vergelijkbaar met novice begeleiders.

Associaties met Kwaliteit (RV3)

Regressieanalyse onthulde de volgende associaties met de waargenomen pedagogische kwaliteit:

• Positieve Associaties:
  • Aandringen op nauwkeurigheid ($\beta = 0,586$)
  • Lexicale diversiteit (MTLD) ($\beta = 0,649$)
  • Herformuleren/Herhalen ($\beta = 0,346$)
  • Aandringen op redenering ($\beta = 0,209$)
• Negatieve Associaties:
  • Agentiviteit ($\beta = -0,693$)
  • Höfelijkheid ($\beta = -0,160$)
• Geen Significante Associatie:
  • Leesbaarheid
  • Reactielengte

Betekenis en Beweringen

Het artikel betoogt dat pedagogische kwaliteit het beste wordt begrepen als een eigenschap van reactie-niveau kenmerken in plaats van begeleideridentiteit (mens versus AI). De bevindingen suggereren dat effectieve feedback minder afhankelijk is van taalkundige complexiteit of assertiviteit en meer van hoe taalkundige keuzes aansluiten bij instructieve functies.

Specifiek benadrukt het onderzoek dat, hoewel grotere LLMs in de totale kwaliteit expertprestaties kunnen benaderen, ze systematische afwijkingen vertonen in hun instructieprofielen. Ze hebben de neiging om kritieke discursieve strategieën (aandringen op nauwkeurigheid/redenering) te onderschatten en andere (herhalen) te overschatten, en reacties te genereren die langer, lexically diverser en höfelijk zijn. De negatieve associatie van höfelijkheid en agentiviteit met pedagogische kwaliteit suggereert dat te meegaand of "sycofantisch" taalgebruik instructieve signalen kan verduisteren en corrigerende feedback kan verzwakken.

De auteurs concluderen dat voor op LLM gebaseerde begeleiders optimalisatie moet focussen op het reproduceren van specifieke kenmerkcombinaties die geassocieerd zijn met hogere pedagogische kwaliteit (bijv. aandringen op redenering, herformuleren) in plaats van simpelweg het verhogen van taalkundige expressiviteit of het nabootsen van menselijke begeleiders. Deze inzichten bieden een pad om LLMs pedagogisch bewuster en stuurbaarder te maken.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• De dataset, hoewel voldoende voor vergelijkingen binnen een beurt, zou kunnen profiteren van grotere schalen voor fijnmaziger analyse.
• Bevindingen weerspiegelen modelgedrag onder specifieke promptconfiguraties en vertegenwoordigen mogelijk niet de bovengrens van LLM-capaciteiten.
• De set kenmerken is selectief; andere aspecten zoals discoursstructuur of wiskundige specificiteit werden niet onderzocht.
• Het onderzoek is beperkt tot Engelstalige interacties in een wiskundige context.
• Pedagogische kwaliteit wordt beoordeeld via gestructureerde annotaties van reacties in één beurt, niet via downstream leerresultaten van studenten.