Identifying High-Confidence Social Biases in LLMs for Trustworthy Conversational Tutoring Agents

Technische Samenvatting: Identificatie van hoog-betrouwbare sociale vooroordelen in LLM's voor betrouwbare conversationele tutoringsystemen

Probleemstelling
Conversationele tutoringsystemen aangedreven door Large Language Models (LLM's) bieden schaalbare, gepersonaliseerde educatieve ondersteuning, maar brengen aanzienlijke risico's met zich mee wat betreft sociale vooroordelen. Hoewel LLM's erom bekend staan stereotypen te bestendigen en een overmatige zelfverzekerdheid in hun oordelen te vertonen, vertrouwen bestaande evaluaties vaak op algemene benchmarks (bijv. StereoSet) in plaats van op natuurlijke educatieve contexten. In educatieve omgevingen, met name voor tweede taal (L2) leerlingen, kunnen hoog-betrouwbare maar onjuiste of bevooroordeelde oordelen leerlingen die niet over de kritische middelen beschikken om dergelijke fouten te identificeren, misleiden. Er is een kritiek gat in het begrip van hoe de mate van zelfvertrouwen van een LLM interacteert met de detectie van vooroordelen specifiek binnen conversationele tutoring-scenario's, waar de belangen voor leerresultaten groot zijn.

Methodologie
Om dit gat te adresseren, stellen de auteurs een nieuwe methode voor datasetgeneratie en een tweeledig experimenteel kader voor:

1. Datasetgeneratie (Biased Conversational Tutoring Dataset):

   • Bron: De auteurs verzamelden 4.210 authentieke student–AI-tutor gesprekken van een online taalplatform (EFL-leerlingen).
   • Preprocessing: De data werd gestratificeerd om de genderrepresentatie te balanceren (55% vrouw, 45% man) en gefilterd op diepgang (minimum 12 beurten), wat resulteerde in 1.844 dialogen. Alle persoonlijk identificeerbare informatie werd verwijderd.
   • Regeneratie: Met behulp van DeepSeek-V3.1 regenereerden de auteurs deze dialogen om de oorspronkelijke linguïstische kenmerken (discourse-structuur, interactiestijl, vaardigheidsniveau) te behouden, terwijl ze een enkele gecontroleerde beurt injecteerden.
   • Bias Injectie: De geïnjecteerde beurten waren afgeleid van de StereoSet benchmark, gecategoriseerd als stereotiep, anti-stereotiep of neutraal, en afgestemd op specifieke doelgroepen en contexten.
   • Validatie: Twee expert-annotatoren beoordeelden de gegenereerde dialogen met behulp van het Context Association Test (CAT) protocol, wat resulteerde in een definitieve dataset van 1.727 geldige conversaties (610 stereotiep, 554 anti-stereotiep, 563 neutraal).

2. Experimentele Evaluatie:

   • Geëvalueerde Modellen: Drie state-of-the-art LLM's: GPT-5.1, Gemini 2.5 Pro en Claude Sonnet 4.5.
   • Experiment #1 (Bias Detectie & Zelfvertrouwen): Modellen kregen de taak om tekst/dialoog te classificeren als stereotiep, anti-stereotiep of neutraal. Ze werden geprompt om hun oordelen zelf te verifiëren en hun zelfvertrouwen te rapporteren via twee methoden: (1) een algemene betrouwbaarheidsscore (0–100) en (2) klasse-specifieke betrouwbaarheidsverdelingen. Prestaties werden gemeten aan de hand van accuratesse, precisie, recall en F2-score. Een confidence-weighted bias score werd geïntroduceerd om het risico van hoog-betrouwbare fouten te kwantificeren.
   • Experiment #2 (Redenering & Feedback Coherentie): Het minst bevooroordeelde model (Claude Sonnet 4.5) werd geprompt om redeneringsverklaringen te geven en studentfeedback te genereren voor zijn onjuiste classificaties. Menselijke beoordelaars evalueerden de coherentie tussen de door het model geuite zekerheid, de redenering en de feedback aan de hand van een 3-punts Likert-schaal.

Belangrijkste Bijdragen

1. Methodologische Innovatie: Het artikel stelt een methode voor om student-tutor dialoogdatasets te creëren die stereotiepe vooroordelen evalueren onder natuurlijke instructiecondities, waarmee de kloof wordt overbrugd tussen statische benchmarks en dynamische educatieve interacties.
2. Onzekerheidskwantificatie Analyse: De studie onderzoekt de rol van modelvertrouwen in LLM-gebaseerde tutoring, specifiek door te analyseren hoe zelfvertrouwen correleert met stereotiepe bevooroordeelde redenering en de resulterende feedback aan studenten.
3. Risico-identificatie: De auteurs leggen een direct verband tussen het zelfvertrouwen van de onjuiste oordelen van modellen en de amplificatie van bias in feedback, waarbij zij wijzen op de specifieke risico's van overmoedig, bevooroordeeld gedrag in educatieve agenten.

Resultaten

• Prestatiedegradatie: De prestaties bij bias-detectie daalden aanzienlijk bij de overgang van de StereoSet benchmark naar de conversationele tutoring dataset. Er was een gemiddelde relatieve degradatie van 16,3% over de belangrijkste metrieken (Precisie, Recall, F2, Accuratesse). De best presterende modellen (Sonnet en Gemini) vertoonden een degradatie van 19% in metrieken bij de overgang naar de tutoring-context.
• Overmoed (Overconfidence): Alle modellen vertoonden een hoge absolute zekerheid, zelfs wanneer hun oordelen onjuist waren. Zo trad bijvoorbeeld 34% van de fouten door Claude Sonnet 4.5 op met "zeer hoge" zekerheid (≥90%), en 38% met "hoge" zekerheid (≥80%).
• Kalibratieproblemen: Modellen vertoonden een slechte kalibratie, met name met betrekking tot anti-stereotiepe uitspraken. Claude Sonnet 4.5 had een zeer lage recall (0,177) voor anti-stereotypen en was meer zelfverzekerd in zijn onjuiste anti-stereotiepe voorspellingen (0,826) dan in zijn correcte voorspellingen (0,730).
• Coherentie: Ondanks dat ze onjuist waren, vertoonden de modellen een hoge interne coherentie. In Experiment #2 werd 75% van de redeneringsverklaringen en 68% van de gegenereerde feedback beoordeeld als "hoog-coherent" met de door het model geuite zekerheid, wat suggereert dat overmoed bevooroordeelde redenering en feedback versterkt.
• Falen van Zelfcorrectie: Wanneer geprompt om hun oordelen te heroverwegen, pasten modellen hun antwoorden slechts in 0,1% van de gevallen aan, wat wijst op een rigide vasthouden aan de initiële bevooroordeelde oordelen.

Betekenis en Claims
Het artikel claimt dat huidige state-of-the-art LLM's niet alleen overmoedig zijn, maar ook intern consistent zijn in het uiten van dit zelfvertrouwen over hun redenerings- en feedbackmechanismen. Dit gedrag is bijzonder gevaarlijk in educatieve contexten, waar leerlingen mogelijk niet over de nodige achtergrondkennis beschikken om impliciete stereotypen te detecteren. De auteurs stellen dat het uitsluitend vertrouwen op algemene benchmarks leidt tot een systematische onderschatting van potentiële schade in educatieve AI.

De studie benadrukt dat traditionele onzekerheidskaders (aleatorisch en epistemisch) onvoldoende zijn om de interpretatieve ambiguïteit van sociale vooroordelen te vatten. In plaats daarvan pleiten de auteurs voor de integratie van hermeneutische onzekerheid — het erkennen van de legitimiteit van pluriforme interpretaties — om meer verantwoordelijke AI-tutoringagents te bevorderen. De bevindingen suggereren dat zonder mechanismen voor gekalibreerde communicatie van onzekerheid, LLM-gebaseerde tutoring-agents het risico lopen sociale vooroordelen te versterken en leerlingen te misleiden, wat een evaluatie noodzakelijk maakt die gebaseerd is op realistische educatieve settings in plaats van abstracte benchmarks.