Sociodemographic Biases in Educational Counselling by Large Language Models

1. Probleemstelling

Naarmate grote taalmodellen (LLM's) steeds vaker worden geïntegreerd in educatieve omgevingen voor taken variërend van gepersonaliseerd tutoriaal tot ondersteuning bij administratieve beslissingen, is er een kritieke behoefte om te begrijpen of deze modellen sociodemografische vooroordelen die voorkomen in menselijke besluitvorming erven of mitigeren. Hoewel de onderwijspsychologie al lang documenteert dat de verwachtingen en aanbevelingen van leraren worden beïnvloed door de ras, geslacht, sociaaleconomische status (SES) en migratieachtergrond van studenten (zelfs wanneer de academische prestaties gelijk zijn), blijft het onduidelijk hoe LLM's zich gedragen in vergelijkbare counselingscenario's met hoge inzet. Specifiek richt de studie zich op het gebrek aan systematisch inzicht met betrekking tot:

• De omvang van differentiële aanbevelingen die LLM's doen over demografische groepen heen.
• Hoe de precisie van studentenbeschrijvingen (informatiedichtheid) de grootte van deze vooroordelen moduleert.
• Of de vooroordeelpatronen van LLM's overeenkomen met of afwijken van gedocumenteerde menselijke vooroordelen.

2. Methodologie

De studie hanteerde een grootschalig experimenteel ontwerp met een vignet-gebaseerde aanpak om demografische variabelen te isoleren.

• Experimenteel Ontwerp:
  • Geteste Modellen: Zes geavanceerde LLM's: GPT-5.2, GPT-5-nano (OpenAI), DeepSeek Chat v3.2, DeepSeek Reasoner v3.2 (DeepSeek), Grok 4.1 Fast (xAI) en Gemini Flash 3.5 (Google).
  • Variabelen:
    1. Demografische Condities (15 niveaus): Een neutrale controle ("een student"), 8 ras-geslacht combinaties (bijv. Afro-Amerikaanse man/vrouw, Aziatische man/vrouw, enz.), 4 SES-niveaus (laag inkomen, arbeidersklasse, middenklasse, welvarend) en 2 migratieachtergronden (eerste generatie, immigrantenfamilie).
    2. Informatiedichtheid (9 niveaus): Variërend van "Minimaal" (alleen demografie) tot "Alleen Context", "Vag" (subjectieve beschrijvingen), "Neutrale/Positieve/Negatieve Metrieken" (GPA, aanwezigheid) en "Contradictorisch" (metrieken versus beschrijvingen).
    3. Besluitcontexten (10 scenario's): Inclusief studiekeuzecounseling, plaatsing in cursussen, identificatie van hoogbegaafden, verwijzingen voor disciplinaire maatregelen en oudergesprekken.
  • Schaal: De studie genereerde 243.000 modelresponsen (6 modellen × 15 demografieën × 9 dichtheidsniveaus × 10 contexten × 10 vignetvariaties × 3 vragen per context).
  • Prompting: Modellen kregen de opdracht op te treden als ervaren schoolcounselors en werden gedwongen om een enkele optie (A–D) te kiezen op een schaal van 1–4 voor specifieke vragen (bijv. "Studiekeuzeaanbeveling", "Ernst van disciplinaire maatregelen").
  • Analyse: Vooroordeel werd gekwantificeerd als $\Delta = \bar{x}_{demografisch} - \bar{x}_{controle}$. Statistische significantie werd beoordeeld met t-toetsen met Benjamini–Hochberg FDR-correctie ($q < 0.05$). Interne consistentie werd gevalideerd met Cronbach's $\alpha$.

3. Belangrijkste Bijdragen

1. Datasetcreatie: Een publiek beschikbare dataset van 243.000 LLM-responsen op K-12 counselingscenario's, waarbij systematisch werd gevarieerd in demografie en informatiedichtheid.
2. Kwantificering van Vooroordeel: Aantonen dat LLM's systematische sociodemografische vooroordelen vertonen die zowel overeenkomen met als afwijken van menselijke vooroordelen.
3. Informatieprecisie als Moderator: Vaststellen dat informatiekwaliteit een kritieke factor is; vage beschrijvingen versterken vooroordeel, terwijl concrete metrieken dit aanzienlijk verminderen.
4. Modelheterogeniteit: Documentatie van aanzienlijke variatie in vooroordeelsprofielen tussen verschillende modellen, wat suggereert dat vooroordeel het resultaat is van specifieke trainingskeuzes en niet een onvermijdelijke eigenschap van LLM's.

4. Belangrijkste Resultaten

A. Omvang en Patronen van Vooroordeel (RQ1)

• Prevalentie: Alle zes modellen vertoonden meetbare vooroordelen. Ongeveer 14,7% van de demografie-contextcombinaties toonde statistisch significante effecten.
• Sociaaleconomisch Vooroordeel (Dominant Patroon): Studenten met een laag inkomen en uit de arbeidersklasse ontvingen aanzienlijk lagere aanbevelingen voor studiekeuzes en afstudeertrajecten in vergelijking met welvarende studenten (bijv. een verschil van bijna 1 volledige schaalpunt in afstudeerplanning onder minimale informatie).
• Raciaal Vooroordeel:
  • Aziatische Studenten: Kregen consequent gunstige behandeling (het stereotype van de "model minority"), met name in studiekeuzecounseling en ouderbetrokkenheid.
  • Afro-Amerikaanse Studenten: Toonden positief vooroordeel in studiekeuzecounseling (in tegenstelling tot typische menselijke onderschatting), maar negatief vooroordeel in extracurriculaire/hogebegaafdheidscontexten.
  • Latijns-Amerikaanse Mannen: Toonden negatief vooroordeel in extracurriculaire activiteiten en identificatie van hoogbegaafden.
• Migratiestatus: Studenten van de eerste generatie en immigranten kregen over het algemeen iets gunstige behandeling, hoewel immigrantenstudenten negatief vooroordeel ondervonden bij identificatie van hoogbegaafden onder minimale informatie.

B. Overeenkomst met Menselijke Vooroordelen (RQ2)

• Overeenkomst: LLM's kopieerden menselijke vooroordelen met betrekking tot sociaaleconomische verwachtingen en het Aziatische "model minority"-stereotype.
• Afwijking:
  • Positief Vooroordeel voor Onderbelichte Groepen: In tegenstelling tot menselijke leraren die vaak het potentieel van Afro-Amerikanen onderschatten, toonden LLM's positief vooroordeel voor Afro-Amerikaanse vrouwen in studiekeuzecounseling.
  • Vag-Negatieve Compensatie: In condities waarbij studenten werden beschreven met negatieve subjectieve taal maar zonder metrieken, beoordeelden LLM's demografische groepen vaak hoger dan de controlegroep, wat suggereert dat er een "benefit of the doubt"-heuristiek wordt gebruikt die doorgaans niet wordt gezien bij menselijke annotators.

C. De Rol van Informatieprecisie (RQ3)

• Groottevermindering: Dit is de meest opvallende bevinding van de studie. Vage beschrijvingen produceerden een gemiddelde absolute vooroordeel van $|\Delta| = 0,19$, terwijl concrete metrieken dit reduceerden tot $|\Delta| = 0,07$—een bijna drievoudige reductie.
• Mecanisme: Wanneer objectieve data (GPA, aanwezigheid) ontbreekt, lijken LLM's informatiegaten op te vullen met demografische associaties.
• Omkering van Vooroordeel: Bij vragen over "toedeling van inspanning" leidden vage negatieve beschrijvingen ertoe dat studenten uit de arbeidersklasse/immigranten werden beschuldigd van gebrek aan inspanning. Echter, wanneer neutrale metrieken werden verstrekt, keerde het vooroordeel zich om en kregen dezezelfde groepen meer sympathieke toedelingen (externe factoren).

D. Modelheterogeniteit (RQ4)

• GPT-5.2: Kwam naar voren als het minst vooroordeelige model in het algemeen, met lage absolute vooroordeelwaarden en negatieve z-scores (minder vooroordeel dan gemiddeld) in de meeste condities.
• DeepSeek Reasoner: Toonde het sterkste positieve raciale vooroordeel (bevoordeling van alle raciale groepen), maar keerde dit om voor sociaaleconomische groepen (nadelige behandeling van welvarende studenten). Opmerkelijk is dat het niet slaagde in het verminderen van vooroordeel, zelfs niet wanneer concrete metrieken werden verstrekt.
• Grok 4.1 Fast: Vertoonde de meest uitgesproken sociaaleconomische stratificatie, waarbij studenten met een laag inkomen zwaar werden gestraft terwijl welvarende studenten werden bevoordeeld.
• Gemini Flash: Toonde uniform niet-negatief vooroordeel, met de hoogste gunstige behandeling voor Afro-Amerikaanse studenten en sterke compenserende reacties op negatieve beschrijvingen.

5. Betekenis en Implicaties

• Systeemontwerp boven Modelselectie: De studie betoogt dat systeemarchitectuur even belangrijk is als modelselectie. Educatieve AI-systemen moeten worden ontworpen om rijke, objectieve studentdata (metrieken) op te halen in plaats van te vertrouwen op minimale demografische beschrijvingen. Minimale informatievragen, die vaak als "neutraal" worden ervaren, maximaliseren in werkelijkheid demografisch vooroordeel.
• Vooroordeel is Niet Onvermijdelijk: De aanzienlijke heterogeniteit tussen modellen geeft aan dat vooroordeel een gevolg is van specifieke trainingsdata en keuzes (bijv. RLHF), en geen inherente fout van de transformer-architectuur. Dit ondersteunt de noodzaak van fairness-audits als standaardcomponent bij modelselectie voor toepassingen met hoge inzet.
• Complexiteit van AI-Fairness: De afwijking tussen LLM- en menselijke vooroordelen (bijv. het effect van "vag-negatieve compensatie") suggereert dat AI maatschappelijke vooroordelen niet simpelweg weerspiegelt. Deze patronen kunnen een gunstige overcorrectie of nieuwe vormen van onrechtvaardigheid vertegenwoordigen, wat zorgvuldige overweging vereist bij implementatie.
• Toekomstige Richtingen: De auteurs roepen op tot systemen met gestructureerde invoer om vooroordeel te verminderen, verder onderzoek naar de mechanismen van compensatie-effecten, en cross-culturele studies buiten de Amerikaanse contexten om.

Conclusie: Het artikel concludeert dat hoewel LLM's momenteel aanzienlijke sociodemografische vooroordelen vertonen, deze aanzienlijk kunnen worden gemitigeerd door het verstrekken van gedetailleerde, gepersonaliseerde studentinformatie. Vertrouwen op vage beschrijvingen in AI-gedreven educatief counseling is een risicovolle strategie die ongelijkheden versterkt.