Automated Coding of Communication Data Using ChatGPT: Consistency Across Subgroups

Dit onderzoek toont aan dat ChatGPT communicatiegegevens consistent en betrouwbaar codeert over verschillende demografische groepen heen, vergelijkbaar met menselijke beoordelaars, waardoor het geschikt is voor grootschalige evaluaties van samenwerking.

De kern

Hier is een uitleg van dit wetenschappelijke artikel in gewoon, begrijpelijk Nederlands, met wat creatieve vergelijkingen om het duidelijk te maken.

De Kernvraag: Is de digitale "rechter" eerlijk voor iedereen?

Stel je voor dat je een grote groep mensen hebt die samenwerken aan een puzzel of een plan. Ze praten allemaal met elkaar via een chat. Om te zien hoe goed ze samenwerken, moeten we die chatberichten lezen en in hokjes verdelen: "Dit was een goed idee," "Dit was een conflict," of "Dit was een vraag."

Vroeger deden menselijke beoordelaars dit werk. Ze zaten urenlang te typen en te lezen. Dat is duur, tijdrovend en lastig om op grote schaal te doen.

Nu hebben we ChatGPT (een slimme computer). De onderzoekers hebben ontdekt dat je ChatGPT kunt zeggen: "Lees deze chats en vul de hokjes in." En dat doet de computer bijna net zo goed als een mens.

Maar hier zit de addertje onder het gras:
Is die computer voor iedereen even goed? Of is hij misschien slimmer in het begrijpen van wat mannen zeggen dan wat vrouwen zeggen? Of begrijpt hij de taal van mensen met een andere achtergrond beter dan die van anderen? Als de computer voor één groep minder goed werkt, is dat onrechtvaardig.

De onderzoekers van dit artikel (van het ETS Research Institute) wilden precies dat weten. Ze hebben gekeken of ChatGPT eerlijk is voor verschillende groepen mensen (man/vrouw en verschillende etnische achtergronden).

De Drie Tests (De "Eerlijkheids-Check")

Om dit te testen, hebben ze drie simpele checks bedacht, alsof je een nieuwe auto test voordat je hem koopt:

1. De "Gelijkheids-Check" (RQ1):

   • De analogie: Stel je voor dat je twee mensen hebt die een wedstrijd houden: één mens en één computer. Ze moeten allebei hetzelfde chatbericht beoordelen.
   • De vraag: Als we kijken naar alle mannen en alle vrouwen, is het percentage keren dat de mens en de computer het met elkaar eens zijn, voor beide groepen hetzelfde?
   • Het resultaat: Ja. De computer is voor mannen en vrouwen even goed in het "meepraten" met de menselijke beoordelaar.

2. De "Betrouwbaarheids-Check" (RQ2):

   • De analogie: Stel je voor dat je een weegschaal hebt. Als je er een appel op legt, moet hij elke keer hetzelfde gewicht tonen.
   • De vraag: Is de computer net zo betrouwbaar (stabiel) als de mens? En werkt die betrouwbaarheid voor alle groepen even goed?
   • Het resultaat: Ja. De computer is net zo betrouwbaar voor alle groepen. Er zijn geen groepen waar de computer "wankelt" of onzeker wordt.

3. De "Tweede Menings-Check" (RQ3):

   • De analogie: Stel je voor dat je een tweede menselijke beoordelaar hebt die ook naar de chat kijkt.
   • De vraag: Als de computer en de eerste mens het eens zijn, is dat patroon hetzelfde als wanneer twee mensen het met elkaar eens zijn?
   • Het resultaat: Ja. Het patroon van overeenstemming is voor alle groepen hetzelfde.

Wat vonden ze precies?

De onderzoekers keken naar drie verschillende soorten taken:

1. Onderhandelen: Een groep moet een plan maken voor een fundraiser (waarbij iedereen een eigen beloning wil).
2. Beslissen: Een groep moet kiezen voor het beste appartement.
3. Puzzelen: Een groep moet een geheim verband tussen letters en cijfers vinden.

De grote ontdekking:
Over het algemeen werkt ChatGPT voor iedereen even goed. Of je nu man of vrouw bent, of van een andere etnische achtergrond, de computer maakt geen systematische fouten die ten koste gaan van één specifieke groep.

Eén klein nuancepuntje:
Er was één situatie waarin het leek alsof er een verschil was: bij de "Onderhandeling"-taak voor zwarte deelnemers. De overeenstemming tussen mens en computer was hier iets lager dan bij witte deelnemers.

• Maar wacht even! De onderzoekers ontdekten dat dit niet kwam omdat de computer zwarte mensen slechter begreep. Het kwam juist omdat de computer bij de witte deelnemers buitengewoon goed werkte (beter dan twee mensen die met elkaar praten). De witte groep had dus een "super hoge" basis, waardoor de andere groep er in vergelijking slechter uitzag. Het was dus een illusie van ongelijkheid, veroorzaakt door een te hoge prestatie bij de referentiegroep.

Waarom is dit belangrijk?

Vroeger dachten we misschien: "Computers zijn slim, maar ze zijn getraind op internetdata, dus ze hebben misschien vooroordelen."
Dit artikel zegt: "Niet noodzakelijk!" Als je de computer goed instrueert (de juiste "recept" of prompt geeft), kan hij communicatie data net zo eerlijk en consistent coderen als mensen.

Dit betekent dat we in de toekomst veel grootschalige tests kunnen doen over samenwerking en communicatie, zonder dat we duizenden mensen nodig hebben om alles handmatig te lezen. De computer kan de zware last dragen, zolang we maar blijven controleren of hij het eerlijk doet.

Conclusie in één zin

ChatGPT is als een nieuwe, super-snelle tolk die voor iedereen even goed werkt; hij maakt geen fouten die specifiek gericht zijn op één geslacht of achtergrond, waardoor hij een veilige en eerlijke hulp kan zijn voor het beoordelen van samenwerking in de toekomst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Automated Coding of Communication Data Using ChatGPT: Consistency Across Subgroups" in het Nederlands.

Probleemstelling

De beoordeling van communicatie- en collaboratievaardigheden op grote schaal vereist doorgaans het coderen van communicatiedata (bijv. chatberichten) naar specifieke categorieën volgens een vooraf bepaald raamwerk. Traditioneel wordt dit handmatig gedaan door getrainde beoordelaars, wat arbeidsintensief, tijdrovend en duur is. Hoewel eerdere studies hebben aangetoond dat Large Language Models (LLMs), zoals ChatGPT, communicatiedata kunnen coderen met een nauwkeurigheid die vergelijkbaar is met die van mensen, blijft een cruciale vraag onbeantwoord: presteert deze AI-gestuurde codering consistent over verschillende demografische subgroepen (geslacht en ras/etniciteit)?

Er bestaat bezorgdheid dat LLMs, die zijn getraind op grote webcorpora, onbedoelde vooroordelen kunnen repliceren of versterken die leiden tot systematische verschillen in prestaties tussen groepen. Bestaande kaders voor "fairness" in automatisch scoren zijn vaak gericht op ordinale scores (zoals essay-scores) en individuele testnemers, terwijl collaboratiedata uit nominale coderingen per communicatiewissel bestaan en een geneste structuur hebben (meerdere berichten per persoon, personen binnen teams). Er ontbreekt dus een specifiek raamwerk om de consistentie van LLM-codering in deze context te evalueren.

Methodologie

Data en Taken
De studie gebruikte data van 431 deelnemers die drie verschillende collaboratieve taken uitvoerden via tekstchat:

1. Onderhandeling (Negotiation): Een team moet een fondsenwervend evenement plannen met tegenstrijdige belangen.
2. Besluitvorming (Decision-Making): Een team kiest het beste appartement op basis van gedeelde informatie.
3. Letter-naar-Nummer (Letter-to-Number): Een redeneertaak waarbij een verborgen mapping tussen letters en cijfers moet worden gevonden.
   Het dataset bevatte in totaal 8.479 chat-berichten ("turns"). De deelnemers werden gefilterd op geslacht (man/vrouw) en ras (Wit, Black, Hispanic/Latino, Aziatisch).

Coderingskader
Er werd een specifiek kader voor Collaborative Problem Solving (CPS) gebruikt (Kyllonen et al., 2023) met vijf categorieën:

• Communicatie onderhouden (Maintaining communication)
• Opdrachtgericht blijven (Staying on task)
• Informatie opvragen (Eliciting information)
• Informatie delen (Sharing information)
• Erkenning geven (Acknowledging)

Elk bericht werd onafhankelijk gecodeerd door twee menselijke beoordelaars (waarvan één expert) en door ChatGPT (GPT-4o, versie 2024-05-13). De prompts voor ChatGPT waren zorgvuldig ontworpen met voorbeelden en instructies, en de temperatuur werd op 0 gezet voor determinisme.

Statistische Analyse
Om de drie onderzoeksvragen (RQ) te beantwoorden, werden de volgende methoden toegepast, aangepast aan de geneste structuur van de data:

1. RQ1 (Consistentie van overeenstemming): Gebruik van Generalized Linear Mixed-Effects Models (GLMM) met een binomiale verdeling en logit-link.
   • Doel: Onderzoeken of de overeenstemming tussen AI en menselijke codering verschilt per demografische groep.
   • Model: De afhankelijke variabele was of AI en mens overeenkwamen (1/0). Fixed effects waren demografie, taak en interactie. Random effects werden toegevoegd voor individuen en teams om de geneste datastructuur te corrigeren.
2. RQ2 (Betrouwbaarheid): Berekening van Cohen's Kappa voor paren (Mens-AI en Mens-Mens) binnen elke demografische groep.
   • Doel: Controleren of de betrouwbaarheid van de AI-codering verschilt tussen groepen.
   • Techniek: Clustered bootstrap resampling op individueel niveau voor betrouwbaarheidsintervallen.
3. RQ3 (Vergelijkbare patronen): Vergelijking van de overeenstemmingspatronen tussen AI en een tweede menselijke beoordelaar versus twee menselijke beoordelaars.
   • Doel: Controleren of AI zich gedraagt als een consistente "menselijke" beoordelaar over subgroepen heen.

Belangrijkste Bijdragen

1. Aanpassing van het Fairness-raamwerk: De auteurs passen het bestaande framework van Williamson et al. (2012) voor automatisch scoren aan voor nominale codering van communicatiewissels. Ze introduceren drie specifieke checks die rekening houden met de categorische aard van de data en de geneste structuur (persoon binnen team).
2. Empirisch bewijs voor subgroep-consistentie: Het biedt de eerste uitgebreide empirische evaluatie van ChatGPT-codering op collaboratiedata, specifiek gericht op demografische bias.
3. Methodologische innovatie: Het gebruik van GLMMs met random intercepts voor zowel individuen als teams om de afhankelijkheid in collaboratiedata correct te modelleren, in plaats van onafhankelijke observaties aan te nemen.

Resultaten

• Geslacht: Er werd geen significant verschil gevonden in de overeenstemming tussen AI en menselijke codering tussen mannen en vrouwen, noch in de betrouwbaarheid (Kappa-waarden) over de drie taken heen.
• Ras/Etniciteit: Over het algemeen was er geen significant verschil in AI-menselijke overeenstemming tussen rasgroepen.
  • Nuance: In de "Onderhandeling"-taak werd een significant interactie-effect gevonden waarbij de overeenstemming voor Black-deelnemers lager leek dan voor Witte deelnemers.
  • Verduidelijking: Verdere analyse toonde aan dat dit niet kwam doordat Black-deelnemers slechter werden gecodeerd, maar doordat de overeenstemming voor Witte deelnemers in deze specifieke taak uitzonderlijk hoog was (hoger dan mens-mens overeenstemming). Dit verhoogde de "baseline" en creëerde een schijnbaar verschil. De absolute betrouwbaarheid (Kappa) voor Black-deelnemers was vergelijkbaar met die van andere groepen.
• Betrouwbaarheid: De Cohen's Kappa-waarden voor AI-menselijke codering waren consistent over alle geslachts- en rasgroepen en over alle taken.
• Patroon: De patronen van overeenstemming tussen AI en een tweede beoordelaar waren vergelijkbaar met die tussen twee menselijke beoordelaars, wat suggereert dat AI geen systematische afwijkingen introduceert die menselijke beoordelaars niet ook zouden vertonen.

Betekenis en Conclusie

De studie concludeert dat ChatGPT (GPT-4o) communicatiedata uit collaboratieve taken nauwkeurig en consistent kan coderen over verschillende geslachts- en rasgroepen heen. Dit ondersteunt het potentieel van LLMs als schaalbaar alternatief of supplement voor menselijke codering in grootschalige assessments van 21e-eeuwse vaardigheden.

Kritische kanttekeningen:

• De resultaten zijn gebaseerd op een specifieke versie van GPT en een bepaald coderingskader; toekomstige modellen of complexere taken kunnen anders presteren.
• Consistentie in codering is een noodzakelijke maar niet voldoende voorwaarde voor algehele testfairness. Dispariteiten kunnen nog steeds ontstaan wanneer coderingen worden geaggregeerd tot scores.
• De auteurs waarschuwen dat AI momenteel beter gezien moet worden als een aanvulling op menselijke beoordeling dan als een volledige vervanging, totdat er bredere professionele standaarden en consensus zijn bereikt.

Samenvattend biedt dit onderzoek een robuust methodologisch raamwerk en empirisch bewijs dat de zorg over demografische bias in LLM-gestuurde communicatiecodering voor deze specifieke context en taken niet onderbouwd is, wat de weg vrijmaakt voor verantwoorde toepassing in educatieve en assessment-contexten.