Automated Coding of Communications in Collaborative Problem-solving Tasks Using ChatGPT

Dit onderzoek toont aan dat ChatGPT communicatiegegevens uit samenwerkende probleemoplossingstaken succesvol kan coderen, hoewel de prestaties variëren afhankelijk van het model, het coderingskader en de taakeigenschappen, en dat promptverfijning op basis van feedback slechts beperkt consistent de nauwkeurigheid verbetert.

De kern

Titel: De Slimme Robot die Teamwerk Leest: Een Simpele Uitleg van het Onderzoek

Stel je voor dat je een groep vrienden hebt die samen een lastig raadsel moeten oplossen. Ze zitten niet in dezelfde kamer, maar chatten via een computer. Om te begrijpen hoe goed ze samenwerken, moeten we hun chatgesprekken "lezen" en in hokjes verdelen: wie deelt een idee? Wie is het oneens? Wie houdt de sfeer goed?

Vroeger deden mensen dit handmatig. Dat is als het sorteren van een berg post: tijdrovend, duur en saai. Dit onderzoek van het ETS (een Amerikaans onderzoeksinstituut) vraagt zich af: Kan een slimme AI, zoals ChatGPT, dit werk net zo goed doen als een mens?

Hier is wat ze hebben ontdekt, vertaald in simpele taal met een paar leuke vergelijkingen.

1. De Proef: Een Kookpotsimulatie

De onderzoekers hebben vijf verschillende "kookpotten" (opdrachten) gebruikt.

• Twee wetenschappelijke potten: Hier moesten mensen praten over condensatie (zoals dauw op een raam) en vulkanen. Dit is zware kost met veel moeilijke woorden.
• Drie algemene potten: Hier moesten mensen onderhandelen over geld, een appartement kiezen of een cijfercode kraken. Dit is meer als een spelletje.

Ze gaven de chatgesprekken uit deze potten aan verschillende versies van ChatGPT (de "robots") en vroegen hen om de gesprekken in de juiste hokjes te verdelen. Vervolgens vergeleken ze dit met wat echte mensen deden.

2. De Resultaten: Niet alle Robots zijn even slim

Vraag 1: Welke robot is de beste?
Je zou denken dat de allernieuwste, slimste robots (zoals de "denk-robots" GPT-o1-mini) het beste zouden doen. Maar nee! De GPT-4o (een iets oudere, maar zeer capabele versie) deed het vaak het beste.

• De les: De nieuwste, duurste auto is niet altijd de snelste op een krappe parkeerplaats. Soms is de bewezen, betrouwbare auto net iets beter voor dit specifieke werk.

Vraag 2: Hangt het af van het gesprek?
Ja, heel erg.

• Bij de algemene spelletjes (zoals het appartement kiezen) deed de AI het bijna even goed als mensen.
• Bij de wetenschappelijke taken (vulkanen en condensatie) liep de AI vast. Het leek alsof de AI de moeilijke woorden niet goed begreep of de nuance miste.
• De les: Als je een robot vraagt om over vulkanen te praten, moet je rekening houden met het feit dat hij misschien denkt dat "lava" gewoon een heet woord is, en niet snapt hoe gevaarlijk het is.

Vraag 3: Wat als de instructies (de "recepten") anders zijn?
Dit was de grootste verrassing. De onderzoekers gebruikten twee verschillende "recepten" (kaders) om de gesprekken te beoordelen.

• Recept A (Wiskundig/Theoretisch): Dit was een heel strak, theoretisch plan. De AI had hier veel moeite mee. Het was alsof je iemand vraagt om een recept te volgen dat in een vreemde taal is geschreven.
• Recept B (Praktisch/Op ervaring gebaseerd): Dit plan was gebaseerd op wat mensen echt doen. De AI deed hier veel beter op.
• De les: Als je een robot iets wilt laten doen, moet je de instructies heel duidelijk en praktisch houden. Te veel theorie maakt de robot verward.

Vraag 4: Kunnen we de robot corrigeren?
De onderzoekers dachten: "Laten we de robot vertellen waar hij fout zat, zodat hij het de volgende keer beter doet."

• Bij de vulkaan-taak hielp dit! De robot werd iets slimmer.
• Bij de condensatie-taak hielp het niet echt. Het was alsof je een kind probeert te leren fietsen door alleen te zeggen "niet vallen", terwijl het kind al bijna perfect fietst. Soms is de instructie al zo goed dat extra tips niets toevoegen.

3. De Grootte van de Berg Post (Praktische Problemen)

De onderzoekers merkten ook op dat je niet de hele berg post in één keer kunt sorteren. De robots hebben een "geheugen" (contextvenster) dat beperkt is. Ze moesten de chats in kleine stapeltjes van ongeveer 70 berichten sturen. Als je te veel in één keer stuurde, raakte de robot in de war of gaf hij minder antwoorden dan er vragen waren.

Conclusie: Is de robot klaar voor de klas?

Nog niet helemaal, maar wel bijna.

• Het goede nieuws: ChatGPT kan chatgesprekken van teams analyseren, vooral bij alledaagse taken. Dit bespaart enorm veel tijd en geld. Het is als het hebben van een super-snelle assistent die de eerste ronde van het sorteren doet.
• Het voorzorgsadvies: De robot is nog niet perfect. Bij moeilijke onderwerpen of zeer complexe regels maakt hij nog fouten. Hij mag de menselijke beoordelaar niet volledig vervangen, maar hij is een uitstekende hulp om het werk sneller en goedkoper te maken.

Kort samengevat:
Stel je voor dat je een enorme bibliotheek hebt waar je alle gesprekken van teams moet ordenen. Vroeger deden mensen dit met een vergrootglas, één boek per keer. Nu hebben we een robot die een hele stapel boeken in één keer kan scannen. Soms leest hij de titel verkeerd (bij moeilijke woorden), en soms begrijpt hij de inhoud niet helemaal (bij complexe regels), maar voor de meeste boeken is hij razendsnel en bijna net zo goed als de mens. Dat is een enorme stap vooruit!

Technische samenvatting

Probleemstelling

Collaboratief Probleemoplossen (CPS) wordt erkend als een cruciale vaardigheid van de 21e eeuw. De beoordeling van CPS is echter afhankelijk van het coderen van communicatiedata (zoals chatberichten) volgens een construct-gerelateerd raamwerk. Dit proces vormt al lange tijd een knelpunt voor het schaalbaar maken van assessments, omdat het traditioneel sterk afhankelijk is van arbeidsintensief en tijdrovend handmatig coderen door menselijke beoordelaars. Hoewel er geautomatiseerde methoden bestaan die gebruikmaken van toezichthoudend machine learning, vereisen deze methoden nog steeds grote hoeveelheden handmatig gecodeerde trainingsdata. De opkomst van Large Language Models (LLM's), zoals ChatGPT, biedt de belofte om deze codering direct uit te voeren zonder uitgebreide menselijke training (zero-shot of few-shot learning), maar de effectiviteit hiervan bij complexe CPS-taken was tot nu toe onvoldoende onderzocht.

Methodologie

De auteurs hebben een empirische studie uitgevoerd om de prestaties van ChatGPT bij het coderen van CPS-communicatie te evalueren. De studie omvatte de volgende elementen:

• Datasets: Er werden gegevens gebruikt van vijf verschillende CPS-taken:
  1. Twee wetenschappelijke taken: Condensation en Volcano (2 deelnemers, tekstchat).
  2. Drie taken gericht op algemene cognitieve vaardigheden: Negotiation, Decision-Making en Letter-to-Number (4 deelnemers, tekstchat).
     De data werd verzameld via crowdsourcing-platforms (Amazon Mechanical Turk en Prolific).
• Coderingskaders: Twee verschillende kaders werden toegepast:
  • Kader 1: Theoretisch gebaseerd (gebaseerd op CSCL-onderzoek en PISA 2015), gebruikt voor de wetenschappelijke taken.
  • Kader 2: Data-gedreven en empirisch onderbouwd, gebruikt voor de cognitieve vaardigheidstaken.
• LLM-modellen: Vier modellen van OpenAI werden getest: GPT-4, GPT-4o, GPT-o1-mini en GPT-o3-mini. Alle modellen werden uitgevoerd met een temperatuur van 0 voor consistentie.
• Prompt Engineering: De prompts bestonden uit een taakomschrijving, een beschrijving van het coderingskader, ongeveer 10 voorbeelden per categorie per expert, en specificaties voor input/output.
• Evaluatiemethode: De prestaties werden gemeten aan de hand van de Cohen's Kappa (inter-rater overeenkomst) tussen de LLM's en menselijke expertbeoordelaars.
• Iteratieve Verbetering: Voor taken waar de prestaties lager waren, werd een analyse uitgevoerd van fouten (misclassificaties). Op basis hiervan werden de prompts aangepast met feedback en voorbeelden van foutieve coderingen om te zien of dit de nauwkeurigheid kon verbeteren.

Belangrijkste Bijdragen

1. Empirisch Bewijs voor Feasibility: De studie levert bewijs dat ChatGPT chat-data van CPS-taken kan coderen tot een niveau dat vergelijkbaar is met menselijke beoordelaars, afhankelijk van het gekozen kader en de taak.
2. Vergelijking van Modellen: Er wordt aangetoond dat nieuwere "redenerende" modellen (GPT-o1-mini, GPT-o3-mini) niet per se betere coderingsresultaten opleveren dan de standaard GPT-4o, ondanks hun hogere rekenkracht en kosten.
3. Invloed van Kaders: Er wordt een duidelijk onderscheid gemaakt tussen theoretische en data-gedreven coderingskaders. Kaders die empirisch zijn onderbouwd (Kader 2) werken beter met LLM's dan puur theoretische kaders (Kader 1).
4. Prompt-Optimalisatie: De studie onderzoekt de effectiviteit van het verbeteren van prompts door feedback van fouten. Dit bleek succesvol voor sommige taken (Volcano), maar niet voor andere (Condensation), wat suggereert dat de oorspronkelijke prompt daar al bijna optimaal was.

Resultaten

• Algemene Prestaties: Voor de drie taken met Kader 2 (Negotiation, Letter-to-Number, Decision-Making) bereikten alle ChatGPT-modellen overeenkomsten met menselijke beoordelaars die vergelijkbaar waren met of zelfs beter waren dan de overeenkomst tussen menselijke beoordelaars onderling.
• Wetenschappelijke Taken: Voor de twee wetenschappelijke taken (Condensation, Volcano) met Kader 1 waren de prestaties van de LLM's lager dan die van menselijke beoordelaars.
• Modellen: GPT-4o presteerde over het algemeen het beste. De nieuwere "reasoning"-modellen (o1-mini, o3-mini) presteerden niet significant beter en waren soms zelfs minder goed dan GPT-4o.
• Invloed van Terminologie: De aanwezigheid van wetenschappelijke terminologie leidde tot lagere coderingsnauwkeurigheid, maar dit verklaarde niet volledig de prestatiekloof tussen mens en machine op de wetenschappelijke taken. De structuur van het coderingskader bleek de belangrijkste factor.
• Prompt-Feedback:
  • Bij de Condensation-taak leidde het toevoegen van foutvoorbeelden tot de prompt geen verbetering in de algehele Cohen's Kappa (bleef rond 0.64).
  • Bij de Volcano-taak leidde dezelfde strategie wel tot een verbetering van Cohen's Kappa van 0.604 naar 0.637.

Significantie en Conclusie

De studie concludeert dat het gebruik van ChatGPT voor het coderen van communicatie in CPS-assessments een haalbare, kosteneffectieve en schaalbare oplossing is, mits de juiste omstandigheden worden gecreëerd.

• Praktische Implicaties: Onderzoekers en praktici hoeven niet per se de duurste of nieuwste "reasoning"-modellen te gebruiken; GPT-4o biedt vaak de beste balans tussen prestatie en kosten.
• Ontwerp van Kaders: De keuze van het coderingskader is cruciaal. Kaders die empirisch zijn onderbouwd en duidelijk gedefinieerd zijn, worden beter begrepen door LLM's dan abstracte, puur theoretische kaders.
• Rol van AI: Hoewel ChatGPT de menselijke codering kan aanvullen en de kosten drastisch kan verlagen, wordt het momenteel nog niet aanbevolen als volledige vervanging voor menselijke beoordelaars, vooral niet bij complexe, theoretisch geladen kaders of wanneer validiteitseisen zeer streng zijn. Het moet gezien worden als een complementair instrument om de schaalbaarheid van CPS-assessments mogelijk te maken.