💻 computer science

Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

Deze studie maakt gebruik van design-based research om aan te tonen dat een op maat gemaakte GPT-codeerassistent, wanneer deze wordt geïntegreerd met gestructureerde prompts en een collaboratieve, mensgerichte workflow, effectief ondersteuning biedt bij de deductieve codering van klasgesprekken, terwijl het benadrukt dat succesvolle mens-AI-samenwerking afhankelijk is van de dynamische wisselwerking tussen promptarchitectuur, workflowsequencing en de houding van de onderzoeker tegenover AI.

Oorspronkelijke auteurs: Luwei Bai, Dongkeun Han, Sara Hennessy

Gepubliceerd 2026-07-13

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luwei Bai, Dongkeun Han, Sara Hennessy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een geheime taal te ontcijferen die in een klaslokaal wordt gesproken. Leraren en leerlingen voeren een diep, complex gesprek, en jouw taak is om elke zin in specifieke categorieën te sorteren, zoals "Redeneren", "Uitnodiging tot denken" of "Instemming". Dit met de hand doen is alsof je uit een brandslang probeert te drinken: het is uitputtend, het duurt eeuwig en je hersenen raken vermoeid.

Maak kennis met de Customised GPT Coding Assistant (CGCA). Zie deze AI niet als een magische robot die alles weet, maar als een zeer slimme, zeer snelle stagiair die een specifiek regelboek heeft gekregen (de Cambridge Dialogue Analysis Scheme) en een paar voorbeeldzinnen om te bestuderen. De onderzoekers van de Universiteit van Cambridge wilden zien: Kunnen we deze stagiair trainen om het zware werk te doen? En hoe werken we samen zonder dat de stagiair de controle overneemt of de mens geërgerd raakt?

Hier is wat ze hebben gevonden, gepresenteerd met een paar metaforen om het duidelijk te houden.

1. De "stagiair" heeft de juiste instructies nodig (Prompt Engineering)

In het begin gaven de onderzoekers de AI gewoon het volledige regelboek en zeiden: "Ga!" Het resultaat? De AI raakte in de war. Het was alsof je een nieuwe werknemer een handleiding van 500 pagina's gaf en verwachtte dat hij op dag één precies wist wat hij moest doen. De nauwkeurigheid van de AI was laag, soms slechts 6,7% voor bepaalde categorieën.

De onderzoekers realiseerden zich dat de AI een "brein" heeft dat anders werkt dan dat van een mens. De AI raakt overweldigd als je er in één keer te veel tekst tegenaan gooit. Dus begonnen ze aan prompt engineering. Dit is alsof je de instructies voor de stagiair herschrijft. In plaats van een enorme muur van tekst, deden ze het volgende:

Ze braken de regels af in een "beslissingsboom" (Als X gebeurt, doe dan Y).
Ze gaven de AI minder, maar betere voorbeelden (ongeveer 5–15 zorgvuldig gekozen exemplaren in plaats van honderden).
Ze maakten de instructies stapsgewijs.

Het resultaat: Na deze aanpassingen sprong de nauwkeurigheid van de AI naar 64,9%. Dat is niet perfect (mensen zijn meestal voor 70–75% het met elkaar eens), maar het is goed genoeg om een behulpzame sidekick te zijn. Het artikel suggereert dat het simpelweg plakken van een menselijke trainingshandleiding in een computerprompt niet werkt; je moet de instructies herstructureren om aan te sluiten bij hoe de AI denkt.

2. Wie gaat er eerst? De "Mens-Eerst" vs. "AI-Eerst" Dans

De onderzoekers testten twee manieren om met deze AI-stagiair samen te werken. Ze lieten zes onderwijskundige onderzoekers (sommigen nieuw in het coderen, anderen experts) beide methoden proberen op 55 beurten van klasgesprekken.

Conditie A (Mens-Eerst): De mens codeert de zin eerst, en vraagt dan aan de AI: "Wat denk jij?"
Conditie B (AI-Eerst): De mens vraagt de AI eerst: "Wat denk jij?", en de mens beslist daarna of hij het ermee eens is.

De bevindingen:
Wanneer de mens eerst ging, was de overeenstemming tussen de mens en de "gouden standaard" (de oorspronkelijke expert-coder) ongeveer 0,40 (een maatstaf voor hoe goed ze overeenkwamen).
Wanneer de AI eerst ging, steeg dit getal licht naar 0,45.
Noot: Het artikel zegt dat dit verschil klein is en niet statistisch "bewezen" een grote overwinning is omdat de groep zo klein was, maar de trend suggereert dat beginnen met de AI mensen kan helpen om zich beter aan de regels te houden.

Ook gingen de mensen in de "AI-Eerst"-groep sneller te werk. De onderzoekers merkten echter iets lastigs op: in de "AI-Eerst"-groep hadden sommige mensen het gevoel dat ze simpelweg het werk van de AI controleerden, terwijl ze in de "Mens-Eerst"-groep het gevoel hadden dat ze door de AI werden gecontroleerd.

3. Het geheime ingrediënt: Hoe je de AI behandelt

Dit is het meest interessante deel. De onderzoekers ontdekten dat hoe de mens over de AI dacht, belangrijker was dan de volgorde van de handelingen. Ze zagen twee duidelijke "persoonlijkheden" in hoe de coders te werk gingen:

De "Dialogische" Partner (De Samenwerkers)
Ongeveer de helft van het team (Deelnemers C, D en E) behandelde de AI als een kritische vriend of een debatpartner.

De metafoor: Stel je voor dat je tennist met een partner die de bal naar je terug slaat zodat jij hem nog harder kunt terugslaan. Ze vertrouwden de AI niet blindelings, maar gebruikten de suggesties om hun eigen denken te testen. "Hm, de AI zegt dat dit 'Redeneren' is. Waarom? Oh, ik zie het, vanwege het woord 'omdat'. Oké, ik ben het ermee eens."
De uitkomst: Hoewel sommigen van hen beginners waren in het coderen, verbeterden zij het meest. Ze gebruikten de AI als een instrument om te leren en hun beslissingen te verfijnen.

De "Toezichthoudende" Wachthond (De Sceptici)
De andere helft (Deelnemers A, B en F) behandelde de AI als een verdachte of een machine die constante controle vereiste.

De metafoor: Stel je een beveiligingsbeambte voor die denkt dat de camera kapot is en constant probeert te bewijzen dat hij ongelijk heeft. Ze zeiden dingen als: "Ik controleer ChatGPT" of "Ik denk niet dat het een collega is." Ze hielden afstand en weigerden een "gesprek" met het hulpmiddel te voeren.
De uitkomst: Deze mensen verbeterden minder. Hun coderingsnauwkeurigheid bleef lager en ze besteedden minder tijd aan het begrijpen van de redenering van de AI. Ze waren zo gefocust op het verifiëren van de AI dat ze de kans misten om te collaboreren.

4. Wat het artikel uitsluit

Het is belangrijk om te weten wat dit onderzoek niet zegt:

Het is GEEN magische oplossing: Je kunt niet simpelweg een enorme berg data en een standaard regelboek in een AI dumpen en verwachten dat het perfect werkt. Het artikel stelt expliciet dat "het direct overdragen van een menselijke trainingscodeboek naar een prompt onvoldoende is."
Het is GEEN vervanging voor vaardigheid: De studie beweert niet dat de AI mensen direct tot experts maakt. Sterker nog, één deelnemer (Deelnemer E) begon door de AI te volgen omdat hij een gebrek aan zelfvertrouwen had, en leerde pas later de AI kritisch te beoordelen. Het artikel suggereert dat dit een tijdelijke boost in zelfvertrouwen kan zijn, en niet noodzakelijkerwijs een permanente sprong in onafhankelijke vaardigheid.
Het is GEEN "one-size-fits-all" oplossing: Het artikel betoogt dat er geen enkele perfecte manier is om de AI te gebruiken. Wat werkt voor een "dialogische" partner, werkt misschien niet voor een "toezichthoudende" wachthond.

5. Hoe zeker zijn we?

De onderzoekers zijn voorzichtig in hun bewoordingen. Ze zeggen dat hun bevindingen suggereren dat een "dialogische" aanpak (de AI als partner behandelen) tot betere resultaten leidt. Ze suggereren dat beginnen met de AI (AI-eerst) kan helpen bij de consistentie.

Het betrouwbaarheidsniveau: De studie is een "kleinschalige" verkenning met slechts zes personen. De auteurs geven toe dat ze, omdat de groep zo klein is, niet met zekerheid kunnen zeggen dat de "AI-eerst"-methode absoluut beter is; ze kunnen alleen zeggen dat de cijfers daarop tendensen vertoonden.
De nauwkeurigheid: De AI bereikte een precisie van 64,9%. Het artikel stelt dat dit "benadert" wat de menselijke overeenstemming van 70–75% is, maar het is er nog niet. Het is een "gestructureerde beslissingsondersteunende tool", geen definitief antwoordmodel.

De Grote Lijn

Deze studie schetst een beeld van mens-AI-samenwerking, niet als een simpel "mens versus machine" of "machine die het werk doet" scenario. In plaats daarvan is het een dynamische dans.

Het succes van de dans hangt af van drie zaken die samen bewegen:

De Stappen (Het AI-ontwerp): De instructies moeten eenvoudig, stapsgewijs en afgestemd zijn op het brein van de AI (zoals een beslissingsboom).
De Muziek (De Context): De volgorde van handelingen (wie gaat er eerst) verandert het ritme.
De Geest van de Danser (De Mens): Als je de AI als een partner ziet om van te leren, dans je beter. Als je het als een vijand ziet om te controleren, struikel je.

Het artikel concludeert dat AI in onderzoek een sociaal-technisch proces is. Het gaat niet alleen over de code; het gaat over hoe de mens zich voelt, denkt en interacteert met het hulpmiddel. Voor een nieuwsgierige tiener is de les: Het hulpmiddel is slechts zo goed als de relatie die je ermee opbouwt. Als je het behandelt als een slimme teamgenoot, helpt het je groeien. Als je het behandelt als een verdachte vreemde, zit het er alleen maar bij te wachten om gecontroleerd te worden.

Technische Samenvatting: Mens-AI-samenwerking bij Deductieve Codering van Klaslokaal-dialogen

Probleemstelling
Klaslokaal-dialoog is een cruciaal mechanisme voor de gezamenlijke constructie van kennis en cognitieve ontwikkeling, maar de systematische analyse ervan via deductieve codering vormt een knelpunt. Handmatige codering met gevestigde kaders zoals het Cambridge Dialogue Analysis Scheme (CDAS) is cognitief veeleisend, tijdrovend en moeilijk op te schalen. Ho'ewel Large Language Models (LLM's) potentieel bieden voor het automatiseren van kwalitatieve analyse, vereisen conventionele gesuperviseerde benaderingen vaak grote geannoteerde datasets die in gespecialiseerd onderwijsonderzoek vaak niet beschikbaar zijn. Bovendien is er een gebrek aan empirisch begrip over hoe lichtgewicht, geconfigureerde conversatiesystemen voor deductieve codering praktisch geïmplementeerd kunnen worden en hoe het proces van mens-AI-samenwerking in deze specifieke context verloopt.

Methodologie
De studie maakte gebruik van een Design-Based Research (DBR)-benadering gecombineerd met een quasi-experimenteel binnen-onderwerp ontwerp om drie onderzoeksvragen te beantwoorden: (1) hoe een Customised GPT Coding Assistant (CGCA) te optimaliseren voor deductieve codering met beperkte data; (2) hoe workflow-sequencing (Human-first versus AI-first) samenwerking beïnvloedt; en (3) welke gebruikersfactoren samenwerkingspatronen beïnvloeden.

Systeemontwikkeling (RQ1): De onderzoekers ontwikkelden iteratief een CGCA gebaseerd op het CDAS-raamwerk. Eerdere pogingen waarbij een directe transfer van het menselijke codeboek werd gebruikt, slaagden er niet in een betrouwbare prestatie te leveren. Vervolgende iteraties richtten zich op prompt engineering-strategieën, waaronder:
- Instructiearchitectuur: De verschuiving van eenvoudige regellijsten naar beslisboomlogica, if–else-structuren en modulaire segmentatie om de cognitieve belasting te verminderen en aan te sluiten bij de verwerkingsbeperkingen van LLM's.
- Exemplaarselectie: Het cureren van een kleine set hoogwaardige, diverse voorbeelden (5–15 per categorie, inclusief kern-, ambigue en randgevallen) in plaats van te vertrouwen op grote volumes ongedifferentieerde data.
- Feedbackloops: Het opnemen van interactieve verificatiestappen om regelgebaseerde classificatie aan te moedigen boven oppervlakkige patroonherkenning.
- Evaluatie: De uiteindelijke CGCA werd getest tegen 1.386 authentieke, door mensen gecodeerde dialoogbeurten uit lessen in het basisonderwijs, geëvalueerd op basis van precisie, recall, accuratesse en F1-scores.
Samenwerkingsstudie (RQ2 & RQ3): Zes onderwijskundig onderzoekers (variërend in codering-bekwaamheid en AI-ervaring) namen deel aan twee workflow-condities:
- Conditie A (Human-first): Coders wijzen labels toe onafhankelijk voordat zij de CGCA raadplegen.
- Conditie B (AI-first): Coders beoordelen de outputs van de CGCA voordat zij hun eigen labels definitief maken.
- Dataverzameling: De data omvatte coderingsgegevens, volledige GPT-chatlogs, think-aloud protocollen en post-task interviews (inclusief stimulated recall).
- Analyse: Kwantitatieve analyse mat de inter-rater betrouwbaarheid (Cohen's $\kappa$ ) ten opzichte van een referte-codering. Kwalitatieve analyse gebruikte een inductieve thematische benadering om factoren te identificeren die samenwerking vormgeven, gekarakteriseerd op een ordinale schaal (zwak–gemiddeld–sterk) op basis van discoursbewijs.

Belangrijkste Resultaten

Systeemprestaties (RQ1): De initiële baseline CGCA vertoonde een lage precisie (6,7%–38,2%). Door iteratieve verfijning van de promptstructuur en de selectie van exemplaren bereikte het uiteindelijke systeem een turn-level precisie van 64,9%, wat dicht in de buurt komt van de 70–75% inter-coder overeenstemming die typisch is voor menselijke experts. De studie vond dat structurele helderheid (beslisbomen, stapsgewijze redenering) en hoogwaardige, contextrijke voorbeelden belangrijker waren dan de loutere hoeveelheid voorbeelden.
Impact van Workflow (RQ2): De AI-first conditie (Conditie B) leverde iets hogere gemiddelde Cohen's $\kappa$ -waarden op (M ≈ 0,45) vergeleken met de Human-first conditie (M ≈ 0,40), hoewel het verschil niet statistisch significant was vanwege de kleine steekproefomvang. Conditie B was geassocieerd met een verminderde coderingstijd per beurt. Kwalitatieve analyse onthulde dat Conditie B vaak anchoring effects (verankeringseffecten) veroorzaakte, waarbij de initiële AI-outputs de daaropvolgende menselijke oordeelsvorming beïnvloedden, terwijl Conditie A gepaard ging met meer uitgebreide zelfredenering en regelgebaseerde onderhandeling.
Gebruikersfactoren en Samenwerkingspatronen (RQ3): De studie identificeerde twee duidelijke oriëntaties in hoe onderzoekers met de CGCA omgingen:
1. Dialogische Oriëntatie: Deelnemers behandelden de AI als een "kritische vriend" of collaboratieve gesprekspartner. Zij gebruikten AI-outputs om redeneringen te externaliseren en hun beslissingen te kalibreren. Deze groep, die ook nieuwkomers in de codering bevatte, vertoonde de sterkste verbeteringen in codering en leerwinsten.
2. Toezichthoudende Oriëntatie: Deelnemers beschouwden de AI als een object van inspectie, waarbij zij een epistemische afstand behielden en zich concentreerden op het verifiëren van de betrouwbaarheid van het model in plaats van een dialoog aan te gaan. Deze groep vertoonde minder iteratieve redenering en kleinere prestatiewinsten.
- Dynamische Verschuiving: De positionering was niet statisch; bijvoorbeeld verschoof een novice-deelnemer van een deferente houding naar een meer kritische, onderhandelde houding naarmate hun vertrouwen groeide door interactie.

Belangrijkste Bijdragen

Prompt Engineering voor Deductieve Codering: De studie toont aan dat effectieve AI-ondersteunde deductieve codering vereist dat menselijke coderingsprocedures worden aangepast aan de beperkingen van LLM's. Specifiek: het ontleden van complexe oordelen in beslisboomlogica en het gebruik van gecureerde, diverse exemplaren levert betere resultaten op dan simpelweg grote codeboeken of uitgebreide voorbeelden invoeren.
Sociaal-technisch Raamwerk: Het artikel stelt een voorlopig raamwerk voor waarin mens-AI-samenwerking bij kwalitatieve codering wordt geconceptualiseerd als een dynamisch, wederkerig proces. Het stelt dat uitkomsten gezamenlijk worden bepaald door het CGCA-systeemontwerp (promptarchitectuur), de contextuele condities (workflow-sequencing) en de kenmerken van de menselijke coder (positionering, vertrouwen, voorkennis).
Rol van Positionering: De bevindingen dagen het idee uit dat menselijke autoriteit strikt toezichthoudend moet zijn. In plaats daarvan lijkt een "dialogische" houding — waarbij de mens de uiteindelijke evaluatieve controle behoudt maar de AI behandelt als een redeneerpartner — betere codering nauwkeurigheid en leerresultaten op te leveren, met name voor minder ervaren coders.

Betekenis en Claims
De auteurs beweren dat AI-ondersteunde dialoogcodering niet louter als een technische automatiseringstaak moet worden begrepen, maar als een dynamisch, socio-technisch proces. De studie suggereert dat:

Ontwerpimplicaties: Het bouwen van effectieve AI-tools vereist meer dan het vertalen van menselijke regels; het vereist promptarchitecturen die aansluiten bij de cognitieve belastingtheorie en de verwerkingslimieten van LLM's.
Collaboratieve Dynamiek: De effectiviteit van mens-AI-samenwerking wordt sterk beïnvloed door de positionering van de coder (hoe zij hun relatie met de AI zien). De AI behandelen als een collaboratieve partner in plaats van een ondergeschikte tool kan leiden tot sterkere analytische resultaten en leerwinsten.
Gelijkheid in Codering: De CGCA kan fungeren als een "nivelleringsmechanisme", waardoor het prestatieverschil tussen beginners en ervaren coders wordt verkleind wanneer de beginner een dialogische oriëntatie aanneemt.

De auteurs blijven bescheiden in hun claims en erkennen de kleine schaal van de studie (n=6), de specifieke context van Britse basisscholen en het gebrek aan langetermijnbewijs met betrekking aan onafhankelijke vaardigheidsontwikkeling. Zij benadrukken dat uniforme implementatiestrategieën waarschijnlijk niet effectief zullen zijn en dat verder onderzoek nodig is om deze bevindingen te valideren over grotere steekproeven en verschillende coderingskaders.