Scaffolding Human-AI Collaboration: A Field Experiment on Behavioral Protocols and Cognitive Reframing

Een veldexperiment bij een Fortune 500-bedrijf toont aan dat, hoewel toegang tot generatieve AI gelijk was, een cognitieve interventie die AI als 'denkpartner' presenteert de kwaliteit van documenten verbeterde, terwijl een gedragsprotocollering met verplichte samenwerking juist leidde tot lagere kwaliteit en productie.

De kern

Het Grote Experiment: Hoe werken we het beste samen met AI?

Stel je voor dat een groot bedrijf (Gap Inc.) aan al zijn werknemers een superkrachtige nieuwe robot-assistent geeft: Microsoft Copilot. Iedereen heeft dezelfde robot. Maar de vraag is: hoe gebruiken mensen die robot het beste?

De onderzoekers van Microsoft wilden weten of het helpt om mensen te dwingen om op een heel specifieke, gestructureerde manier samen te werken met de robot, of dat het beter is om ze gewoon te leren hoe ze de robot als een "denkpartner" moeten zien.

Ze deden dit met 388 werknemers in twee verschillende oefeningen. Hier is wat er gebeurde, vertaald naar simpele beelden:

---

1. De "Gedwongen Dans" (Gedragsinterventie)

Het idee:
In de ene groep kregen teams een strikt script. Ze moesten:

1. Samen in een vergaderzaal zitten.
2. Hardop discussiëren over het probleem.
3. Die discussie opschrijven.
4. De robot pas gebruiken om het eindverslag te schrijven op basis van die notities.

De vergelijking:
Dit is alsof je twee mensen die een taart moeten bakken, dwingt om eerst een uur lang hardop te praten over de ingrediënten, alles op te schrijven in een notitieblok, en pas dan de oven aan te zetten. Ze mogen niet gewoon samenwerken zoals ze dat normaal doen.

Het resultaat:

• Minder taarten: Veel teams haalden de deadline niet. De strikte regels maakten het werk te traag en te ingewikkeld.
• Slechtere taarten: De taarten die wel werden afgeleverd, waren van mindere kwaliteit dan die van de groep die gewoon vrij mocht werken.
• De les: Soms is een te strakke danspas (protocol) juist hinderlijk. Als je mensen te veel regels geeft, blokkeer je hun creativiteit en snelheid. De robot werd hier gezien als een bureaucraat, niet als een helper.

---

2. De "Denkpartner Training" (Cognitieve intervententie)

Het idee:
In de andere groep kregen mensen een korte training. Ze leerden niet hoe ze op de knoppen moesten drukken, maar hoe ze tegen de robot moesten denken.
Ze leerden: "Zie de robot niet als een zoekmachine (waar je één vraag stelt en het antwoord krijgt), maar als een denkpartner (een slimme stagiair met wie je kunt discussiëren, fouten kunt maken en ideeën kunt verfijnen)."

De vergelijking:
Stel je voor dat je een nieuwe auto krijgt.

• De ene groep kreeg een handleiding met de regels: "Druk op knop A, dan op knop B."
• De andere groep kreeg een lesje: "Deze auto is een racewagen. Je moet met hem praten, hem uitdagen en samen met hem de weg verkennen."

Het resultaat:

• Topkwaliteit: Mensen die deze "denkpartner"-mentaliteit kregen, maakten vaker documenten van perfecte kwaliteit. Ze haalden de top van de ranglijst.
• Geen gemiddelde winst: Als je naar het gemiddelde van iedereen keek, was er geen groot verschil. Maar voor degenen die echt de top wilden bereiken, hielp de training enorm.
• De les: Als je mensen leert om de robot als een partner te zien in plaats van een gereedschap, kunnen ze beter gebruikmaken van wat de robot kan.

---

De "Valstrikken" in het experiment

Het onderzoek had een paar haken en ogen, net zoals bij elk groot experiment:

1. De Tijd van de Dag: De groep met de strikte regels deed hun oefening 's middags (wanneer mensen vaak moe zijn), en de andere groep 's ochtends. Misschien waren de middaggroepen gewoon moe en niet omdat de regels slecht waren. De onderzoekers denken echter dat de regels zelf het grootste probleem waren.
2. De Robot-jury: De documenten werden beoordeeld door een andere AI. Deze AI hield van lange teksten. De groep met de strikte regels schreef kortere teksten (omdat ze tijd verloren met de regels), en kreeg daardoor een lagere score. Het is mogelijk dat de inhoud goed was, maar dat de "robot-judge" te streng was op lengte.
3. De "Herstel"-effecten: De groep die de "denkpartner"-training kreeg, begon de tweede oefening met een iets negatiever gevoel (omdat de eerste oefening met de strenge regels zwaar was). Toen ze de training kregen, voelden ze zich weer beter. Het is mogelijk dat ze niet zozeer nieuwe dingen leerden, maar gewoon herstelden van de eerdere frustratie.

---

Wat betekent dit voor bedrijven? (De conclusie)

1. Geef geen strakke scripts: Als je teams dwingt om op een heel specifieke manier met AI te werken (bijvoorbeeld: eerst praten, dan typen, dan AI), kan dat averechts werken. Het vertraagt het werk en maakt het minder goed. Laat mensen vrij om hun eigen manier te vinden.
2. Verander de mindset: Het is belangrijker om mensen te leren hoe ze naar AI moeten kijken. Als je ze leert om AI als een slimme gesprekspartner te zien in plaats van een simpele zoekmachine, kunnen ze betere resultaten behalen.
3. Maatwerk is key: Er is geen "één groot recept" dat voor iedereen werkt. Het hangt af van de taak en de mensen.

Kortom: Geef mensen de vrijheid om te werken, maar leer ze wel hoe ze de robot als een slimme vriend moeten behandelen in plaats van als een domme machine.

Technische samenvatting

Titel: Scaffolding van Mens-AI Samenwerking: Een Veldexperiment over Gedragsprotocollen en Cognitieve Herformulering

Auteurs: Alex Farach, Alexia Cambon, Lev Tankelevitch, Connie Hsueh, Rebecca Janssen (Microsoft Corporation)
Datum: Maart 2026
Context: Veldexperiment bij Gap Inc. (Fortune 500 retailer)

---

1. Het Probleem

Hoewel generatieve AI-tools (zoals Microsoft Copilot) wijdverspreid zijn in organisaties, zijn de productiviteitswinsten ongelijk verdeeld. De studie stelt dat de bottleneck niet langer de toegang tot de technologie is, maar de integratie ervan in werkprocessen. Organisaties worstelen met de vraag hoe medewerkers AI effectief kunnen inzetten. Er is een gebrek aan empirisch bewijs over welke interventies (scaffolding) mensen helpen om AI beter te gebruiken, vooral in een context van samenwerking.

De auteurs onderscheiden twee benaderingen:

• Gedragsmatige scaffolding: Het opleggen van expliciete protocollen en structuren voor interactie met AI.
• Cognitieve scaffolding: Het herformuleren van de mentale modellen van gebruikers (van AI als "gereedschap" naar AI als "denkpartner").

2. Methodologie

Het onderzoek is een gerandomiseerd veldexperiment uitgevoerd bij 388 medewerkers van Gap Inc., georganiseerd in 194 paren.

Experimenteel Ontwerp:
Alle deelnemers hadden toegang tot Microsoft Copilot. De variatie zat in de structuur rondom het gebruik. Het experiment bestond uit twee taken die op één dag werden uitgevoerd:

• Taak A (Paarniveau - Gedragsinterventie):

  • Doel: Het maken van een "AI Adoption Action Plan" (één pagina).
  • Controle: Natuurlijk gebruik (paren werken zoals ze willen).
  • Behandeling: Een gestructureerd "Create-Out-Loud" protocol. Dit vereiste: (1) synchroon overleg via Teams, (2) mondelinge bespreking van de strategie, en (3) het expliciet prompten van Copilot op basis van het transscript om het document te schrijven.
  • Randomisatie: De behandeling werd uitgevoerd in de PM-sessie, de controle in de AM-sessie (een beperking die later als confounder wordt besproken).

• Taak B (Individueel niveau - Cognitieve interventie):

  • Doel: Het ontwikkelen van een strategische communicatie over AI-adoptie.
  • Controle: Standaard technische training over Copilot-functies.
  • Behandeling: "Partnership training" (gebaseerd op het "AI Mindset"-curriculum). Deze training richtte zich op het herformuleren van AI als een "denkpartner" (iteratief, dialogisch) in plaats van een zoekmachine.

Data-analyse en Metingen:

• Documentkwaliteit: Beoordeeld door een LLM (GPT-4o-mini) met gestructureerde rubrieken. Menselijke validatie werd uitgevoerd op een steekproef.
• Statistiek: OLS-regressie met robuuste standaardfouten (HC2 en CR2 voor clustering binnen paren). Intent-to-treat (ITT) analyse.
• Gevoeligheidsanalyses: Lee-bounds voor selectieve uitval, Oster-bounds voor ongemeten confounding (o.a. woordtelling), en analyse van sessie-effecten (AM vs. PM).

3. Belangrijkste Resultaten

A. Gedragsmatige Scaffolding (Taak A - Paarsamenwerking)

Het opleggen van een strikt synchroon protocol had een negatief effect op zowel de kwaliteit als de productie.

• Kwaliteit: Behandelde paren scoorden significant lager dan controlegroepen (gemiddeld verschil: -4.96 punten, $p < .001$). Dit effect bleef bestaan na correctie voor woordtelling, hoewel een deel van het verschil (33%) toegeschreven kon worden aan de gevoeligheid van de LLM-grader voor documentlengte (controle-paren schreven 63% langer).
• Productie: Behandelde paren waren aanzienlijk minder succesvol in het voltooien van de taak. De kans op het produceren van een document was 8,4 keer lager in de behandelingsgroep (OR = 0.12).
• Oorzaak: Het protocol introduceerde hoge coördinatiekosten (synchrone vergadering, transcriptie, sequentiële prompts) die de tijd en energie ten koste gingen van de inhoudelijke kwaliteit. Veel paren konden het protocol niet uitvoeren (37% "Stranded" of "Parallel Play").

B. Cognitieve Scaffolding (Taak B - Individueel gebruik)

De training om AI als "denkpartner" te zien toonde een positief effect op de top van de kwaliteitsverdeling, maar niet op het gemiddelde.

• Continue Kwaliteit: Er was geen significant verschil in de gemiddelde scores tussen behandeling en controle ($p = .223$). Dit werd veroorzaakt door een "ceiling effect": 68% van alle documenten behaalde de maximale score (20/20), waardoor de variatie voor statistische detectie ontbrak.
• Binair Model: Wanneer gekeken werd naar de kans op het bereiken van een perfecte score (20/20), was de behandeling significant positief (Odds Ratio = 2.07, $p = .022$). Behandelde deelnemers hadden een 15,2% hogere kans op een perfecte score.
• Geloofswijziging: De behandeling leidde tot een grotere toename in de overtuiging dat AI een "verkennings- en experimenteerhulpmiddel" is. Echter, de ANCOVA-analyse suggereert dat dit waarschijnlijk een herstel was van de negatieve stemming na Taak A (carry-over effect) en geen duurzame verandering door de training.

4. Kritische Beperkingen en Sensitiviteit

De auteurs benadrukken diverse methodologische uitdagingen die de interpretatie beïnvloeden:

1. AM/PM Confound: De behandeling vond plaats in de middag, de controle in de ochtend. Hoewel de auteurs berekenen dat vermoeidheid alleen niet het grote effect van Taak A kan verklaren, blijft dit een beperking.
2. Selectieve Uitval (Differential Attrition): De behandelingsgroep had een veel hogere uitval (niet-indienen van documenten). Lee-bounds bevestigen dat het negatieve effect van Taak A robuust is, maar het positieve effect van Taak B is minder robuust tegenover worst-case selectie.
3. LLM-Grading Bias: De LLM-grader had een sterke bias naar langere documenten (woordtelling). Hoewel de bias symmetrisch was tussen groepen, verstoort dit de absolute kwaliteitsmeting.
4. Compliance: Veel deelnemers in de behandelingsgroep konden het gestructureerde protocol niet uitvoeren, wat de ITT-schatting verlaagt.

5. Belangrijkheid en Implicaties

Theoretische Bijdrage:
De studie illustreert dat "scaffolding" niet altijd werkt en dat het type interventie cruciaal is.

• Gedragsprotocollen kunnen schadelijk zijn als ze coördinatiekosten introduceren die groter zijn dan de opbrengst van gedeelde kennis, vooral bij onbetrouwbare infrastructuur of complexe taken.
• Cognitieve herformulering kan helpen individuen om de grenzen van hun AI-gebruik te verleggen (naar de top van de kwaliteitsverdeling), maar vereist geen complexe infrastructuur.

Praktische Implicaties voor Organisaties:

1. Voorzichtigheid bij protocollen: Het verplichten van rigide, synchrone AI-werkstromen kan de productiviteit en outputkwaliteit verlagen. Organisaties moeten piloten uitvoeren voordat ze dergelijke protocollen breed invoeren.
2. Focus op mentale modellen: Training die de relatie met AI herdefinieert (van tool naar partner) kan effectiever zijn voor individuele prestaties dan het opleggen van structurele regels.
3. Meetproblematiek: De resultaten benadrukken dat de keuze van meetinstrumenten (bijv. LLM-graders gevoelig voor lengte, ceiling effects) de conclusies over AI-productiviteit sterk kan beïnvloeden.

Conclusie:
De studie weerlegt het idee dat meer structuur altijd leidt tot betere AI-integratie. In plaats daarvan suggereert het dat organisaties moeten balanceren tussen het bieden van mentale kaders (cognitief) en het vermijden van onnodige operationele frictie (gedragsmatig), afhankelijk van de specifieke taak en infrastructuur.