💻 computer science

Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales

Dit artikel introduceert en valideert twee nieuwe schalen, de Perceived Cooperativity Scale (PCS) en de Teaming Perception Scale (TPS), die door middel van drie empirische studies effectief de subjectieve kwaliteit van mens-AI teamwork in diverse contexten meten.

Oorspronkelijke auteurs: Christiane Attig, Christiane Wiebel-Herboth, Patricia Wollstadt, Tim Schrills, Mourad Zoubir, Thomas Franke

Gepubliceerd 2026-04-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christiane Attig, Christiane Wiebel-Herboth, Patricia Wollstadt, Tim Schrills, Mourad Zoubir, Thomas Franke

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een taart te bakken met een nieuwe, high-tech robotassistent. Soms is de robot geweldig: hij weet precies wanneer hij moet mengen, vertelt je of de oven te heet is, en je hebt het gevoel dat je een perfect bakteam vormt. Op andere momenten is de robot verwarrend: hij verbrandt het beslag, negeert je instructies of doet alsof hij geen idee heeft wat hij doet.

Dit artikel gaat over het creëren van twee speciale "rapporten" (zogenaamde schalen) om precies te meten hoe goed die bakpartnerschap voelt, vanuit jouw perspectief. De onderzoekers, die samenwerkten met Honda en de Universiteit van Lübeck, wilden voorbij gaan aan het simpele vragen: "Vind je deze robot leuk?" en in plaats daarvan vragen: "Hoe goed hebben we eigenlijk samengewerkt?"

Hier is een uiteenzetting van hun werk met behulp van eenvoudige analogieën:

De twee rapporten

De onderzoekers beseften dat samenwerken met AI op twee verschillende manieren gebeurt, dus bouwden ze twee verschillende meetinstrumenten:

1. Het "Enkel Moment" rapport (Waargenomen Cooperativiteit Schaal - PCS)

Wat het meet: Hoe goed de AI gedurende één specifieke taak heeft gehandeld.
De Analogie: Denk hierbij aan het beoordelen van één enkele dansbeweging. Heeft je partner duidelijk geleid? Heeft hij je leiding gevolgd? Zijn ze alleen voor dit ene nummer in ritme gebleven?
De Theorie: Het is gebaseerd op "Gemeenschappelijke Activiteit Theorie". Het controleert of de AI transparant was (je wist waar hij mee bezig was), betrouwbaar (hij deed wat hij zei) en responsief (hij luisterde naar je).
Het Resultaat: Ze testten dit op 409 personen in drie verschillende scenario's: het spelen van een coöperatief kaartspel, chatten met een tekstbot en het gebruik van een routeplanner in een auto. De kaart werkte uitstekend! Hij kon duidelijk het verschil aangeven tussen een menselijke partner (die hoge scores kreeg), een slimme maar voorspelbare regelgebaseerde robot (gemiddelde scores) en een robot die door trial-and-error leerde en in de war raakte (lage scores).

2. Het "Lange Termijn Team" rapport (Teamperceptie Schaal - TPS)

Wat het meet: Het gevoel dat jij en de AI in de loop van de tijd een echt team zijn geworden.
De Analogie: Dit gaat niet alleen over één dansbeweging; het gaat erom of je het gevoel hebt dat je deel uitmaakt van een dansgroep. Voel je dat jullie beiden inspanning leveren? Voel je dat jullie een gemeenschappelijk doel delen? Voel je dat de robot een "teamgenoot" is in plaats van slechts een hulpmiddel?
De Theorie: Het is gebaseerd op "Evolutionaire Cooperatie Theorie". Het kijkt of beide partijen een "kost" (inspanning) betalen om de ander te helpen slagen.
Het Resultaat: Deze schaal heeft drie onderdelen:
- Het Team: "Wij zijn een eenheid."
- De Partner: "Jij helpt mij."
- Het Zelf: "Ik help jou."
- De Twist: Het "Zelf"-deel was lastig. Mensen neigden om zichzelf hoge scores te geven, ongeacht hoe slecht de robot was. Het is als een student die denkt: "Ik heb hard gestudeerd!" zelfs als ze eigenlijk niet hebben gestudeerd. De onderzoekers ontdekten dat dit deel van de schaal gevoelig is voor de situatie; het werkt beter wanneer mensen meer vrijheid hebben om te kiezen hoe hard ze werken.

Hoe ze het testten (De drie studies)

Om ervoor te zorgen dat hun rapporten accuraat waren, gebruikten ze drie verschillende "trainingsvelden":

Het Kaartspel (Hanabi): Stel je een spel voor waarbij je je eigen kaarten niet kunt zien en moet vertrouwen op hints van je partner.
- De Test: Mensen speelden met een mens, een robot die strikte regels volgde, en een robot die zelf leerde.
- De Bevinding: De rapporten slaagden erin ze te rangschikken: Mens > Regelgebaseerde Robot > Lerende Robot. De lerende robot was vaak verwarrend, dus mensen hadden het gevoel dat ze niet goed samenwerkten.
De Chatbot (LLM): Mensen gebruikten een tekstbot om artikelen te controleren op feiten.
- De Test: Ze gebruikten bots die behulpzaam waren, bots die behulpzaam waren maar ongewenste wijzigingen toevoegden, en bots die faalden.
- De Bevinding: De schalen pikten de verschillen op in hoe "coöperatief" de bots voelden.
De Auto Routeplanner: Mensen gebruikten een Tesla routeplanner om laadstations te vinden.
- De Test: Dit was een "grensgeval". De auto is niet echt een "teamgenoot"; het is gewoon een hulpmiddel.
- De Bevinding: Het "Enkel Moment" rapport (PCS) werkte hier nog steeds prima. Het "Lange Termijn Team" rapport (TPS) werd echter niet gebruikt, omdat een auto routeplanner niet echt een "geest" of "doelen" heeft om mee samen te werken. Je kunt je niet echt een team voelen met een GPS.

Wat ze leerden (De kernpunten)

Het "Enkel Moment" rapport is rotsvast. Het is een zeer betrouwbare manier om te meten hoe goed een AI handelt tijdens een specifieke taak. Het werkt voor alles, van chatbots tot spelbots.
Het "Team" rapport is krachtig maar vereist voorzichtigheid. Het meet het diepe gevoel van partnerschap. Echter, het deel waar mensen hun eigen bijdrage beoordelen, is wat bevooroordeeld. Mensen neigen te denken dat ze geweldige teamgenoten zijn, zelfs als de AI verschrikkelijk is. Dit suggereert dat in rigide situaties (zoals een kaartspel waarbij je moet samenwerken), de zelfbeoordelingen van mensen niet veel veranderen.
Context is belangrijk. Als je gewoon een hulpmiddel gebruikt (zoals een rekenmachine of een GPS), is het "Team"-gevoel niet echt van toepassing. Maar als je werkt aan een complex project waarbij jij en de AI op elkaar moeten vertrouwen, vertellen deze schalen je of die partnerschap werkt.

Waarom dit belangrijk is

Voorheen hadden we vooral tools om te vragen: "Vertrouw je AI?" of "Is deze AI slim?" Dit artikel geeft ons een manier om te vragen: "Hoe goed werken we op dit moment samen?" en "Voelen we ons als een team?"

Dit helpt ontwerpers om betere AI te bouwen. Als een robot lage scores krijgt op "voorspelbaarheid", weten ontwerpers dat ze de acties van de robot duidelijker moeten maken. Als de "Team"-score laag is, weten ze dat de robot meer ondersteuning en gedeelde doelen moet tonen.

Kortom: De onderzoekers bouwden twee linialen. De ene meet hoe goed een robot dansen in één enkel nummer. De andere meet of je het gevoel hebt dat jij en de robot samen in een dansgroep zitten. Ze testten deze linialen op 409 personen en ontdekte dat ze goed werken, hoewel de "dansgroep"-liniaal voorzichtig moet worden gebruikt, afhankelijk van hoeveel vrijheid de mens heeft om te bewegen.

1. Probleemstelling

Naarmate Kunstmatige Intelligentie (KI) steeds meer geïntegreerd raakt in het dagelijks leven en hybride werkomgevingen, is er een kritieke behoefte aan betrouwbare instrumenten om de subjectieve kwaliteit van mens-KI-samenwerking te beoordelen. Hoewel bestaande schalen algemene attitudes ten opzichte van KI of KI-geletterdheid meten, slagen ze er niet in om de specifieke, procesgerichte dynamiek van coöperatieve interacties vast te leggen.

De auteurs identificeren een lacune in het meten van twee distincte dimensies van mens-KI-integratie:

Synchrone Integratie: De mate van onderlinge afhankelijkheid binnen een enkele taaksequentie (bijvoorbeeld een specifieke interactie).
Diachrone Integratie: De continuïteit en stabiliteit van samenwerking over herhaalde interacties gedurende de tijd (bijvoorbeeld langetermijnpartnerschappen).

Huidige instrumenten differentiëren onvoldoende tussen de perceptie van de coöperatieve capaciteit van een agent in één enkel moment en het emergente gevoel van "teamvorming" dat zich in de loop van de tijd ontwikkelt. Bovendien ontbreken gevalideerde instrumenten die een directe vergelijking mogelijk maken tussen mens-mens en mens-KI-samenwerking.

2. Methodologie

Theoretisch Kader

De studie introduceert twee theoretisch onderbouwde schalen:

Perceived Cooperativity Scale (PCS): Gebaseerd op Joint Activity Theory. Het meet de waargenomen capaciteit en praktijk van een agent binnen een enkele interactiesequentie. Het operationaliseert acht kenmerken van effectieve agenten: waarneembaarheid, monitorbaarheid, communicativiteit, zelfevaluatie, betrouwbaarheid, directeerbaarheid, selectiviteit en coördinatie.
Teaming Perception Scale (TPS): Gebaseerd op Evolutionary Cooperation Theory en gedeelde actie-kaders. Het meet het emergente gevoel van teamvorming dat voortkomt uit wederzijdse bijdrage en ondersteuning. Het wordt geconceptualiseerd als bestaande uit drie facetten:
- Team: Het emergente gevoel van de groep als geheel.
- Zelf: De coöperatieve inzet en ondersteuning van de mens zelf.
- Partner: De perceptie van de mens over de ondersteuning en bijdragen van de KI.

Schaalconstructie

Itemgeneratie: Initiële itempools werden afgeleid van theoretische constructen. Items werden geformuleerd in toegankelijke taal (bijvoorbeeld "Ik had het gevoel dat...") om een intuïtieve respons te waarborgen.
Aanpassing: Beide schalen werden ontwikkeld met parallelle versies voor KI-partners (PCS-A, TPS-A) en menselijke partners (PCS-H, TPS-H) om cross-agent vergelijkingen mogelijk te maken.
Vertaling: Rigoureuze vertaal- en terugvertalprocedures werden gebruikt om linguïstische equivalentie tussen de Duitse en Engelse versies te waarborgen.

Studiedesign en Steekproeven

De schalen werden gevalideerd in drie onafhankelijke studies met in totaal N = 409 deelnemers met diverse demografieën en contexten:

Studie 1 (Hanabi Kaartspel): Een coöperatief spel met hoge onderlinge afhankelijkheid. Deelnemers speelden met een menselijke partner, een op regels gebaseerde KI-agent (RB) en een reinforcement learning KI-agent (RL). Dit testte het vermogen van de schalen om te differentiëren tussen partners met verschillende niveaus van coöperatieve transparantie en voorspelbaarheid.
Studie 2 (LLM-interactie): Deelnemers controleerden artikelen op feiten met vier versies van een LLM-chatbot met verschillende gradaties van autonomie en doeluitlijning (Focused, Augmented, Conflicted, Failed). Dit testte de gevoeligheid voor verschillende coöperatieve kwaliteiten in een context met lagere onderlinge afhankelijkheid.
Studie 3 (Tesla Trip Planner): Een interactie uit de echte wereld met een beslissingsondersteunend systeem (lage agentie). Dit diende als grensgeval om de toepasbaarheid van de PCS te testen in contexten waar de "partner" een hulpmiddel is in plaats van een agent.

Psychometrische Analyse

De auteurs hanteerden standaard procedures voor schalevaluatie:

Dimensionaliteit: Exploratory Factor Analysis (EFA) en Confirmatory Factor Analysis (CFA) om de factorstructuur te bepalen.
Betrouwbaarheid: Cronbach's $\alpha$ en McDonald's $\omega$ .
Validiteit: Discriminante validiteit (correlaties met SIPA, vertrouwen, warmte, competentie, acceptatie) en criteriumvaliditeit (vermogen om te differentiëren tussen partner-types).

3. Belangrijkste Bijdragen

Ontwikkeling van twee nieuwe schalen: De creatie van de PCS (14 items na verfijning) en TPS (9 items, 3 subschalen), specifiek ontworpen voor mens-KI-teamwerk.
Theoretische onderbouwing: De schalen zijn expliciet gekoppeld aan Joint Activity Theory (synchroon) en Evolutionary Cooperation Theory (diachroon), waardoor een robuuste theoretische basis voor toekomstig onderzoek wordt geboden.
Cross-agent vergelijkbaarheid: De opname van versies voor menselijke partners stelt onderzoekers in staat om KI-prestaties direct te benchmarken tegen menselijke prestaties met behulp van identieke metrieken.
Empirische validatie: Omvattende validatie in drie distincte contexten (gamen, LLM-chat, navigatie in de echte wereld) en diverse populaties (studenten, Prolific-werknemers, EV-bestuurders).

4. Resultaten

Dimensionaliteit en Itemanalyse

PCS: CFA en EFA ondersteunden een unidimensionale structuur. Item PCS14 ("Ik had het gevoel dat de persoon/agent in staat was om te realiseren dat we verschillende benaderingen hadden...") toonde een slechte discriminatie en lage betrouwbaarheidsbeoordelingen in alle contexten en werd uitgesloten, wat resulteerde in een definitieve schaal van 14 items.
TPS: Hoewel de EFA-resultaten gemengd waren, behielden de auteurs een theoretische drie-factorstructuur (Team, Zelf, Partner).
- De Team- en Partner-subschalen toonden sterke interne consistentie en goede itemdiscriminatie.
- De Zelf-subschaal toonde slechte tot twijfelachtige betrouwbaarheid (vooral in de spelcontext) en lage itemdiscriminatie. Analyse suggereert dat deze subschaal een stabiele, positief bevooroordeelde zelfevaluatie kan vangen in plaats van interactiespecifieke dynamiek, met name wanneer taakstructuren de gedragsvariatie beperken.

Betrouwbaarheid

PCS: Toonde uitstekende interne consistentie ( $\alpha \approx .93$ ) in alle steekproeven en contexten.
TPS: De samengestelde schaal en de Team/Partner-subschalen toonden goede tot uitstekende betrouwbaarheid ( $\alpha \approx .88 - .96$ ). De betrouwbaarheid van de Zelf-subschaal verbeterde in niet-spelcontexten (LLM-studie) waar deelnemers meer agentie hadden.

Validiteit

Constructvaliditeit: Beide schalen toonden de verwachte positieve correlaties met waargenomen competentie, systeemvertrouwen en subjectief bewustzijn van informatieverwerking (SIPA).
Differentiatie (Criteriumvaliditeit): Beide schalen slaagden erin om te differentiëren tussen samenwerkingspartners van verschillende kwaliteit:
- Ordening: Menselijke Partner > Op regels gebaseerde KI > Reinforcement Learning KI (Studie 1); Uitgelijnde LLM > Niet-uitgelijnde/Geklapte LLM (Studie 2).
- Effectgroottes: Er werden grote effectgroottes gevonden voor de verschillen tussen partner-types, wat de gevoeligheid van de schalen voor coöperatieve kwaliteit bevestigt.
- Grenzgeval: In Studie 3 (Tesla Trip Planner) bleef de PCS betekenisvol, zelfs met een systeem met lage agentie, hoewel de TPS niet werd toegediend omdat de voorwaarden voor "teamvorming" niet werden vervuld.

5. Betekenis en Implicaties

Diagnostisch hulpmiddel voor KI-ontwerp: De PCS-items corresponderen direct met specifieke coöperatieve capaciteiten (bijvoorbeeld waarneembaarheid, betrouwbaarheid). Lage scores op specifieke items kunnen ontwerpers actiegericht feedback geven over welke agent-gedragingen verbetering behoeven.
Differentiatie tussen "Hulpmiddel" en "Teamgenoot": De schalen helpen onderscheid te maken tussen interacties waarbij de KI slechts een hulpmiddel is (goed gemeten door PCS) versus interacties waarbij een echt gevoel van teamvorming ontstaat (gemeten door TPS).
Richtlijnen voor onderzoekers: Het artikel biedt specifieke aanbevelingen voor het gebruik van de schalen, waaronder:
- Het beoordelen van de mate van synchrone/diachrone integratie voordat een schaal wordt gekozen.
- Het toedienen van schalen direct na interactie-episoden in plaats van retrospectief.
- Het interpreteren van de TPS "Zelf"-subschaal met voorzichtigheid vanwege een mogelijke positieve bias.
Fundering voor toekomstig onderzoek: De schalen maken een rigoureuze empirische investigatie mogelijk naar hybride teamdynamiek, trust-calibratie en de langetermijnevolutie van mens-KI-partnerschappen.

Conclusie: De studie valideert succesvol de Perceived Cooperativity Scale en Teaming Perception Scale als robuuste, theoretisch onderbouwde instrumenten. Ze vullen een kritieke lacune in het onderzoek naar mens-KI-interactie door betrouwbare metrieken te bieden om de subjectieve kwaliteit van samenwerking te evalueren, toepasbaar in diverse contexten en in staat om te differentiëren tussen verschillende niveaus van KI-coöperatieve prestaties.