Believing vs. Achieving -- The Disconnect between Efficacy Beliefs and Collaborative Outcomes

Dit onderzoek toont aan dat hoewel overtuigingen over eigen en AI-competentie de besluitvorming bij samenwerking beïnvloeden, ze slechts beperkt de daadwerkelijke prestaties van mens-AI teams bepalen, wat nieuwe richtlijnen voor ontwerp vereist die verder gaan dan transparantie.

De kern

Geloof vs. Bereiken: Waarom we AI soms verkeerd inschatten

Stel je voor dat je een moeilijke puzzel moet oplossen. Je hebt een slimme robotassistent bij de hand die je kan helpen. Maar hier is de vraag: moet jij het zelf doen, of de robot laten doen?

Dit is precies wat onderzoekers Philipp Spitzer en Joshua Holstein hebben onderzocht. Ze keken niet alleen naar of de robot slim is, maar vooral naar wat jij denkt over je eigen slimheid en die van de robot. Hun conclusie is verrassend: wat we denken (onze overtuigingen) loopt vaak niet gelijk met wat er echt gebeurt (de resultaten).

Hier is het verhaal in simpele taal, met een paar leuke vergelijkingen.

1. De Twee Soorten "Geloof"

Voordat je begint met de puzzel, heb je twee soorten geloof in je hoofd:

• Algemeen geloof: "Ik ben over het algemeen slim" en "Die robot is over het algemeen slim." Dit is je vaste mening, gebaseerd op wat je eerder hebt gehoord of gezien.
• Momentopname-geloof: "Voor deze specifieke puzzelstukjes, denk ik dat ik het beter kan dan de robot." Dit is je inschatting op het exacte moment dat je kijkt naar de puzzel.

De onderzoekers ontdekten dat je algemene geloof fungeert als een anker. Net zoals een zwaar anker een boot op zijn plek houdt, houden je vaste overtuigingen je oordelen vast, zelfs als je nieuwe informatie krijgt.

2. De "AI-Optimisme" Valstrik

Het meest interessante was wat er gebeurde met de robot.

• Mensen hadden een gemiddelde mening over de robot (bijvoorbeeld: "Die is 70% goed").
• Maar toen ze naar een specifiek probleem keken, dachten ze plotseling: "Oh, voor deze vraag is de robot zeker 80% goed!"

Dit noemen de onderzoekers "AI-Optimisme". Het is alsof je naar een voorspelling van het weer kijkt en denkt: "Voor mijn verjaardag zal het zeker zonnig zijn," terwijl de algemene voorspelling voor de week regen aangeeft. We zijn te optimistisch over de robot in specifieke momenten.

De oplossing? Als je de robot alleen maar vertelt hoe goed hij is in het verleden (bijvoorbeeld: "Hij heeft 77% van de vragen goed beantwoord"), verdwijnt dit optimisme. Maar als je alleen uitlegt hoe de data werkt, blijft het optimisme hangen.

3. De Grootvader-Regel (Zelfvertrouwen)

Terwijl we onze mening over de robot kunnen aanpassen, is dat heel lastig met onze mening over onszelf.

• Als iemand denkt: "Ik ben een goede puzzelaar," dan blijft hij dat denken, zelfs als hij ziet dat hij op dat moment een fout maakt.
• Dit is als een grootvader die denkt dat hij nog steeds net zo snel kan rennen als toen hij 20 was. Geen hoeveelheid informatie over zijn huidige conditie kan die overtuiging volledig wegnemen. Mensen verdedigen hun eigen ego.

4. Meer Informatie = Meer Chaos?

Je zou denken: "Als we mensen meer informatie geven over de robot en de data, maken ze betere keuzes."
Nee, niet altijd.

De onderzoekers ontdekten een vreemd effect:

• Meer informatie maakte de keuzes van de mensen sneller en heviger, maar niet beter.
• Het was alsof je iemand een superkrachtige bril gaf. Ze zagen de details scherper, maar ze renden daardoor ook sneller de verkeerde kant op.
• Mensen vertrouwden de robot vaker als ze dachten dat hij slim was, en hielden het vaker zelf over als ze dachten dat ze slim waren. Maar dit leidde niet tot een betere einduitslag.

De Grote Les: Vertrouwen is niet hetzelfde als Winnen

De grootste ontdekking is dit: Wat mensen doen, is niet altijd wat ze zouden moeten doen om te winnen.

Stel je een voetbalteam voor. De trainer (de mens) denkt: "Ik denk dat ik de bal beter kan schieten dan de spits (de AI)." Dus hij schiet zelf. Maar de spits had de bal net zo goed kunnen scoren. Door te vertrouwen op zijn eigen gevoel (het anker), mist het team de kans op een doelpunt.

Wat betekent dit voor de toekomst?

De onderzoekers zeggen dat we stoppen met alleen maar "transparantie" te geven (alleen maar uitleggen hoe de AI werkt). Dat werkt niet genoeg. In plaats daarvan moeten we:

1. Spiegels neerzetten: Laat mensen zien dat ze vaak te optimistisch zijn over de AI in specifieke momenten.
2. Onderzoek naar de basis: Werk aan de vaste overtuigingen van mensen voordat ze beginnen, niet alleen tijdens het werk.
3. Scheiding maken: Geef informatie om iets te begrijpen (kalibratie), maar geef aparte, simpele hulpmiddelen om een keuze te maken (beslissing).

Kortom: We zijn vaak te zeker van onszelf en te optimistisch over robots. Meer informatie helpt niet altijd om dit te fixen; soms maakt het de verwarring alleen maar groter. De kunst is om te leren wanneer je echt moet luisteren naar je gevoel en wanneer je moet luisteren naar de data.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het onderzoekspaper "Believing vs. Achieving — The Disconnect between Efficacy Beliefs and Collaborative Outcomes" van Spitzer en Holstein, in het Nederlands.

Probleemstelling

Terwijl kunstmatige intelligentie (AI) steeds vaker wordt geïntegreerd in workflows, moeten mensen continu beslissen of ze op hun eigen beoordeling vertrouwen of op het advies van de AI. Bestaand onderzoek richt zich vaak op factoren zoals vertrouwen en betrouwbaarheid, maar er is weinig inzicht in de rol van efficacy-beliefs (verwachtingen over eigen en AI-competentie).

Het centrale probleem is de disconnectie tussen:

1. Algemene efficacy-beliefs: Stabiele overtuigingen over eigen vaardigheden (zelf-efficacy) en AI-competentie (AI-efficacy) die voor de taak worden gevormd.
2. Instance-wise oordelen: Dynamische beoordelingen van specifieke taakinstanties tijdens de uitvoering.

De auteurs onderzoeken of deze algemene overtuigingen fungeren als cognitieve "ankers" die instance-wise oordelen vertekenen, en hoe contextuele informatie (zoals data-distributie of AI-prestaties) dit proces beïnvloedt. Er is een risico dat mensen, ondanks transparantie, systematisch verkeerde delegatiebeslissingen nemen die niet leiden tot betere teamprestaties.

Methodologie

De auteurs voerden een gecontroleerd gedragsexperiment uit met N=240 deelnemers (via Prolific.co) in een tussen-proefpersonen (between-subjects) ontwerp.

• Taak: Een inkomensclassificatie-taak (bepalen of iemand >$50.000 verdient) op basis van een dataset (American Community Survey). De AI was een beslissingsboom met een nauwkeurigheid van 77%.
• Proces:
  1. Pre-task: Deelnemers gaven een inschatting van hun algemene zelf-efficacy en algemene AI-efficacy.
  2. Behandelingen (Contextuele Informatie): Deelnemers werden willekeurig ingedeeld in vier groepen:
     • Controle: Geen extra informatie.
     • Data: Informatie over de verdeling van kenmerken in de dataset.
     • AI: Informatie over de prestaties van de AI over verschillende kenmerken.
     • Gecombineerd: Beide soorten informatie.
  3. Delegatiefase: Voor 12 willekeurige instanties moesten deelnemers oordelen over hun eigen en de AI's geschiktheid voor dat specifieke geval, en vervolgens beslissen of ze de taak zelf deden of aan de AI delegeerden.
  4. Post-task: Deelnemers losten alle instanties zelf op om een baseline voor menselijke prestatie te krijgen.
• Analyse: De studie mat de discrepantie tussen algemene overtuigingen en instance-wise oordelen, en analyseerde hoe deze discrepanties de delegatiebeslissingen en de uiteindelijke teamprestaties beïnvloedden via mixed-effects regressiemodellen.

Belangrijkste Resultaten

1. Asymmetrische Anker-effecten:

   • Zelf-efficacy: Algemene overtuigingen over eigen vaardigheden fungeerden als stabiele cognitieve ankers. Instance-wise oordelen over zichzelf correleerden sterk met de algemene overtuigingen en waren niet significant beïnvloed door contextuele informatie. Mensen waren consistent in hun zelfinschatting.
   • AI-efficacy: Er werd een systematische "AI-optimisme" bias waargenomen. Deelnemers schatten de AI vaak beter in voor specifieke instanties dan hun algemene overtuiging suggereerde. Alleen informatie over de AI-prestaties (AI-treatment) kon deze bias volledig elimineren; data-informatie verminderde deze slechts licht.

2. Asymmetrische Versterking door Context:

   • Contextuele informatie versterkte de relatie tussen discrepanties en gedrag, maar op verschillende manieren:
     • Data- en AI-informatie versterkten het effect van zelf-efficacy discrepanties op het behoud van controle (mensen hielden de taak vaker zelf als ze zich voor een specifieke instantie beter voelden dan gemiddeld).
     • Alle informatie-types versterkten het effect van AI-efficacy discrepanties op delegatie (mensen delegeerden vaker als ze de AI voor een specifieke instantie beter vonden dan gemiddeld).

3. De Disconnectie tussen Gedrag en Prestatie:

   • Hoewel discrepanties in efficacy een groot effect hadden op delegatiegedrag, hadden ze een veel zwakker (vaak niet-significant) effect op de teamprestaties.
   • Mensen pasten hun strategieën aan op basis van hun intuïtieve oordelen, maar deze aangepaste strategieën leidden niet noodzakelijkerwijs tot betere resultaten. Dit suggereert dat de cognitieve processen die delegatie sturen, slecht gekalibreerd zijn ten opzichte van wat daadwerkelijk werkt.

Kernbijdragen

1. Conceptueel Kader: De studie introduceert een nieuw onderzoeksontwerp dat theorieën uit de gedragswetenschappen (efficacy-theorie) koppelt aan mens-AI-samenwerking, specifiek door het onderscheid te maken tussen pre-task overtuigingen en instance-wise oordelen.
2. Ontdekking van "AI-Optimisme": Het paper identificeert een systematische bias waarbij mensen AI voor specifieke gevallen optimistischer inschatten dan voor het algemeen geval, zelfs wanneer ze overige informatie hebben.
3. Uitdaging voor Transparantie: De bevindingen challenge het idee dat meer transparantie (contextuele informatie) automatisch leidt tot betere samenwerking. Transparantie kan gedrag versterken zonder de uitkomsten te verbeteren.

Significantie en Designrichtlijnen

De studie heeft grote implicaties voor Human-Computer Interaction (HCI) en AI-design:

• Van Transparantie naar Beliefs: Designers moeten niet alleen focussen op het transparant maken van individuele beslissingen, maar ook werken aan het recalibreren van de onderliggende algemene overtuigingen (zowel zelf- als AI-efficacy) voordat de taak begint.
• Zichtbaarheid van Bias: Systemen moeten mensen helpen hun neiging om te "ankeren" op initiële zelfinschattingen te herkennen.
• Ontmaskering van Optimisme: Interfaces moeten patronen van AI-optimisme blootleggen (wanneer de inschatting voor een specifiek geval systematisch afwijkt van de werkelijke prestatie).
• Scheiding van Kalibratie en Besluitvorming: Er moet onderscheid worden gemaakt tussen informatie voor begrip (kalibratie van overtuigingen) en informatie voor actie (beslissingshulp). Rijke contextuele informatie kan gedrag volatiel maken zonder de prestaties te verbeteren.

Conclusie:
De auteurs concluderen dat er een fundamentele kloof bestaat tussen wat mensen denken dat ze moeten doen (gebaseerd op hun efficacy-overtuigingen) en wat ze moeten doen om de beste teamresultaten te behalen. Effectieve AI-systemen moeten niet alleen transparant zijn, maar actief gebruikers begeleiden bij het kalibreren van hun vertrouwen en het doorbreken van cognitieve ankers die leiden tot suboptimale samenwerking.