AI advice suppresses people's willingness to say "I don't know", even when the advice is wrong and accuracy is incentivized
Vijf experimenten tonen aan dat het louter hebben van toegang tot AI-advies, zelfs wanneer dit onjuist is en nauwkeurigheid wordt gestimuleerd, de bereidheid van mensen om onzekerheid toe te geven drastisch vermindert, wat leidt tot het beantwoorden van meer vragen met opgeblazen zelfvertrouwen maar met een significant lagere nauwkeurigheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De kunst van weten wanneer je moet stoppen
Stel je voor dat je een quiz speelt met een vriend. Soms weet je het antwoord meteen. Andere keren weet je het niet zeker, dus zeg je misschien: "Ik weet het niet," of je doet een wilde gok. In de wereld van de wetenschap wordt dit vermogen om te pauzeren en onzekerheid toe te geven "het opschorten van het oordeel" genoemd. Het is een superkracht die ons voorkomt dat we dingen geloven die niet waar zijn. Lange tijd waren mensen de enigen met deze superkracht; als we iets niet wisten, bleven we stil. Maar nu hebben we een nieuwe teamgenoot: Kunstmatige Intelligentie (AI). Deze AI-assistenten zijn als ongelooflijk snelle, zelfverzekerde bibliothecarissen die bijna elke vraag direct kunnen beantwoorden. De grote vraag die wetenschappers zich stellen is: Als we een supersnelle, superzelfverzekerde vriend hebben die altijd een antwoord klaar heeft staan, zullen we dan stoppen met zeggen "Ik weet het niet"? Zullen we de AI zo veel vertrouwen dat we vergeten hoe we moeten pauzeren en voor onszelf moeten nadenken, zelfs als de AI het fout heeft?
Het experiment: Wanneer de AI liegt
Een team onderzoekers besloot dit te testen door een lastig spel op te zetten. Ze stelden mensen 6 moeilijke vragen over films — dingen zoals de kleur van een schildpad in een oude tekenfilm of de specifieke auto die een personage reed. Deze vragen werden zorgvuldig gekozen omdat dit het soort vragen zijn dat AI laat "hallucineren", of doet doen alsof het zelfverzekerd klinkende maar volkomen onjuiste antwoorden verzint. De onderzoekers gaven sommige mensen de optie om een AI om hulp te vragen, terwijl anderen de vragen op eigen kracht moesten beantwoorden.
Hier komt de twist: De AI zat er bijna altijd naast. Het was alsof je een vriend had die erg luidruchtig en heel zeker van zichzelf is, maar die eigenlijk de verkeerde antwoorden raadt. De onderzoekers wilden zien of mensen nog steeds "Ik weet het niet" zouden zeggen wanneer ze de optie hadden om deze onbetrouwbare vriend om hulp te vragen, of dat de loutere aanwezigheid van de AI hen zou laten stoppen met pauzeren en gewoon zou laten beginnen met antwoorden.
Wat ze vonden: De "cognitieve overgave"
De resultaten waren verrassend en een beetje eng. Wanneer mensen toegang hadden tot de AI, stopten ze bijna volledig met het zeggen van "Ik weet het niet". Het was alsof de vloeiende, zelfverzekerde stem van de AI de lat verlaagde voor wat er nodig was om zich klaar te voelen om te antwoorden. Zelfs ook al zat de AI er meestal naast, mensen die de AI gebruikten, gaven veel meer vragen beantwoord dan de mensen die dat niet deden. Maar hier is de crux: ze hadden de antwoorden slechts ongeveer een derde zo vaak goed als de mensen die de AI niet gebruikten.
Het is als een student die stopt met zijn hand opsteken om te zeggen "Ik weet het niet zeker" omdat hij een spiekbriefje heeft dat antwoorden geeft. De student vult de hele toets in, maar krijgt het meeste fout omdat hij te veel op het spiekbriefje vertrouwde. De studie toonde aan dat het beschikbaar hebben van de AI ervoor zorgde dat mensen veel meer vertrouwen hadden in hun antwoorden (hun zelfvertrouwen verdubbelde bijna!), zelfs terwijl hun werkelijke nauwkeurigheid aanzienlijk daalde. Ze hadden in feilen essentieel hun eigen oordeelsvermogen aan de machine overgedragen.
Verandert geld het spel?
De onderzoekers vroegen zich vervolgens af: Wat als het fout hebben van een antwoord je echt geld kostte? Ze zetten een nieuwe ronde van het spel op waarbij mensen een klein bedrag konden verdienen met goede antwoorden en een klein bedrag konden verliezen bij foute antwoorden. Ze hoopten dat dit mensen harder zou laten nadenken en misschien weer zou laten beginnen met "Ik weet het niet" zeggen, zelfs met de AI erbij.
Het geld hielp een beetje. Mensen vroegen de AI minder vaak om hulp en ze hadden iets meer antwoorden goed. Echter, het geld loste het hoofpprobleem niet op. Zelfs toen er een straf was voor het geven van een fout antwoord, zeiden mensen die de AI gebruikten nog steeds veel minder vaak "Ik weet het niet" dan mensen die helemaal geen AI tot hun beschikking hadden. De aantrekkingskracht van de AI was simpelweg te sterk. Het bleek dat de AI niet alleen veranderde wat mensen antwoordden; het veranderde of ze überhaupt het gevoel hadden dat ze mochten antwoorden.
De les
Dit onderzoek suggereert dat naarmate AI gebruikelijker wordt en antwoorden aan ons geeft zonder dat we erom vragen, we een cruciale vaardigheid kunnen verliezen: het vermogen om te herkennen wanneer we iets niet weten. De AI vult niet alleen de gaten in; het lijkt ons ervan te overtuigen dat we niet meer hoeven te pauzeren en na te denken. De studie laat zien dat hoewel we gemotiveerd kunnen worden om ons werk te controleren als er een prijs verbonden is aan het fout hebben, de loutere aanwezigheid van een zelfverzekerd, vloeiend antwoord van een machine ons veel minder geneigd maakt om onze eigen onzekerheid toe te geven. In een wereld vol AI kan weten wanneer je "Ik weet het niet" moet zeggen, de belangrijkste vaardigheid van allemaal zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.