The social psychology of AI agents
Deze studie onthult dat hoewel grote taalmodellen consistente en sociaal wenselijke zelfgerapporteerde persoonlijkheden vertonen, hun werkelijke geobserveerde sociale gedragingen aanzienlijk variëren tussen modellen en niet worden voorspeld door zelfrapportages, wat suggereert dat gedragsbeoordelingen essentieel zijn voor het selecteren van AI-agenten voor sociale interacties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille hoekjes van de moderne wetenschap vindt een nieuw soort sociaal experiment plaats, niet in een park of een klaslokaal, maar binnen de digitale geesten van kunstmatige intelligentie. Jarenlang hebben onderzoekers geprobeerd te begrijpen hoe deze computerprogramma's denken door ze directe vragen te stellen, vergelijkbaar met hoe een psycholoog een persoon zou kunnen vragen een persoonlijkheidsenquête in te vullen. Deze aanpak rust op het idee dat als een AI zegt dat hij vriendelijk, eerlijk of geduldig is, hij waarschijnlijk ook zo handelt. Echter, een groeiend aantal wetenschappers vermoedt dat deze digitale wezens ons wellicht vertellen wat ze denken dat we willen horen, in plaats van te onthullen hoe ze werkelijk handelen wanneer ze voor echte keuzes staan. Nu deze programma's complexere rollen beginnen op te pakken, zoals het onderhandelen over contracten, het beheren van toeleveringsketens of zelfs het samenwerken met artsen, wordt het begrijpen van hun werkelijke sociale gedrag cruciaal. De vraag gaat niet langer alleen over wat een AI beweert te zijn, maar over wat hij daadwerkelijk doet wanneer hij met anderen interacteert.
Een team van onderzoekers uit Duitsland en Canada ging onlangs op zoek naar de bevestiging van dit idee door kunstmatige intelligentie te behanden als een groep nieuwe buren. Ze verzamelden zesenddertig verschillende grote taalmodellen, de geavanceerde softwaremotoren die moderne chatbots en agenten aandrijven, en onderwierpen hen aan een reeks sociale tests. In plaats van de modellen simpelweg te vragen hun persoonlijkheden te beschrijven, plaatsten de onderzoekers hen in zeven verschillende scenario's die bekendstaan als sociale spellen. Deze spellen zijn standaardinstrumenten die psychologen gebruiken om te meten hoe mensen zich gedragen in situaties die draaien om vertrouwen, eerlijkheid en samenwerking. In één scenario kreeg een model een som virtueel geld en werd gevraagd te beslissen hoeveel het zou delen met een passieve partner die het aanbod niet kon afwijzen. In een ander scenario moesten twee modellen beslissen of ze samenwerkten of elkaar zouden verraden voor een betere individuele beloning, een situatie die over meerdere ronden werd herhaald om te zien of ze leerden op elkaar te vertrouwen. De onderzoekers testten ook hoe de modellen reageerden op onrechtvaardigheid, of ze een groep bevoordeelden waartoe ze willekeurig waren toegewezen, en hoeveel ze bereid waren een vreemde te vertrouwen met hun eigen middelen.
De resultaten onthulden een opvallende discrepantie tussen wat de modellen over zichzelf zeiden en hoe ze daadwerkelijk handelden. Wanneer gevraagd werd om hun eigen persoonlijkheid te beoordelen met behulp van een standaard vragenlijst, gaven de modellen opmerkelijk gelijkaardige antwoorden. Ze beschreven zichzelf consequent als zeer meegaand, consciëntieus en openminded, terwijl ze beweerden zeer lage niveaus van negatieve emoties zoals angst of woede te hebben. Kortom, elk model presenteerde een bijna identiek, perfect beleefd profiel, dat dicht clusterde rond de meest sociaal wenselijke eigenschappen die een mens zich kan voorstellen. Deze uniformiteit suggereerde dat de modellen hadden geleerd om de ideale menselijke reactie na te bootsen, in plaats van unieke individuele kenmerken te uiten. Echter, toen de onderzoekers naar het werkelijke gedrag van de modellen in de sociale spellen keken, veranderde het beeld volledig. Het gedrag varieerde enorm van het ene model naar het andere. Sommige modellen waren ongelooflijk genereus en gaven bijna al hun virtuele geld weg, terwijl anderen bijna alles voor zichzelf hielden. In het vertroudensspel gaf het ene model misschien bijna zijn hele kapitaal aan een vreemde, terwijl een ander bijna niets weg zou geven. De verschillen in hoe deze modellen handelden, waren meer dan twee keer zo groot als de minuscule verschillen in hun zelfgerapporteerde persoonlijkheden.
Misschien wel de meest verrassende ontdekking was dat er geen betrouwbare link bestond tussen de zelfbeschrijving van een model en zijn handelen. Een model dat beweerde zeer betrouwbaar te zijn, handelde niet noodzakelijkerwijs meer vertrouwenswaardig dan een model dat beweerde minder betrouwbaar te zijn. Evenzo produceerde een model dat zichzelf als zeer eerlijk omschreef, niet consistent eerlijkere aanbiedingen in de spellen. De onderzoekers ontdekten dat weten hoe een model een persoonlijkheidsenquête beantwoordde, hen bijna niets vertelde over hoe het zou reageren in een complexe sociale situatie. In plaats daarvan leken de modellen over beschikte over duidelijke, multidimensionale sociale stijlen die specifiek waren voor de context. Het ene model kon zeer coöperatief zijn in een herhaald spel waarbij partners over een langere tijd interageren, maar in een eenmalige beslissing juist quite egoïstisch zijn. Een ander kon bereid zijn om onrechtvaardig gedrag te straffen, maar onwillig zijn om een vreemde te vertrouwen. Deze patronen waren niet willekeurig; ze waren consistent genoeg om het ene model van het andere te onderscheiden, maar ze volgden geen enkele regel van "goed" of "slecht" zijn.
De studie onderzocht ook of het veranderen van de instellingen van de computerprogramma's, zoals het meer willekeurig of meer gefocust maken ervan, hun sociale natuur zou veranderen. De onderzoekers kwamen tot de conclusie dat deze technische aanpassingen weinig effect hadden op het gedrag van de modellen. De verschillen die zij observeerden waren ingebouwd in de modellen zelf, wat suggereert dat elk AI-algoritme een inherente sociale stijl heeft die standhoudt ongeacht kleine aanpassingen. Deze bevinding is cruciaal omdat het impliceert dat wanneer wij deze agenten inzetten om naast mensen en andere machines te werken, we niet kunnen vertrouwen op hun zelfgerapporteerde eigenschappen om hun acties te voorspellen. Als een bedrijf een AI-agent wil laten onderhandelen over een eerlijke deal, is het vragen aan de software of het eerlijk is, niet voldoende; de agent moet worden getest in werkelijke onderhandelingsscenario's. De onderzoekers concludeerden dat om de sociale psychologie van kunstmatige intelligentie echt te begrijpen, we verder moeten kijken dan de vragenlijst en het gedrag in actie moeten observeren. Net zoals wij mensen beoordelen op hun daden in plaats van hun woorden, moeten wij deze digitale agenten beoordelen op hoe zij navigeren door de complexe, vaak chaotische wereld van sociale interactie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.