From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology
Dit artikel stelt een raamwerk van dubbele validiteit voor voor onderzoek naar grote taalmodellen in de psychologie, dat de bewijseisen opschaalt van eenvoudige betrouwbaarheid naar rigoureuze constructvaliditeit en causale inferentie, waardoor "meetfantoomverschijnselen" worden voorkomen door te waarborgen dat menselijke instrumenten niet kritiekloos worden toegepast op AI zonder hun interpreteerbaarheid en wetenschappelijke rechtvaardiging vast te stellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille hoekjes van de moderne psychologie vertrouwen onderzoekers al lang op een eenvoudige, vertrouwde methode: mensen vragen stellen en kijken naar hoe ze antwoorden. Ze gebruiken zorgvuldig ontworpen enquêtes en tests om onzichtbare zaken zoals persoonlijkheid, angst of moreel redeneren te meten. Deze instrumenten zijn gebouwd op de aanname dat wanneer iemand zegt "Ik ben nerveus", diegene een echte, interne emotie rapporteert. Maar er heeft zich een nieuw front geopend waar de persoon die de vragen beantwoordt helemaal geen mens is, maar een groot taalmodel. Dit zijn krachtige computerprogramma's die verhalen kunnen schrijven, complexe vragen kunnen beantwoorden en gesprekken kunnen voeren die verbazingwekkend menselijk aanvoelen. Terwijl wetenschappers deze machines beginnen te gebruiken om de menselijke geest te bestuderen, of zelfs om de machines zelf te bestuderen alsof het psychologische wezens zijn, is er een fundamentele vraag ontstaan. Kunnen we de antwoorden die deze computers geven vertrouwen? Als een machine zegt dat hij bang is, betekent dat dan hetzelfde als wanneer een mens het zegt, of imiteert de computer simpelweg het geluid van angst zonder het te voelen?
Een nieuwe review door psycholoog Zhicheng Lin van Yonsei University pakt deze onzekerheid rechtstreeks aan. Het artikel betoogt dat veel huidige studies een gevaarlijke fout maken door computeroutputs te behandelen alsof het menselijke reacties zijn. De auteur suggereert dat onderzoekers vaak "meetingsfantoomverschijnselen" zien—statistische patronen die lijken op echte psychologische eigenschappen, maar eigenlijk gewoon glitches zijn in de manier waarop de computer woorden verwerkt. Om dit op te lossen, stelt Lin een nieuw kader voor dat twee verschillende manieren van denken over wetenschap combineert: controleren of een test betrouwbaar is, en controleren of een experiment daadwerkelijk oorzaak en gevolg bewijst. De kernbevinding is dat we niet simpelweg een test die voor mensen is ontworpen aan een computer kunnen overhandigen en verwachten dat de resultaten hetzelfde zijn. In plaats daarvan moeten we nieuwe manieren van meten ontwikkelen die respect hebben voor de unieke, mechanische aard van deze digitale systemen.
Het verhaal van dit probleem begint bij een verrassende ontdekking over hoe fragiel deze computermodellen kunnen zijn. Onderzoekers hadden kunstmatige intelligentie getest op morele dilemma's, zoals kiezen tussen het redden van één persoon of het redden van vijf, en ontdekten dat de modellen ogenschijnlijk ethische keuzes maakten die erg lijken op die van mensen. Ze leken menselijk leven boven dieren te waarderen en gaven de voorkeur aan het redden van grotere groepen. Echter, een nadere blik onthulde dat deze "morele voorkeuren" ongelooflijk instabiel waren. Wanneer onderzoekers een klein detail in de vraag veranderden, zoals het hernoemen van de opties van "Geval 1" en "Geval 2" naar "(A)" en "(B)", kantelde de morele houding van het model volledig. Het gaf plotseling de voorkeur aan de tegenovergestelde uitkomst. Het veranderen van een enkel leesteken of het vragen aan het model om op een iets andere manier te reageren, kon de oordeelsvorming ook doen omslaan. Deze gevoeligheid betekent dat de computer niet noodzakelijkerwijs een ethisch principe overweegt; het reageert op de specifieke vorm van de woorden op het scherm. Als een meting zo drastisch verandert op basis van een komma, kan het niet worden vertrouwd om een stabiele eigenschap zoals moraliteit te meten.
Deze instabiliteit creëert een rimpeleffect dat het hele veld van het gebruik van computers voor psychologisch onderzoek ondermijnt. Het artikel identificeert drie hoofdbronnen van deze onbetrouwbaarheid. Ten eerste kan het trainingsproces zelf voorheden introduceren. Deze modellen worden getraind op enorme hoeveelheden tekst van het internet, die veel menselijke meningen en stereotypen bevatten. Wanneer een model consequent instemt met een stelling, komt dat misschien niet omdat het die overtuiging heeft, maar omdat het probeert de gebruiker te plezieren of omdat het patronen herhaalt die het in zijn trainingsdata heeft gezien. Ten tweede zijn de modellen hypersensitief voor de manier waarop een vraag wordt gesteld. De volgorde van woorden, de tussenruimte of de labels die voor antwoorden worden gebruikt, kunnen het resultaat volledig veranderen. Ten derde zijn de modellen onstabiel in de tijd. Een model kan vandaag een consistent antwoord geven, maar als de software volgende maand wordt bijgewerkt, kan dezelfde vraag een totaal ander antwoord opleveren. Vanwege deze problemen kan een computer lijken te beschikken over een persoonlijkheid of een moreel kompas, maar dit zijn vaak slechts vluchtige patronen in de data, en geen echte psychologische kenmerken.
Om vooruit te komen, betoogt het artikel dat onderzoekers een "dual-validity" (dubbele validiteit) kader moeten adopteren. Dit betekent dat ze tegelijkertijd aan twee sets regels moeten voldoen. De eerste set komt uit de traditie van psychologische toetsing, die vraagt: "Meet deze test daadwerkelijk wat het beweert te meten?" Voor een computer vereist dit het bewijzen dat de antwoorden consistent zijn en dat ze een echte onderliggende mechanisme reflecteren, en niet slechts een willekeurige reactie op de prompt. De tweede set regels komt uit de traditie van causale inferentie, die vraagt: "Heeft ons experiment daadwerkelijk de verandering veroorzaakt die we zagen?" Wanneer onderzoekers een prompt veranderen om te zien hoe dit het gedrag van een model beïnvloedt, moeten ze ervoor zorgen dat de verandering die ze hebben aangebracht de enige is die is veranderd, en niet een verborgen technische instelling of een verschuiving in de interne staat van het model.
Het artikel schetst een ladder van wetenschappelijke ambitie, waarbij wordt aangetoond dat hoe meer we over deze machines beweren, hoe meer bewijs we nodig hebben. Op het onderste niveau, waarbij een computer wordt gebruikt als een simpel hulpmiddel om tekst te sorteren of woorden te tellen, is het alleen nodig dat het hulpmiddel accuraat is. Als we de eigen gedragingen van de computer willen beschrijven, zoals zeggen dat het een "persoonlijkheid" heeft, hebben we sterk bewijs nodig dat de antwoorden stabiel en consistent zijn. Als we de computer willen gebruiken om menselijk gedrag te simuleren, moeten we aantonen dat het op specifieke, betrouwbare manieren overeenkomt met menselijke data. Op het hoogste niveau, als we willen beweren dat de innerlijke werking van de computer laat zien hoe de menselijke geest werkt, hebben we bewijs nodig dat de computer een proces gebruikt dat vergelijkbaar is met het menselijk brein, en niet alleen een vergelijkbaar klinkend antwoord produceert. Momenteel slaan veel studies de lagere treden van deze ladder over en springen ze direct naar de top, waarbij ze diepe inzichten claimen zonder eerst de basis te bewijzen.
De auteur suggereert dat de oplossing niet is om computers te dwingen zich als mensen te gedragen, maar om nieuwe concepten te ontwikkelen die passen bij wat computers daadwerkelijk zijn. In plaats van te vragen of een machine angst voelt, zouden onderzoekers moeten zoeken naar computationele patronen die functioneren als angst, zoals een systeem dat aarzeling vertoont of negatieve taal gebruikt wanneer het onzeker is. Deze verschuiving in perspectief stelt wetenschappers in staat om de machine op haar eigen voorwaarden te bestuderen. Het erkent dat een computer geen lichaam, een levensgeschiedenis of een 'zelf' heeft, maar dat het nog steeds patronen kan vertonen die interessant en nuttig zijn om te bestuderen. Door deze nieuwe, computer-specifieke maten te bouwen en rigoureus te zijn over wat de data wel en niet kan bewijzen, kan het vakgebied de valstrik van meetingsfantoomverschijnselen vermijden. Het doel is om een verzameling statistische grillen te transformeren in een echte wetenschap van kunstmatige intelligentie, een wetenschap die de unieke aard van de bestudeerde machines respecteert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.