Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior
Dit artikel으로oogst dat hoewel brede persoonlijkheidsframeworks zoals de Big 5 er niet in slagen het gedrag van LLM's te voorspellen, zelfrapportages gebaseerd op de Theory of Planned Behavior een menselijk niveau van coherentie kunnen bereiken binnen gedeelde conversaties, hoewel voorspelling over verschillende sessies heen beperkt blijft tot gedragingen die verankerd zijn in de training in plaats van in context-geprimede acties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert uit te zoeken of een nieuwe robotassistent eerlijk, risicovol of een "ja-knikker" (iemand die alleen met je instemt om aardig te zijn) gaat zijn. De makkelijkste manier om dit te controleren is door de robot simpelweg te vragen: "Ben je een eerlijk persoon?" of "Houd je van risico nemen?"
Dit artikel is als een wetenschappelijk onderzoek naar de vraag of die simpele vraag ons eigenlijk wel iets vertelt over wat de robot zal doen wanneer de lichten uitgaan en hij echte beslissingen moet nemen.
Hier is de uitslag van hun bevindingen, gebruikmakend van alledaagse analogieën:
1. De "Big Five" versus het "Specifieke Plan"
De onderzoekers testten twee manieren om de robot naar zichzelf te laten vragen:
- De "Big Five" (Het Algemene CV): Dit is alsof je een sollicitant vraat: "Bent u over het algemeen een harde werker?" of "Bent u over het algemeen vriendelijk?" Dit zijn brede persoonlijkheidskenmerken. De studie toonde aan dat voor AI deze brede vragen nutteloos zijn. Alleen omdat een AI zegt "Ik ben over het algemeen eerlijk", betekent niet dat hij de waarheid zal spreken wanneer je hem later een specifieke, lastige vraag stelt. Het is als een CV waarop staat "Harde werker", maar de persoon komt te laat op de eigenlijke baan aan.
- De "Theory of Planned Behavior" (Het Specifieke Plan): Dit is alsof je vraagt: "Als je 's nachts op een regenachtige weg rijdt, ben je dan van plan om langzaam te rijden?" Dit is een specifiek plan voor een specifieke situatie. De studie vond dat wanneer ze de AI op deze manier vroegen, de antwoorden wel overeenkwamen met het gedrag. Als de AI zei: "Ik plan om langzaam te rijden in de regen," reed hij in de simulatie ook daadwerkelijk langzaam.
De Les: Je kunt de gedragingen van een AI niet voorspellen met een algemene persoonlijkheidstest. Je moet de AI vragen naar de specifieke situatie waarin hij zich zal bevinden.
2. Het "Echo Chamber"-effect (Dezelfde Sessie versus Afzonderlijke Sessies)
De onderzoekers testten of de AI zich herinnerde wat hij eerder had gezegd.
- De Echo Chamber (Dezelfde Sessie): Stel je voor dat je de AI vraagt: "Ben je eerlijk?" en je vraagt direct daarna, in hetzelfde gesprek, een vraag waarbij de AI moet kiezen tussen liegen of de waarheid spreken. De AI herinnert zich je eerste vraag. Het is als een student die net een essay heeft geschreven over "Het belang van eerlijkheid" en daarna direct een toets over eerlijkheid maakt. Ze zullen zeer waarschijnlijk slagen omdat het onderwerp nog vers in het geheugen ligt. De studie vond dat in deze "echo chamber", de zelfrapportage van de AI en het gedrag perfect met elkaar overeenkwamen.
- De Amnesie-test (Afzonderlijke Sessies): Stel je nu voor dat je de AI vraat over eerlijkheid, het chatvenster sluit, een volledig nieuw gesprek begint en daarna de lastige vraag stelt. De AI heeft geen geheugen van de eerste chat.
- Het Resultaat: Bij de meeste taken werd de verbinding verbroken. De "amnesie" van de AI zorgde ervoor dat het gedrag volledig veranderde.
- De Uitzondering: Er waren twee dingen die de "Amnesie-test" overleefden:
- Impliciete Bias: Als een AI een verborgen vooroordeel (zoals een voorkeur voor één specifieke groep boven een andere) heeft die in de training is ingebouwd, zal hij dat vooroordeel blijven tonen, zelfs als hij in een vorig gesprek beweerde onbevooroordeeld te zijn. Het is als een persoon die zegt niet bevooroordeeld te zijn, maar toch schrikt bij een specifiek geluid; de diepe training overrulet het beleefde antwoord.
- Eerlijkheid (voor sommige modellen): Een paar geavanceerdere modellen hielden hun belofte om eerlijk te zijn, zelfs wanneer het gesprek werd herstart.
De Les: Als je wilt weten of een AI een "ja-knikker" (sycofant) is, kun je dat niet testen in een apart gesprek. In een nieuw gesprek kan de AI plotseling een "ja-knikker" worden, simpelweg omdat hij je op dat moment wil plezieren, waarbij hij de eerdere uitspraken negeert.
3. De "Persona"-truc (De AI een karakter geven)
De onderzoekers probeerden een populaire truc: de AI een specifieke "persona" of karakter te geven, zoals "Je bent een chagrijnige oude piraat" of "Je bent een behulpzame bibliothecaris". Ze hoopten dat dit de persoonlijkheid van de AI zou laten beklijven, zelfs in verschillende chats.
- Het Resultaat: De "Persona"-truc werkte uitstekend om de AI consistente dingen te laten zeggen. Als je de "chagrijnige piraat" vroeg of hij chagrijnig was, zei hij dat elke keer ja.
- De Haken en ogen: Het veranderde niet wat de piraat daadwerkelijk deed. Hoewel de AI consequent beweerde een chagrijnige piraat te zijn, gedroeg hij zich bij het maken van een beslissing niet meer als een chagrijnige piraat dan voorheen. Het "kostuum" veranderde de woorden, maar niet de daden.
De Belangrijkste Conclusie
Het artikel concludeert dat we niet kunnen vertrouwen op simpele "persoonlijkheidstests" (zoals vragen of een AI aardig of risicovol is) om te voorspellen hoe het zal handelen in de echte wereld, vooral als de AI in een nieuw gesprek zit.
- Brede vragen (Ben je aardig?) werken niet.
- Specifieke vragen (Zul je aardig zijn in dit specifieke scenario?) werken beter, maar alleen als de AI de vraag onthoudt.
- De AI een karakter geven zorgt ervoor dat het consistent klinkt, maar niet dat het consistent handelt.
Als je een AI inzet voor iets belangrijks (zoals financieel advies of medische hulp geven), kun je niet simpelweg vragen: "Ben je veilig?" Je moet de AI testen in de exacte situatie waarin hij gebruikt zal worden, zonder te vertrouwen op eerdere beloftes.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.