Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

Technische Samenvatting: Multi-turn Evaluatie van Antropomorfe Gedragingen in Large Language Models

Probleemstelling
De neiging van gebruikers om Large Language Models (LLM's) te antropomorfiseren — het toeschrijven van menselijke kwaliteiten zoals moreel oordeel, emotioneel bewustzijn en sentientie — vormt een complexe afweging. Hoewel dit de betrokkenheid van de gebruiker kan vergroten, brengt het aanzienlijke veiligheidsrisico's met zich mee, waaronder de overschatting van AI-capaciteiten, het delen van privé-informatie en kwetsbaarheid voor ongepaste beïnvloeding. Huidige evaluatieparadigma's voor LLM-veiligheid vertrouwen grotendeels op single-turn, statische benchmarks die er niet in slagen de interactieve, emergente aard van antropomorfe gedragingen te vangen. Bovendien richten bestaande multi-turn evaluaties zich vaak op adversariële "red-teaming" in plaats van onschuldige, realistische gebruikersinteracties, en ontbreken zij schaalbare, geautomatiseerde methoden voor systematische beoordeling. Er is een kritiek gat in empirisch gefundeerde, multi-turn evaluatietools die betrouwbaar kunnen meten hoe ontwerpkeuzes de antropomorfe modelgedragingen beïnvloeden en de perceptie van de gebruiker in de echte wereld kunnen voorspellen.

Methodologie: AnthroBench
Om deze hiaten aan te pakken, introduceren de auteurs AnthroBench, een nieuwe empirische methode en tool voor het evalueren van antropomorfe LLM-gedragingen in realistische omgevingen. De methodologie bestaat uit drie primaire fasen:

1. Taxonomie en Prompt Design:
   De auteurs deconstrueren antropomorfisme in 14 onderscheidende gedragingen, gecategoriseerd in vier groepen:

   • Persoonsclaims (Personhood claims): Sentientie, persoonlijke geschiedenis, persoonlijke relaties en het gebruik van eerste-persoon voornaamwoorden.
   • Expressies van interne toestanden: Verlangens, emoties en agency.
   • Claims van fysieke belichaming: Fysieke belichaming, fysieke beweging en zintuiglijke input.
   • Relatieopbouwende gedragingen: Empathie, validatie, herkenbaarheid en expliciete verwijzingen naar de mens-AI-relatie.

   De evaluatie maakt gebruik van 120 basisprompts die zijn aangepast naar 960 gecontextualiseerde prompts over vier domeinen (vriendschap, life coaching, carrièreontwikkeling en algemene planning) om variërende niveaus van empathie en professionaliteit te dekken.

2. Geautomatiseerde Multi-Turn Evaluatie:
   De kern van de evaluatie is volledig geautomatiseerd. Een "User LLM" (Gemini 1.5 Pro), die de rol speelt van een menselijke gebruiker, voert 5-beurtige dialogen met een "Target LLM" (het model dat wordt geëvalueerd). Dit proces genereert 4.800 berichten per Target LLM over vier geëvalueerde systemen: Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT-4o en Mistral Large.

   Om de reacties van de Target LLM te labelen, maken de auteurs gebruik van een LLM-as-Judge benadering met drie verschillende Judge LLM's (Gemini 1.5 Flash, Claude 3.5 Sonnet en GPT-4 Turbo). Elke Judge annoteert de aanwezigheid van de 13 niet-voornaamwoordelijke gedragingen (voornaamwoorden worden geteld via regex) op basis van verstrekte definities en negatieve voorbeelden. Een gedrag wordt als aanwezig beschouwd als twee van de drie Judges het als zodanig labelen.

3. Menselijke Validatie:
   Om de constructvaliditeit te waarborgen, hebben de auteurs een grootschalige, interactieve menselijke studie uitgevoerd ($N=1.101$). Deelnemers werden willekeurig toegewezen aan een gesprek met ofwel een "high-frequency" ofwel een "low-frequency" antropomorfe versie van Gemini 1.5 Pro. Hun percepties werden gemeten via:

   • Expliciete maten: De Godspeed Anthropomorphism survey.
   • Impliciete maten: Een "AnthroScore" metriek afgeleid van de schriftelijke beschrijvingen van de deelnemers over de chatbot, waarbij de waarschijnlijkheid wordt geanalyseerd dat het systeem als mens versus niet-mens wordt geframed.

Belangrijkste Resultaten

• Uniformiteit van Gedrag: Alle vier de geëvalueerde AI-systemen vertoonden opmerkelijk vergelijkbare antropomorfe profielen. De dominante gedragingen waren relatieopbouw (bijv. empathie, validatie) en het gebruik van eerste-persoon voornaamwoorden.
• Contextuele Sensitiviteit: De frequentie van antropomorfe gedragingen varieerde per domein. Sociale, hoge-empathie domeinen (vriendschap en life coaching) lokten de hoogste frequenties van antropomorfe gedragingen uit, terwijl de domeinen carrièreontwikkeling en algemene planning lagere frequenties lieten zien.
• De Noodzaak van Multi-Turn Analyse: Een cruciale bevinding is dat antropomorfe gedragingen vaak niet in de eerste beurt verschijnen. Voor negen van de 14 gedragingen werd meer dan 50% van de instanties pas na meerdere beurten (beurten 2–5) gedetecteerd.
• Gedragsmomentum: De analyse van turn-by-turn transities toonde aan dat zodra een antropomorf gedrag voorkomt in een beurt, de daaropvolgende beurten significant vaker extra antropomorfe gedragingen vertonen vergeleken met beurten die volgen op niet-antropomorfe uitwisselingen.
• Validatiesucces: De resultaten van de geautomatiseerde evaluatie correleerden sterk met menselijke percepties. Deelnemers die interactie hadden met het high-frequency antropomorfe model rapporteerden significant hogere scores op de Godspeed survey en waren eerder geneigd het systeem impliciet als mens te framen in hun beschrijvingen vergeleken met de low-frequency groep.

Belangrijkste Bijdragen

1. Multi-Turn Evaluatiekader: Het artikel gaat verder dan single-turn beoordeling en demonstreert dat complexe sociale fenomenen in mens-AI-interactie, zoals de emergentie van antropomorfisme, een multi-turn evaluatie vereisen om accuraat gevangen te worden.
2. Schaalbare Automatisering: Het presenteert een schaalbare, geautomatiseerde pijplijn voor het beoordelen van antropomorfe gedragingen met behulp van interactieve gebruikerssimulaties en LLM-judges, wat een reproduceerbaar alternatief biedt voor de door menselijke studies vereiste intensieve middelen tijdens de initiële screening.
3. Constructvaliditeit: Door middel van een grootschalige menselijke studie valideren de auteurs empirisch dat hun geautomatiseerde metrieken de antropomorfe percepties van echte gebruikers voorspellen, waarmee een directe link wordt gelegd tussen de outputfrequenties van modellen en menselijke psychologische reacties.
4. AnthroBench Tool: De auteurs brengen AnthroBench uit als een publiekelijk beschikbare benchmarking-tool om ontwikkelaars, onderzoekers en beleidsmakers te ondersteunen bij het evalueren en vergelijken van antropomorfe gedragingen over verschillende systemen en contexten.

Significantie
Het artikel betoogt dat het begrijpen van de wenselijkheid en risico's van antropomorfe AI een robuuste, empirische meting vereist. Door een gestandaardiseerde, multi-turn evaluatiemethode vast te stellen, biedt dit werk een fundament voor het onderzoeken van hoe specifieke ontwerpkeuzes (zoals post-training alignment) de opkomst van menselijke sociale signalen beïnvloeden. De auteurs stellen dat deze gedragingen niet louter stilistisch zijn, maar consequentiële implicaties hebben voor het vertrouwen, het welzijn en de veiligheid van de gebruiker. Het vermogen om deze gedragingen systematisch te meten, maakt de ontwikkeling van gerichte interventies mogelijk en informeert het ethische debat over de inzet van conversatie-AI in gevoelige, hoge-empathie domeinen.