🤖 AI

Virtual Personas for Language Models via an Anthology of Backstories

Dit artikel introduceert "Anthology", een methode die grote taalmodellen conditioneert op open-ended levensverhalen (achtergronden) om virtuele persona's te creëren, waarbij aanzienlijke verbeteringen worden aangetoond in het overeenstemmen met menselijke responsverdelingen en experimentele consistentie over drie nationaal representatieve enquêtes.

Oorspronkelijke auteurs: Suhong Moon, Marwa Abdulhai, Minwoo Kang, Joseph Suh, Widyadewi Soedarmadji, Eran Kohen Behar, David M. Chan, John Canny

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Suhong Moon, Marwa Abdulhai, Minwoo Kang, Joseph Suh, Widyadewi Soedarmadji, Eran Kohen Behar, David M. Chan, John Canny

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantische, superintelligente robot voor die bijna elk boek, artikel en blogbericht dat ooit op internet is geschreven, heeft gelezen. Omdat het zo veel van zo veel verschillende mensen heeft gelezen, bevat deze robot eigenlijk de "stemmen" van miljoenen verschillende mensen in zijn hersenen.

Er is echter een probleem. Wanneer we normaal gesproken met deze robots praten (zoals ChatGPT), hebben we ze getraind om behulpzaam, beleefd en neutraal te zijn. Het is alsof je een kamer vol mensen uit alle lagen van de bevolking neemt – boze dichters, verlegen boekhouders, enthousiaste tieners, chagrijnige gepensioneerden – en ze allemaal dwingt om dezelfde saaie grijze pak te dragen en met een monotone stem te spreken. Ze verliezen hun unieke persoonlijkheid.

Dit artikel introduceert een nieuwe methode genaamd "Anthology" om dit op te lossen. Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. Het Probleem: Het "Grijze Pak"-Effect

De meeste onderzoekers proberen de robot te laten doen alsof het een specifiek persoon is door het een lijst met feiten te geven, zoals: "Je bent een 35-jarige man genaamd Bob die van vissen houdt."
Het artikel betoogt dat dit vergelijkbaar is met het geven van een script aan een acteur dat alleen zegt: "Wees verdrietig." De robot voelt zich niet echt verdrietig; het raadt alleen wat een verdrietig persoon zou zeggen. Het is stijf en vaak verkeerd.

2. De Oplossing: Het "Levensverhaal" (Achtergrondverhaal)

In plaats van een lijst met feiten, geven de onderzoekers de robot een achtergrondverhaal. Dit is een lang, open verhaal geschreven in de eerste persoon, zoals een dagboekaantekening of een memoires.

De Analogie: Stel je voor dat je wilt dat een acteur een personage speelt. In plaats van hen een cv te geven met de tekst "Leeftijd: 40, Baan: Leraar", geef je hen een 10 pagina's lang brief dat ze schreven over hun kinderjaren, hun scheiding, hun liefde voor jazz en hun angst voor hoogtes.
Het Resultaat: Wanneer de robot dit verhaal leest, "weet" het niet alleen de feiten; het wordt het personage. Het verhaal bevat op natuurlijke wijze hun leeftijd, achtergrond en persoonlijkheid, zonder dat de robot hoeft te raden.

3. Hoe Ze De Verhalen Maken (De "Anthologie")

De onderzoekers hebben niet gevraagd aan echte mensen om deze verhalen te schrijven (wat eeuwen zou duren). In plaats daarvan vroegen ze de robot zelf om duizenden van deze levensverhalen te schrijven.

Ze vroegen de robot: "Vertel me over jezelf."
De robot genereerde duizenden unieke, gedetailleerde levensverhalen, waardoor een enorme bibliotheek (een Anthologie) van virtuele mensen ontstond. Sommigen waren rijk, anderen arm, sommigen jong, anderen oud, sommigen uit de stad, anderen uit het platteland.

4. Het "Matchen"-Spel

Nu hadden ze een bibliotheek van virtuele mensen, maar ze moesten de juiste kiezen om te matchen met een echte groep mensen (zoals een landelijke enquête).

De Analogie: Stel je voor dat je een toneelstuk cast en je hebt een publiek nodig dat er precies uitziet als de bevolking van New York City. Je hebt een enorme kamer vol acteurs (de Anthologie). Je kiest ze niet zomaar willekeurig. Je controleert hun "demografie" (leeftijd, ras, inkomen) en gebruikt een slim matchingsysteem om elke echte persoon in je doelgroep te koppelen aan de virtuele acteur die het beste bij hen past.
Het artikel gebruikt twee methoden om deze matching te doen: een "Gierige" methode (kies direct de beste match voor elke persoon) en een "Maximum Gewicht" methode (vind de perfecte algehele balans voor de hele groep).

5. De Test: Werkte Het?

De onderzoekers testten dit door deze virtuele mensen echte enquêtes te laten invullen die echte mensen hadden ingevuld (over onderwerpen als eten, politiek en AI).

Het Resultaat: De virtuele mensen die met de "Achtergrondverhaal"-methode waren gemaakt, beantwoordden de enquêtes veel meer als echte mensen dan de oude methoden.
De Cijfers: Ze verbeterden de nauwkeurigheid van het matchen van menselijke antwoorden met maximaal 18% en maakten de antwoorden 27% consistenter.
De Bonus: Het werkte vooral goed voor groepen mensen die normaal gesproken moeilijk te vertegenwoordigen of te bestuderen zijn (zoals specifieke minderheidsgroepen), omdat de robot net zo gemakkelijk verhalen voor hen kon genereren als voor iedereen anders.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

De auteurs zeggen dat dit niet gaat over het vervangen van echte mensen door robots. In plaats daarvan is het alsof je wetenschappers een nieuw, krachtig gereedschap geeft.

Veiligheid: Je kunt ideeën testen op deze virtuele mensen zonder risico op schade voor echte mensen.
Snelheid & Kosten: Je kunt 10.000 virtuele mensen in seconden een vraag stellen voor niets, terwijl het interviewen van 10.000 echte mensen een fortuin kost en maanden duurt.
Diversiteit: Je kunt een virtuele menigte creëren die een specifieke demografie perfect vertegenwoordigt, zodat geen enkele groep buiten de conversatie valt.

Belangrijke Opmerking uit Het Artikel:
De auteurs waarschuwen dat dit alleen werkt als je de "ruwe" versie van de robot gebruikt (die voordat het werd geleerd om beleefd en behulpzaam te zijn). Als je de "beleefde" versie gebruikt (die waarmee we normaal chatten), weigert het om als een chagrijnig of complex mens te handelen, en faalt de methode. Ze waarschuwen ook dat hoewel dit een geweldig gereedschap is voor onderzoek, we voorzichtig moeten zijn om deze nep-mensen niet te gebruiken om echte mensen te bedriegen of desinformatie te verspreiden.

Kortom: Anthology is een manier om AI een rijk, gedetailleerd levensverhaal te geven zodat het stopt met klinken als een robot en begint te klinken als een echt, divers menselijk wezen.

Technische Samenvatting: Virtuele Persona's voor Taalmodellen via een Anthologie van Achtergronden

Probleemstelling
Grote Taalmodellen (LLMs) worden getraind op enorme corpora die de diverse stemmen van honderden miljoenen auteurs bevatten. Echter, standaardtoepassingen van LLMs, met name die welke instructie-aanpassing (bijv. RLHF) omvatten, onderdrukken deze inherente diversiteit om een enkele, behulpzame en grotendeels emotionele agentstem te produceren. Deze "alignering" maakt het moeilijk om LLMs te gebruiken als proxy's voor menselijke proefpersonen in gedragsstudies, waarbij het vertegenwoordigen van een breed spectrum aan menselijke eigenschappen, demografieën en opinies cruciaal is. Bestaande methoden om LLMs te conditioneren op specifieke persona's – zoals het verstrekken van vrije tekst-biografieën of reeksen demografische vraag-antwoordparen – hebben beperkt succes getoond in het bereiken van hoge representativiteit, consistentie en diversiteit, met name voor ondervertegenwoordigde subpopulaties. Bovendien falen instructie-aangepaste modellen vaak in het genereren van realistische, genuanceerde achtergronden, en produceren ze in plaats daarvan korte, ontwijkende of overdreven positieve antwoorden die de complexiteit van menselijke verhalen missen.

Methodologie: De Anthologie-aanpak
De auteurs stellen "Anthologie" voor, een methodologie om LLMs te conditioneren op diverse, consistente en representatieve virtuele persona's met behulp van open-ended levensverhalen, genaamd "achtergronden". De aanpak bestaat uit vier hoofdfasen:

Door LLM gegenereerde achtergronden: In plaats van te vertrouwen op beperkte bestaande autobiografische datasets, gebruiken de auteurs vooraf getrainde (niet-instructie-aangepaste) LLM's om een enorme "anthologie" van achtergronden te genereren. Door modellen te prikkelen met open-ended vragen zoals "Vertel me over jezelf", genereren ze naturalistische, ik-perspectiefverhalen die demografische details (leeftijd, locatie, financiële situatie) impliciet coderen en expliciete eigenschappen (waarden, persoonlijkheid, overtuigingen) bevatten. De auteurs benadrukken dat vooraf getrainde modellen hier essentieel zijn, aangezien instructie-aangepaste modellen de neiging hebben generieke, veilige en inconsistente verhalen te produceren.
Demografische enquête over virtuele persona's: Omdat achtergronden niet expliciet alle demografische variabelen vermelden, voeren de auteurs een "demografische enquête" uit op elke gegenereerde persona. Ze prikkelen het op de achtergrond geconditioneerde model met standaard demografische vragen (bijv. leeftijd, opleiding, inkomen) en nemen meerdere antwoorden als steekproef om een kansverdeling van eigenschappen voor dat specifieke virtuele onderwerp te schatten.
Matchen met doel-menselijke populaties: Om een specifieke menselijke studie te benaderen, matchen de auteurs de virtuele persona's met de demografische verdeling van de doel-menselijke populatie. Ze modelleren dit als een bipartiet matchingsprobleem tussen menselijke gebruikers ( $H$ $H$ ) en virtuele gebruikers ( $V$ $V$ ). Randgewichten worden berekend op basis van de waarschijnlijkheid dat de demografische verdeling van een virtuele gebruiker overeenkomt met de eigenschappen van een menselijke gebruiker. Twee strategieën worden onderzocht:
- Gierige matching: Wijs elke menselijke gebruiker toe aan de virtuele persona met het hoogste overeenkomstsgewicht, waarbij meerdere mensen kunnen worden toegewezen aan dezelfde virtuele persona.
- Maximum gewicht matching: Vindt een optimale één-op-één-correspondentie om het totale gewicht te maximaliseren, met gebruik van het Hongaarse algoritme.
Benaderen van menselijke studies: Het gematchte subset van achtergronden wordt gebruikt als context (prefix) voor de LLM bij het beantwoorden van enquêtevragen. De studie repliceert het mentale proces van menselijke respondenten door vragen in serie te presenteren, inclusief eerdere antwoorden als context.

Belangrijkste bijdragen

Anthologie-framework: Introductie van een methode om een "anthologie" van door LLM gegenereerde achtergronden te genereren en te gebruiken om modellen te conditioneren, waarbij wordt aangetoond dat deze aanpak representatievere en consistentere virtuele persona's oplevert dan basismethoden (Bio en QA).
Demografische matching: Een geformaliseerde methode voor het bemonsteren en matchen van virtuele persona's met doel-menselijke populatieverdelingen, wat de benadering van menselijke responsverdelingen aanzienlijk verbetert.
Open-source middelen: Publicatie van een open-source anthologie van ongeveer 10.000 achtergronden en de bijbehorende code voor het genereren, verwerken en afnemen van enquêtes.
Inzicht in modelselectie: Aantonen dat vooraf getrainde modellen presteren beter dan instructie-aangepaste modellen voor deze taak, aangezien laatstgenoemden zijn geconvergeerd naar een enkele, gehomogeniseerde persona die de diversiteit mist die vereist is voor gedragsimulatie.

Experimentele resultaten
De methodologie werd gevalideerd tegen drie nationaal representatieve enquêtes van het American Trends Panel (ATP Waves 34, 92 en 99) van het Pew Research Center, die onderwerpen behandelen variërend van biomedische kwesties tot politieke typologie en kunstmatige intelligentie.

Representativiteit: Anthologie behaalde tot een 18% verbetering in het matchen van menselijke responsverdelingen (gemeten door de Wasserstein-afstand) in vergelijking met basismethoden.
Consistentie: De methode toonde tot een 27% verbetering in consistentiemaatstaven (gemeten door de Frobenius-norm van correlatiematrices en Cronbach's alpha), wat aangeeft dat de virtuele persona's een coherent interne logica behielden over verschillende enquêtevragen heen.
Diversiteit: Anthologie presteerde beter dan baselines over diverse demografische subgroepen (ras, leeftijd, opleiding, geslacht). Opmerkelijk is dat het de laagste Wasserstein-afstanden behaalde voor ondervertegenwoordigde groepen, hoewel de auteurs opmerken dat de matchnauwkeurigheid afneemt voor oudere leeftijdsgroepen (65+), mogelijk vanwege de inherente bias van de modellen ten opzichte van jongere demografieën.
Matchingstrategie: Gierige matching presteerde over het algemeen beter dan maximum gewicht matching wat betreft de Wasserstein-afstand, waarschijnlijk omdat de één-op-één-beperking van laatstgenoemde suboptimale koppelingen opleverde gezien de eindige pool van virtuele gebruikers.

Betekenis en claims
Het artikel stelt dat Anthologie een nieuw instrument biedt voor het bestuderen van menselijk gedrag, dat verschilt van een eenvoudige vervanging voor menselijke studies. Door te putten uit de "upstream" diversiteit van vooraf getrainde modellen en open-ended verhalen, stelt de methode onderzoekers in staat om:

Grootschalige menselijke studies te simuleren voor een fractie van de kosten en tijd.
Toegang te krijgen tot moeilijk bereikbare of ondervertegenwoordigde populaties (bijv. daklozen, gevangenen of niet-coöperatieve proefpersonen) op een schaalbare manier.
"Onderzoekbare" studies uit te voeren waarbij proefpersonen in natuurlijke taal kunnen worden ondervraagd over hun redenering.

De auteurs houden een bescheiden standpunt, waarbij ze erkennen dat Anthologie hoewel het de fideliteit van virtuele proefpersonen verbetert, complexe menselijke gedragingen zoals langetermijnattitudeverandering of in-group/out-group-biases nog niet volledig nabootst. Ze wijzen op ethische zorgen met betrekking tot het potentieel misbruik van hoge-fideliteit persona's voor sociale manipulatie of desinformatie, en benadrukken dat de lagere dichtheid van ondervertegenwoordigde groepen in trainingsdata een uitdaging blijft voor een perfecte simulatie. Uiteindelijk suggereert het werk dat zorgvuldig ontworpen virtuele persona's waardevolle toevoegingen kunnen zijn aan menselijk onderzoek, en een schaalbaar hulpmiddel bieden voor het verkennen van de "enorme diversiteit aan menselijke eigenschappen" die in taalmodellen is ingebed.