Using AI for User Representation: An Analysis of 83 Persona Prompts

Dit artikel analyseert 83 promptvoorbeelden uit 27 onderzoeken naar het gebruik van grote taalmodellen voor het genereren van persona's en concludeert dat deze doorgaans enkelvoudig, beknopt en gestructureerd zijn, wat afwijkt van de traditionele rijke profielen, terwijl er weinig aandacht is voor het vergelijken van verschillende modellen.

De kern

Stel je voor dat je een nieuwe app of website gaat bouwen. Om te weten wat je gebruikers willen, maken ontwerpers vaak personas: fictieve karakters die een echte groep mensen vertegenwoordigen. Denk aan "Jan, de 35-jarige leraar die graag reist" of "Sanne, de student die altijd haast heeft". Vroeger maakten mensen deze karakters handmatig op basis van interviews en enquêtes.

Maar nu is er AI (specifiek grote taalmodellen, of LLM's) gekomen. Onderzoekers proberen deze slimme computers te gebruiken om die personas automatisch te schrijven.

Deze paper is als het ware een inspectieverslag van 83 verschillende "opdrachten" (prompten) die onderzoekers hebben gebruikt om AI te laten personas maken. De auteurs kijken naar wat er gebeurt als we AI de leiding geven over wie onze gebruikers zijn.

Hier is de samenvatting in simpele taal, met een paar leuke vergelijkingen:

1. De "Chef-kok" en de "Recepten"

Stel je de AI voor als een super-chef die alles kan koken. De onderzoekers zijn de chefs die de recepten schrijven (de prompts).

• Wat deden ze? Ze keken naar 83 recepten uit 27 verschillende studies.
• Het probleem: Veel recepten waren te kort. In plaats van een rijk, gedetailleerd verhaal over een persoon te vragen (zoals een volwaardig gerecht), vroegen ze vaak om een "snelle maaltijd": een korte, beknopte beschrijving. Dat is als vragen om een hamburger in plaats van een uitgebreid diner. Het mist de diepgang en de nuances die een goed persona nodig heeft.

2. De "Eén-keuken" en de "Grote Broer"

De onderzoekers ontdekten dat bijna iedereen dezelfde super-chef gebruikt: de modellen van GPT (zoals ChatGPT).

• De analogie: Het is alsof elke restaurantketen in het land precies dezelfde kok aanhuurt. Niemand probeert een andere kok (zoals Claude of Gemini) om te zien wie de beste taart bakt. Ze vertrouwen blind op de "Grote Broer" (GPT) zonder te vergelijken of er misschien een betere optie is.
• Het risico: Als die ene kok een fout maakt of een vooroordeel heeft, krijgen alle restaurants hetzelfde slechte eten.

3. De "Standaardpakketten" (Demografie)

Wanneer de AI een persona maakt, lijkt het alsof de chef alleen de basisgroenten uit de koelkast haalt.

• Wat kwam eruit? Bijna elke persona had leeftijd, naam en beroep. Dat is prima, maar het voelt vaak als een standaardpakketje.
• Wat miste er? De "kruiden en specerijen": de echte gevoelens, de complexe gedachten, de dagelijkse struggles en de unieke achtergronden. De AI maakte vaak karakters die te veel op elkaar leken, in plaats van een divers scala aan echte mensen.

4. De "Bouwpakketten" (Structuur)

Veel onderzoekers vroegen de AI om het resultaat in een strakke lijst te geven, zoals een Excel-tabel of een JSON-bestand (een soort digitale bouwtekening).

• De vergelijking: Ze wilden de persona niet als een verhaal (wat helpt om empathie te voelen), maar als een database. Alsof je een mens reduceert tot een rijtje cijfers en feiten.
• Het gevolg: Dit is handig voor computers om te verwerken, maar het maakt het voor echte mensen (ontwerpers) lastiger om zich in die persoon te verplaatsen en er echt voor te zorgen dat hun behoeften worden begrepen.

5. De "Gouden Kooi" (Korte instructies)

De onderzoekers merkten op dat veel prompts de AI dwongen om kort en bondig te zijn.

• De analogie: Het is alsof je een schrijver vraagt: "Schrijf een verhaal, maar pas op dat het niet langer dan 3 regels is."
• Het resultaat: Je krijgt een saai samenvatting in plaats van een levendig personage. Een goed persona heeft vaak ruimte nodig om uit te weiden over dromen, angsten en gedrag, maar de AI werd hier vaak in de weg gezet.

Wat is de boodschap voor de toekomst?

De auteurs zeggen: "Pas op, we rennen te hard!"

AI is een krachtig gereedschap, maar als we het niet goed gebruiken, maken we personas die nep zijn of vooroordele versterken.

• Advies 1: Gebruik echte data. Laat de AI niet zomaar "uit zijn hoofd" verzinnen wie mensen zijn, maar geef de AI echte informatie over gebruikers als basis.
• Advies 2: Wees creatiever met de instructies. Vraag om rijke verhalen, niet alleen om lijsten met feiten.
• Advies 3: Probeer verschillende AI-modellen. Verlaat je niet op één "chef".

Kortom: We hebben de technologie om personas in seconden te maken, maar we moeten nog leren hoe we ze met de juiste "liefde en aandacht" (en de juiste instructies) moeten maken, zodat ze echt helpen om betere producten te bouwen voor echte mensen.

Technische samenvatting

Probleemstelling

Het gebruik van Large Language Models (LLM's) voor het genereren van gebruikerspersonas (fictieve representaties van gebruikersgroepen gebaseerd op echte data) neemt snel toe binnen Human-Computer Interaction (HCI) en andere domeinen. Hoewel computationele technieken beloven om persona-creatie sneller en efficiënter te maken, brengt dit risico's met zich mee, zoals algoritmische bias, gebrek aan transparantie en het vervangen van primaire gebruikersdata door de creatieve vaardigheden van het model.

Er bestaat een kritisch kennisgat: er is geen systematisch overzicht van hoe onderzoekers prompts (instructies) ontwerpen voor LLM's om personas te genereren. Zonder inzicht in deze "prompt-engineering" is het moeilijk om evidence-based richtlijnen te geven voor het veilig en effectief gebruik van generatieve AI in persona-ontwikkeling. De vraag is welke prompts worden gebruikt, welke personas eruit voortvloeien en of deze voldoen aan de eisen van een robuuste, data-gedreven user representation.

Methodologie

De auteurs voerden een systematische analyse uit van persona-prompts die zijn ontleend aan de academische literatuur.

• Datacollectie: Uit een corpus van 52 artikelen (geïdentificeerd via een systematische literatuurstudie over GenAI in persona-ontwikkeling) werden 27 artikelen geselecteerd die expliciete prompts bevatten.
• Dataset: In totaal werden 83 unieke persona-prompts geëxtraheerd en geanalyseerd.
• Analyse: Een coderingsframework werd ontwikkeld om de prompts te analyseren op basis van drie onderzoeksvragen (RQ's):
  1. Waarom gebruiken onderzoekers persona-prompts?
  2. Hoe gebruiken onderzoekers persona-prompts?
  3. Wat voor soort personas worden gegenereerd?
• Validatie: Twee auteurs coderden de prompts collaboratief om de betrouwbaarheid te waarborgen, waarbij mannelijke manuscripten werden geraadpleegd voor context.

Belangrijkste Bijdragen

1. Eerste Systematische Mapping: Dit is een van de eerste studies die een gestructureerd overzicht biedt van de huidige staat van persona-prompts in de literatuur.
2. Identificatie van Trends en Risico's: De studie blootlegt afwijkingen van traditionele persona-methodologieën, zoals de neiging naar beknopte beschrijvingen en het gebrek aan visuele elementen.
3. Open Data: De auteurs hebben de verzameling van 83 prompts openbaar beschikbaar gesteld, wat een basis vormt voor toekomstig empirisch onderzoek naar de effecten van prompt-design.
4. Richtlijnen voor Praktijk: De studie biedt praktische aanbevelingen om ervoor te zorgen dat AI-gedreven personas "data-gedreven" blijven en niet puur op hallucinaties van het model berusten.

Resultaten

1. Doel van Prompts (RQ1)

• Het primaire doel is generatie (81,5% van de studies), gevolgd door voorspelling (25,9%) en evaluatie (14,8%).
• Prompts worden gebruikt voor diverse toepassingen, van educatie en counseling tot marketing en klimaatcommunicatie.
• Ongeveer de helft van de prompts vereist een gestructureerde output (voornamelijk JSON), wat wijst op een verschuiving van personas als narratieve hulpmiddelen naar personas als data-objecten voor verdere analyse.

2. Gebruik van Prompts (RQ2)

• Modellen: GPT-modellen domineren (76,1% van de instances). Vergelijkingen tussen verschillende LLM's zijn zeldzaam; slechts 22% van de artikelen gebruikt meerdere modellen.
• Complexiteit: Prompts variëren van zeer kort (22 woorden) tot zeer complex (309 woorden). De gemiddelde lengte is 107 woorden.
• Strategie: Onderzoekers gebruiken vaak meerdere prompts per studie (gemiddeld 3,1, maximaal 12). Deze worden vaak in ketens gebruikt (bijv. eerst een skelet-persona, dan een uitgebreide beschrijving, dan een afbeelding).
• Data-integratie: 74% van de prompts bevat dynamisch ingevoegde data of variabelen (bijv. via RAG - Retrieval Augmented Generation), wat de basis legt voor "computationele personas".
• Roltoewijzing: In slechts 18,5% van de gevallen krijgt de LLM een specifieke facilitator-rol toegewezen (bijv. "assistent voor een onderzoeker").

3. Type gegenereerde Personas (RQ3)

• Formaat: De output is bijna uitsluitend tekst (96,3%) en cijfers (66,7%). Afbeeldingen worden zelden gegenereerd (7,4%), hoewel dit een integraal onderdeel is van traditionele personas.
• Aantal: De meeste prompts vragen om één enkele persona, hoewel sommige studies vragen om grotere sets (tot 30 personas).
• Informatie-inhoud:
  • Demografie: Dit is de meest gevraagde categorie (52% van alle attributen, aanwezig in 77,8% van de prompts).
  • Afwijking van traditie: Hoewel demografieën, gedrag en attitudes worden gevraagd, zijn de gegenereerde personas minder informatief dan traditionele data-gedreven personas. Gemiddeld bevatten ze 5,48 attributen, vergeleken met 8,83 in traditionele sjablonen.
  • Kort en bondig: Er is een sterke nadruk op het beperken van de woordhoeveelheid (bijv. "maximaal 200 woorden"), wat in conflict staat met het traditionele doel van rijke, gedetailleerde persona-verhalen.

Significantie en Conclusie

De studie concludeert dat het gebruik van LLM's voor persona-creatie een logische evolutie is, maar dat er significante risico's zijn.

• Risico's: De neiging tot beknopte output en het gebrek aan visuele elementen kan leiden tot "flauwe" personas die minder empathie opwekken. Het ontbreken van cross-model vergelijkingen en het gebruik van standaard hyperparameters suggereert dat onderzoekers mogelijk niet de beste resultaten behalen.
• Aanbevelingen:
  1. Data-gedreven blijven: Prompts moeten altijd primaire gebruikersdata bevatten om te voorkomen dat het model puur hallucineert.
  2. Theoretische onderbouwing: Onderzoekers moeten zich meer verdiepen in persona-theorie (empathie, diversiteit) in plaats van alleen technische prompts te ontwerpen.
  3. Evaluatie: Er is dringende behoefte aan methoden om complexe prompt-systemen (ketens van prompts) te evalueren, aangezien fouten in één stap cascaderende effecten kunnen hebben.

Kortom, terwijl LLM's de efficiëntie van persona-creatie verhogen, dreigt de kwaliteit en diepgang van de representatie af te nemen als de specifieke nuances van persona-theorie en data-integratie niet zorgvuldig in de prompts worden verwerkt.