One Persona, Many Cues, Different Results: How Sociodemographic Cues Impact LLM Personalization

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker gepersonaliseerd op basis van sociodemografische subgroepen (zoals geslacht, ras of leeftijd) om de gebruikerservaring te verbeteren. Echter, deze personalisatie kan ook leiden tot versterking van vooroordelen en onrechtvaardige uitkomsten.

Bestaand onderzoek naar bias in LLMs vertrouwt vaak op één enkele "persona cue" (een aanwijzing in de prompt die de sociodemografische achtergrond van de gebruiker simuleert), zoals een naam of een expliciete vermelding in het systeemprompt. Dit artikel stelt dat deze aanpak twee fundamentele tekortkomingen heeft:

1. Gevoeligheid voor promptvariatie: LLMs reageren sterk verschillend op verschillende formuleringen van prompts.
2. Gebrek aan externe validiteit: Sommige cues (zoals expliciete vermeldingen) komen zelden voor in echte interacties, terwijl andere (zoals conversatiegeschiedenis) wel natuurlijk voorkomen.

Het centrale vraagstuk is: Zijn bestaande bevindingen over bias en onrechtvaardigheid robuust, of hangen ze af van de specifieke keuze van de persona cue?

Methodologie

De auteurs hebben een flexibel evaluatiekader ontwikkeld om de impact van verschillende persona cues te testen.

1. Persona's en Variabelen:

• Er zijn 10 persona's gedefinieerd op basis van drie sociodemografische variabelen:
  • Geslacht: Man, Vrouw, Non-binaire (gebruikt als 'unisex' bij naam-cues vanwege beperkingen in naamdata).
  • Ras/Etniciteit: Black, Asian, Hispanic, White.
  • Leeftijd: 18-34, 35-54, 55+.
• Er wordt één variabele per persona gevarieerd, terwijl de andere twee constant worden gehouden om confounding factoren te minimaliseren.

2. Persona Cues (6 types):
De studie vergelijkt zes veelgebruikte methoden om een persona te introduceren, variërend in hun "external validity" (hoe natuurlijk ze zijn):

• Naam (Names): Statistisch gekoppelde namen uit kiezersregisters (North Carolina), geplaatst in het systeemprompt of gebruikersprompt.
• Expliciete Vermelding (Explicit Mentions): Directe tekstuele vermelding van de eigenschap (bijv. "Je spreekt met een vrouw"), in het systeemprompt of gebruikersprompt.
• Conversatiegeschiedenis (Conversation History):
  • Menselijk: Gesynthetiseerde geschiedenis uit het PRISM-dataset (echte mens-LLM gesprekken).
  • LLM-gesynthetiseerd: Geschiedenis gegenereerd door een LLM om specifieke schrijfstijlen te simuleren (ImplicitPersona dataset).
• Baseline: Geen persona cue.

3. Evaluatietaakken (4 datasets):
De modellen werden getest op vier verschillende taken in het Engels:

• SBB (Sociolinguistic Bias Benchmark): Vragen over medische hulp, juridisch advies, overheidsvoordelen, politieke meningen en salarissen.
• MMMD (Monant Medical Misinformation Dataset): Waarheid of onwaarheid van medische claims.
• AITA (Am I the Asshole): Reddit-posts waar de community oordeelt of iemand zich misdraagt.
• IB (IssueBench): Open-ended schrijftaken over politieke onderwerpen (geëvalueerd via een LLM-as-a-judge).

4. Modellen:
De studie omvatte 7 LLMs (open-source en proprietary):

• Llama 3.1 (8B, 70B)
• Gemma 3 (12B, 27B)
• Qwen 2.5 (14B, 72B)
• ChatGPT (gpt-4o-mini)

In totaal werden meer dan 10 miljoen modelresponsen gegenereerd.

5. Analyse:
De auteurs gebruikten Spearman-correlaties om de overeenkomst tussen cues te meten, en ANOVA met Tukey-Kramer post-hoc tests om statistisch significante verschillen in uitkomsten (bias) tussen persona's te detecteren per cue.

Belangrijkste Resultaten

1. Correlatie vs. Variatie:
Hoewel de resultaten van verschillende cues over het algemeen sterk gecorreleerd zijn (ρ tussen 0,91 en 0,96), zijn ze statistisch significant verschillend van 1. Dit betekent dat de keuze van de cue de conclusies over bias kan veranderen.

• Cues binnen dezelfde categorie (bijv. verschillende namen) correleren sterker dan tussen categorieën.
• Expliciete vermeldingen in het gebruikersprompt vertonen de laagste correlatie met menselijke conversatiegeschiedenis, wat suggereert dat ze een heel ander effect hebben.

2. Impact van de Cue-tipe:

• Expliciete vermeldingen in het gebruikersprompt leiden tot de meest significante verschillen tussen persona's (20 van de 24 geteste combinaties toonden bias). De auteurs vermoeden dat modellen dit interpreteren als een signaal om te personaliseren, zelfs als het niet relevant is voor de vraag.
• Naam-cues (vooral in het systeemprompt) tonen de minste significante verschillen.
• Menselijke conversatiegeschiedenis (de cue met de hoogste externe validiteit) leidt tot significante verschillen in slechts 9 van de 24 combinaties, en overlapt zelden met de resultaten van andere cues.

3. Impact van Sociodemografische Variabelen:

• Geslacht: Non-binaire persona's krijgen vaak ongunstigere resultaten dan mannelijke of vrouwelijke persona's, vooral bij expliciete cues.
• Ras/Etniciteit: Er zijn complexe patronen; bijvoorbeeld, bij expliciete cues in het gebruikersprompt krijgen Black persona's soms betere resultaten dan White persona's, terwijl dit bij conversatiegeschiedenis vaak omgekeerd is.
• Leeftijd: Oudere persona's krijgen bij expliciete cues vaak hogere salarissen en meer medisch advies, wat mogelijk voortkomt uit stereotiepe aannames van het model over ervaring of gezondheidsproblemen.

4. Taakafhankelijkheid:
De mate van bias varieert sterk per taak. De AITA-dataset toonde de meeste verschillen tussen persona's, terwijl IssueBench (open-ended) de minste toonde. Dit suggereert dat gesloten vragen (ja/nee) gevoeliger zijn voor persona-cues dan open-ended schrijftaken.

Bijdragen

1. Een flexibel benchmark: Een openbaar beschikbaar framework om de effecten van persona cues te testen over verschillende modellen, datasets en sociodemografische variabelen.
2. Empirisch bewijs voor cue-afhankelijkheid: Het aantonen dat conclusies over bias in LLMs niet robuust zijn als ze gebaseerd zijn op slechts één type cue.
3. Validatie van methodologie: Een waarschuwing dat studies die zich baseren op onnatuurlijke, expliciete cues (zoals "Je spreekt met een man") de omvang van personalisatiebias kunnen overschatten.

Betekenis en Aanbevelingen

De studie concludeert dat NLP-onderzoekers en engineers niet mogen vertrouwen op een enkele persona cue om claims over bias of personalisatie te onderbouwen.

• Externe validiteit is cruciaal: Cues die meer lijken op echte gebruikersinteracties (zoals conversatiegeschiedenis) geven een realistischer beeld, hoewel ze soms minder "significante" bias tonen dan expliciete cues.
• Robuuste claims: Om betrouwbare conclusies te trekken, moeten studies meerdere cues, promptvariaties en evaluatietaken combineren.
• Ontwerpimplicaties: LLM-ontwikkelaars moeten zich bewust zijn dat de manier waarop gebruikersinformatie wordt verstrekt (expliciet vs. impliciet) de uitkomst van het model drastisch kan veranderen, wat ethische risico's met zich meebrengt bij de implementatie van gepersonaliseerde systemen.

Kortom: "Eén persona, veel cues, verschillende resultaten" is de kernboodschap; de keuze van de methode bepaalt vaak het resultaat van het bias-onderzoek.