💻 computer science

Persona Non Grata: LLM Persona-Driven Generations in MCQA are Unstable in Distinct Dimensions

Dit artikel onderzoekt de instabiliteit van persona-gestuurde generaties in grote taalmodellen voor meerkeuzevragen beantwoorden, waarbij wordt onthuld dat de prestaties significant variëren over modelfamilies, groottes en domeinen, en gevoeliger zijn voor promptformaten dan andere hyperparameters zoals temperatuur.

Oorspronkelijke auteurs: César Guerra-Solano, Xiang Lorraine Li

Gepubliceerd 2026-07-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: César Guerra-Solano, Xiang Lorraine Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, veelzijdige robotassistent hebt. Je kunt tegen deze robot zeggen: "Doe alsof je een advocaat bent," of "Doe alsof je een bioloog bent," en hem vervolgens een reeks meerkeuzevragen laten beantwoorden. Dit wordt Persona-Driven Generation (PDG) genoemd. Het idee is dat het "karakter" van de robot kan helpen om beter te antwoorden, of in ieder geval om consistent te blijven.

Dit artikel is als een kwaliteitscontroleur voor deze robotkarakters. De auteurs stelden een eenvoudige maar angstaanjagende vraag: Als we dezelfde robot vragen om hetzelfde karakter te zijn, maar we veranderen de kleine details van hoe we de vraag stellen, geeft de robot dan dezelfde antwoorden?

Ze kwamen tot de conclusie dat het antwoord vaak nee is. De robot is verrassend onstabiel, als een kameleon die niet alleen van kleur verandert op basis van de achtergrond, maar ook op basis van of je knippert of niest.

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. De drie manieren om "schokkerigheid" te meten

De onderzoekers keken niet alleen naar of de robot het juiste antwoord gaf. Ze bouwden drie specifieke "schokkerigheidsmeters":

De Scoremeter (Prestatie-instabiliteit): Als je de robot 10 keer dezelfde wiskundevraag stelt met licht verschillende instructies, krijgt hij dan elke keer 80% goed? Of schommelt het tussen 60% en 90%?
- Analogie: Stel je een dartspeler voor. Als hij telkens de roos raakt, is hij stabiel. Als hij de ene keer de roos raakt, dan de buitenring, dan de vloer, en dan weer de roos, dan is hij onstabiel.
De Winnaarsmeter (Resultaat-instabiliteit): In een wedstrijd, wie is het "beste" karakter? Is de "Advocaat" altijd het beste bij juridische vragen?
- Analogie: Stel je een race voor. In één versie van de race wint de Advocaat. In een iets andere versie van de race (misschien was het startschot luider) wint de Bioloog. Het paper vond dat wie de race wint, wild verandert afhankelijk van kleine details in de opstelling.
De Vragenmeter (Vraag-correctheid-instabiliteit): Had de robot de zelfde specifieke vragen goed?
- Analogie: Stel je een student voor die een toets maakt. In de ene versie had hij vragen 1, 2 en 3 goed. In een andere versie had hij 1, 4 en 5 goed. Hij behaalde dezelfde score, maar wist andere dingen. Deze meter controleert of de robot daadwerkelijk leert of gewoon willekeurig gokt.

2. De belangrijkste bevindingen: Wat maakt de robot onrustig?

Het "Hoe je vraagt" is belangrijker dan "Hoe warm je bent"
De onderzoekers testten drie dingen die het gedrag van de robot zouden kunnen veranderen:

Temperatuur: Hoe "creatief" of willekeurig de robot mag zijn.
Persona Prompt: Hoe je de robot vertelt wie hij moet zijn (bijv. "Je bent een advocaat" versus "Neem de identiteit aan van een advocaat").
Taak Prompt: Hoe je de vraag stelt (bijv. "Geef alleen het antwoord" versus "Leg je redenering uit").

De Grote Verrassing: De manier waarop je de Taak Prompt formuleert (hoe je de vraag stelt) veroorzaakte de meeste chaos.

Analogie: Stel je voor dat je een cake bakt. Je zou kunnen denken dat de oventemperatuur (Temperatuur) het belangrijkste is. Maar dit artikel zegt dat de receptinstructies (Taak Prompt) eigenlijk het probleem zijn. Als je de robot vertelt om "zijn denken uit te leggen" in plaats van alleen "het antwoord te geven", wordt de prestatie van de robot veel onvoorspelbaarder.

Wiskunde en gezond verstand zijn de grootste boosdoeners
De robot was het meest onstabiel bij het beantwoorden van wiskundevragen of vragen over gezond verstand.

Analogie: Het is alsof een student geweldig is in het onthouden van jaartallen uit de geschiedenis, maar nerveus wordt en elke keer van gedachten verandert als hij een wiskundeprobleem moet oplossen of moet uitleggen waarom een kat op een mat ligt. Het paper suggereert dat dit komt omdat robots minder intensief zijn getraind op dit soort logica dan op andere onderwerpen.

Grotere robots zijn stabieler (meestal)
Over het algemeen waren de grotere, krachtigere modellen stabieler dan de kleinere modellen.

Analogie: Een groot, zwaar schip is minder snel geneigd te wiebelen in de golven dan een kleine speedboot. Er was echter één uitzondering: een zeer groot model (Qwen 14B) werd juist onstabieler wanneer het gevraagd werd om zijn antwoorden te "uitleggen", waarschijnlijk omdat het begon met een "chain of thought" (hardop nadenken) die de scorevorming in de war bracht.

Het karakter maakt minder uit dan de opstelling
Je zou denken dat een "Advocaat" zijn anders doet dan een "Dokter". Het paper vond dat de specifieke karakter (persona) niet veel uitmaakte.

Analogie: Het maakt niet uit of de acteur een doktersjas of een advocatenpak draagt; als de regisseur (de prompt instructies) onrustig is, is de hele uitvoering onrustig. De instabiliteit komt voort uit de instructies, niet uit het kostuum.

3. Waarom dit ertoe doet (volgens het artikel)

Het artikel waarschuwt dat als je vandaag een experiment uitvoert om te zien welk robotkarakter het beste is, en je voert het morgen opnieuw uit met een iets andere prompt-opmaak, je een volledig ander resultaat kunt krijgen.

Het "Onstabiele" scenario: In één setting denkt de robot dat een "Advocaat" het beste is in het beantwoorden van vragen. In een "onstabiele" setting kan het zijn dat de robot denkt dat een "Bioloog" het beste is, of dat een "Hispanic persoon" anders presteert dan een "Witte persoon" op wiskunde vragen.
Het Gevaar: Het paper betoogt dat deze verschillen misschien geen echte vooroordelen (biases) zijn in de hersenen van de robot. In plaats daarvan kunnen ze artefacten zijn van de onstabiele opstelling. Als de robot onrustig is, kun je hem niet vertrouwen om je te vertellen of hij wel of niet bevooroordeeld is.

Samenvatting

Dit artikel is een waarschuwing voor iedereen die AI gebruikt om een karakter te spelen. Het zegt: "Vertrouw niet alleen op het antwoord. Controleer of het antwoord verandert als je de instructies een klein beetje aanpast."

Het "karakter" van de robot is fragiel. Als je de manier verandert waarop je de vraag stelt (vooral als je vraagt om de uitleg van het werk), kan de robot van mening veranderen over wie het "beste" karakter is, welke vragen hij goed heeft, en zelfs over zijn algehele score. Om betrouwbare resultaten te krijgen, moet je de "stabiele" instellingen vinden (zoals het vragen om eenvoudige antwoorden zonder uitleg) en je daaraan houden.

Technische Samenvatting: Persona Non Grata: LLM Persona-gestuurde Generaties in MCQA zijn Instabiel in Verschillende Dimensies

Probleemstelling

Hoewel Persona-gestuurde Generaties (PDG's) breed worden toegepast in onderzoek en de industrie—waarbij Large Language Models (LLMs) specifieke rollen aannemen om taken te voltooien—concentreert de bestaande literatuur zich primair op de stabiliteit van deze persona's in vrije tekstgeneratie (bijv. dialoog). Daarentegen blijft de stabiliteit van PDG's in niet-tekstzware outputs, specifiek bij Multiple-Choice Question Answering (MCQA), onderbelicht. In MCQA-omgevingen wordt een persona uitgedrukt via taakprestaties (bijv. een bioloog die biologievragen beantwoordt) in plaats van via stilistische tekstgeneratie. Eerdere studies suggereren dat deze omgevingen impliciet bevooroordeeld en onvoorspelbaar zijn, maar ze missen standaardisatie met betrekking tot modelkeuzes en hyperparameters. Dit artikel adresseert het gat in het karakteriseren en kwantificeren van de instabiliteit van LLM PDG's in MCQA-taken over diverse experimentele instellingen.

Methodologie

De auteurs evalueren vier open-source LLM-families (Llama-3.2-1B, Llama-3.1-8B, Qwen2.5-1.5B, Qwen2.5-7B, en Qwen2.5-14B) over 48 verschillende experimentele instellingen. Deze instellingen zijn afgeleid van combinaties van drie hyperparameters:

Persona Prompt Format (PPF): Variaties in hoe de persona wordt geïntroduceerd (bijv. "barebones" versus "identitynature").
Task Prompt Format (TPF): Variaties in hoe de vraag wordt gepresenteerd (bijv. "justanswer" versus "explain-persona").
Temperatuur ( $\tau$ ): Ingezet op 0.0, 0.5 en 1.0.

De evaluatie maakt gebruik van een samengestelde dataset ( $D$ ) van ongeveer 5.000 vragen afkomstig van MMLU, Social IQa en NormAd-Eti, die 10 domeinen beslaat (bijv. Wiskunde, Geschiedenis, Geneeskunde). De studie omvat 41 verschillende persona's, gecategoriseerd in identiteitsgebaseerde groepen (bijv. ras, geslacht) en beroepsrollen (bijv. advocaat, bioloog).

Om instabiliteit te kwantificeren, stellen de auteurs drie onderscheidende metrieken voor:

Prestatie-instabiliteit ( $I_A$ ): Meet de gevoeligheid van de modelnauwkeurigheid over experimentele instellingen heen. Het berekent het gemiddelde absolute paarverschil in nauwkeurigheid voor een persona over alle paren van instellingen.
Resultaat-instabiliteit ( $I_O$ ): Meet de variabiliteit in experimentele conclusies, specifiek de rangschikking van persona's. Het berekent de gewogen standaarddeviatie van de rang van een persona over instellingen, waarbij gewichten worden bepaald door de standaarddeviatie van de nauwkeurigheden in die instelling (rekening houdend met modelpariteit).
Vraag-correctheid-instabiliteit ( $I_Q$ ): Meet de consistentie van specifiek correct beantwoordde vragen. Het berekent de Jaccard-gelijkenis van de verzameling correct beantwoordde vragen over alle instellingen voor een persona, en trekt dit vervolgens af van 1 om het percentage niet-gedeelde correcte vragen weer te geven.

Belangrijkste Resultaten

De studie onthult dat PDG's in MCQA sterk instabiel zijn, met significante variaties waargenomen zelfs over vergelijkbare experimentele configuraties die in eerder werk werden gebruikt.

Modelgrootte en Familie: Instabiliteit neemt over het algemeen af naarmate de modelgrootte toeneemt. Grotere modellen (bijv. Qwen2.5-14B) vertonen lagere instabiliteitsscores over alle drie de dimensies vergeleken met kleinere tegenhangers (bijv. Llama-3.2-1B). Echter, modelfamilies vertonen ook onderscheidende instabiliteitspatronen.
Invloed van Hyperparameters:
- Task Prompt Format (TPF): Geïdentificeerd als de meest invloedrijke hyperparameter voor instabiliteit. Variaties in TPF (met name "explain"-formaten) introduceerden meer voorspellingsinstabiliteit dan temperatuur of persona prompt-formaten.
- Temperatuur: Hogere temperaturen ( $\tau=1.0$ ) leidden consistent tot grotere instabiliteit vergeleken met $\tau=0.0$ .
- Prompt Verbositeit: Meer verbale of abstracte prompt-formaten (bijv. "identitynature") resulteerden over het algemeen in lagere stabiliteit vergeleken met "barebones" formaten.
Domeinspecificiteit: Instabiliteit varieert aanzienlijk per vraagdomein. Wiskunde en Common Sense Reasoning-vragen vertoonden de hoogste instabiliteit, terwijl Geschiedenis en Cultureel Bewustzijn de laagste vertoonden. De auteurs hypothetiseren dat dit verband houdt met discrepanties in de representatie van trainingsdata voor deze domeinen.
Persona Onafhankelijkheid: De specifieke persona die werd gebruikt (of het nu identiteitsgebaseerd of beroepsmatig was) had weinig correlatie met de graad van instabiliteit. Instabiliteit werd gedreven door de experimentele instellingen zelf dan door de persona.
Stabiliteit versus Nauwkeurigheid: Er is een sterke relatie tussen stabiliteit en nauwkeurigheid. "Stabiele" instellingen (bijv. $\tau=0$ , eenvoudige prompts) leverden over het algemeen hogere gemiddelde en maximale nauwkeurigheid op dan "instabiele" instellingen.
Resultaat Divergentie: Verschillende experimentele instellingen leidden tot fundamenteel andere conclusies over welke persona het best presteerde. In instabiele settings kon de rangschikking van persona's drastisch verschuiven, en demografisch gerelateerde persona's (die geen invloed zouden moeten hebben op de prestaties van irrelevante taken) vertoonden inconsistente, potentieel bevooroordeelde gedragingen die varieerden per instelling.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

Identificatie van Instabiliteit: Het demonstreert dat PDG's in MCQA niet robuust zijn, en een hoge variantie vertonen in prestaties, resultaatrangschikkingen en vraag-niveau correctheid over standaard hyperparameter-variaties heen.
Nieuwe Metrieken: Het introduceert drie specifieke metrieken ( $I_A, I_O, I_Q$ ) die dimensies van instabiliteit vastleggen die verder gaan dan eenvoudige nauwkeurigheid, waardoor wordt aangetoond dat identieke nauwkeurigheidsscores significante inconsistenties kunnen maskeren in welke vragen correct worden beantwoord of welke persona als "beste" wordt beschouwd.
Actiegerichte Inzichten: De studie levert bewijs dat de selectie van hyperparameters (met name TPF) de validiteit van PDG-experimenten kritiek beïnvloedt. Het benadrukt dat instabiele settings kunnen leiden tot tegenstrijdige bevindingen over de effectiviteit en bias van persona's, wat suggereert dat toekomstig onderzoek de robuustheid van deze stabiliteitsdimensies rigoureus moet controleren en rapporteren om robuuste en reproduceerbare resultaten te waarborgen.

De auteurs concluderen dat de instabiliteit van PDG's een kritieke factor is die bias kan verhullen of nabootsen, wat een verschuiving noodzakelijk maakt naar het evalueren van de robuustheid van persona-gestuurde evaluaties naast hun nauwkeurigheid.