Technische Samenvatting: Adaptief Interviewen voor Persona-simulatie in LLM's

Probleemstelling

Het nauwkeurig simuleren van de beslissingen van een specifiek individu blijft een aanzienlijke uitdaging voor Large Language Models (LLM's). Hoewel LLM's populatieniveau- opinie-distributies kunnen reproduceren wanneer ze worden geconditioneerd op grove demografische prompts, slagen ze er vaak niet in de individuele nuances te vangen die nodig zijn voor specifieke beslissingssimulatie. Bestaande benaderingen vertrouwen doorgaans op statische persona-beschrijvingen (bijvoorbeeld demografische profielen of korte biografische samenvattingen), die de dynamische waarden, ervaringen en contextuele aanwijzingen missen die noodzakelijk zijn voor realistisch individueel modelleren. Bovendien suggereert bestaand onderzoek dat dergelijke statische conditionering vaak niet betrouwbaar de opinies van specifieke groepen reproduceert, zelfs wanneer modellen expliciet worden gestuurd naar die identiteiten.

Methodologie

De auteurs stellen een adaptief interviewkader voor dat is ontworpen om persona-relevante informatie te eliciteren via een gestructureerd, meertraps dialoog, in plaats van te vertrouwen vooraf gedefinieerde statische attributen. De methodologie bestaat uit drie distincte fasen:

1. Kernvragen (Fase 1): Het model genereert tien open, concrete vragen die tien empirisch onderbouwde psychologische domeinen bestrijken (bijvoorbeeld gedragsprioriteiten, beslissingslogica, angsten, relationele grenzen en levensverhaal). Deze vragen zijn ontworpen om specifieke voorbeelden uit te nodigen in plaats van abstracte zelfbeoordelingen.
2. Adaptieve Opvolgvragen (Fase 2): Gebaseerd op de antwoorden van de deelnemer op de kernvragen, genereert het model dynamisch 5–6 opvolgvragen. Deze zijn gericht op het verduidelijken van ambiguïteiten, het verkennen van emotioneel opvallende segmenten, of het verdiepen van het begrip van latente waarden en beslissingsrelevante aanwijzingen.
3. Gesynthetiseerde Samenvatting (Fase 3): Een beknopte persoonlijkheidssamenvatting wordt gedistilleerd uit het volledige gesprek.

Evaluatieopzet:
Het kader wordt geëvalueerd met een beslissingssimulatietaken gebaseerd op morele dilemma-scenario's (gebaseerd op CNI-achtige treinproblemen en paradigma's van altruïsme versus loyaliteit). De studie omvat 20 deelnemers die het drie-fasen interview ondergaan en vervolgens gestandaardiseerde assessments (Big Five, MBTI) en 25 morele dilemma-vragen (grondwaarheid) invullen.

Het vermogen van de LLM om deelnemersbeslissingen te simuleren, wordt getest onder drie conversatiecontexten:

• Core-10: Het model ontvangt alleen de antwoorden op de eerste tien kernvragen.
• Volledig Interview: Het model ontvangt het volledige transcript, inclusief zowel kernantwoorden als adaptieve opvolguitwisselingen.
• Persoonlijkheidssamenvatting: Het model ontvangt de gedistilleerde samenvatting van het volledige dialoog.

De evaluatie meet voorspellingsnauwkeurigheid (exacte overeenkomst en versoepelde metrieken voor ordinaal taken) en analyseert redeneersporen om te bepalen of modelbeslissingen zijn gebaseerd op bewijs afgeleid uit de conversatiecontext.

Belangrijkste Bijdragen

1. Adaptief Interviewkader: De introductie van een dynamisch, drie-fasen dialoagsysteem dat opvolgvragen genereert op basis van gebruikersantwoorden om rijkere, beslissingsrelevante persona-informatie te verzamelen.
2. Evaluatieprotocol: Een nieuwe opzet voor individuele beslissingssimulatie met behulp van morele dilemma-scenario's, waarbij modelprestaties worden vergeleken over verschillende niveaus van conversatiecontext (Core-10, Volledig Interview en Samenvatting).
3. Redeneerspoor-analyse: Een gedetailleerde analyse van 340 categorische beslissingen die aantoont dat adaptieve opvolgvragen fungeren als een selectief grondslagmechanisme. De studie toont aan dat bewijs afgeleid uit opvolgvragen in ongeveer 40% van de sporen van het volledige interview wordt opgenomen, en voorspellingen die zijn gebaseerd op dit bewijs nauwkeuriger zijn dan die die alleen zijn gebaseerd op kernantwoorden (45,5% versus 39,3%).

Resultaten

• Aggregate Nauwkeurigheid: In tegenstelling tot de intuïtie dat "meer context gelijkstaat aan betere simulatie", neemt de aggregate nauwkeurigheid niet monotoon toe met conversatie-rijkdom. De Persoonlijkheidssamenvatting-conditie behaalde de hoogste aggregate nauwkeurigheid (0,393), gevolgd door Core-10 (0,379) en Volledig Interview (0,365). De auteurs schrijven dit toe aan het feit dat de samenvatting een compacte representatie biedt die ruis voor bepaalde taken reduceert.
• Taakafhankelijke Prestaties:
  • Categorische Taken: Discrete oordelen (bijvoorbeeld meerkeuze-dilemma's, MBTI-inferentie) presteren het beste met gecomprimeerde samenvattingen.
  • Ordinale Taken: Likert-stijl oordelen en rangschikkingstaken profiteren van rijkere conversatiecontext. Hoewel de exacte-overeenkomstnauwkeurigheid lager was voor de Volledig Interview-conditie op Likert-schalen, onthulde het toestaan van een tolerantie van één punt een significant betere ordinale kalibratie (74,3% versus 57,9% voor Core-10).
• Selectieve Grondslag: De belangrijkste bevinding is dat het voordeel van adaptief interviewen selectief is. In de Volledig Interview-conditie incorporateerde 40% van de voorspellingen bewijs afgeleid uit opvolgvragen. Wanneer het model zijn redenering expliciet baseerde op dit opvolgbewijs, verbeterde de nauwkeurigheid (45,5%) in vergelijking met voorspellingen die alleen waren gebaseerd op kerninterviewinhoud (39,3%).
• Foutanalyse: Kwalitatieve analyse identificeerde systematische interpretatieve bias in LLM's, waaronder een "Normatieve Regel Bias" (standaard naar procedurele rechtvaardigheid grijpen), een "Prosociale Harmonie Bias" (voorkeur voor coöperatieve uitkomsten) en een "Over-verantwoordelijkheid Bias" (zoeken naar compromislösungen), die vaak leidden tot fouten wanneer gebruikers afweken van deze normatieve patronen.

Betekenis en Claims

Het artikel stelt dat effectieve persona-simulatie niet alleen vereist het eliciteren van rijkere bewijslast, maar ook de betrouwbare grondslag van modelredenering in die gebruikersspecifieke bewijslast.

• Mechanisme boven Booster: Adaptief interviewen fungeert minder als een uniforme nauwkeurigheidsversterker en meer als een informatiebeschikbaarheidsmechanisme. Zijn waarde wordt pas gerealiseerd wanneer het model de extra aanwijzingen die via opvolgvragen zijn geëliciteerd, betekenisvol opneemt in zijn redeneerproces.
• Taakadaptieve Representaties: De optimale persona-representatie hangt af van de downstream-taak. Systemen moeten uniforme compressie vermijden; in plaats daarvan moeten ze gecomprimeerde samenvattingen gebruiken voor discrete categorische taken en volledige conversatiegeschiedenissen voor ordinale kalibratie en voorkeursrangschikking.
• Verschuiving in Evaluatie: De auteurs betogen dat het evalueren van persona-simulatie moet gaan voorbij strikte exacte-overeenkomstnauwkeurigheid om redeneringsgrondslag en taakspecifieke kalibratiemetrieken op te nemen.

De studie concludeert dat hoewel rijkere eliciteringsprotocollen noodzakelijk zijn, ze op zichzelf onvoldoende zijn; verbeteringen hangen af van of downstream inferentiemechanismen voorspellingen betrouwbaar kunnen verankeren in de specifieke bewijslast die door de gebruiker wordt geboden.