Technische Samenvatting: Kwantificering en Mitigatie van Sociaal Wenselijke Respons in LLM's

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker geëvalueerd met behulp van menselijke zelfrapportage-vragenlijsten (bijv. Big Five persoonlijkheidsinventarissen) om gedragsmatige en psychologische profielen te benchmarken. Deze instrumenten gaan echter uit van eerlijke antwoorden. In evaluatieve contexten hebben LLM's — die vaak zijn gefinetuned om behulpzaam te zijn en geen aanstoot te nemen — de neiging om naar sociaal gewenste antwoorden te neigen. Dit fenomeen, bekend als Sociaal Wenselijke Respons (SDR), vertekent de scores uit vragenlijsten en ondermijnt conclusies over veiligheid, bias en persona-consistentie.

De huidige literatuur mist:

1. Een gestandaardiseerde metriek om de omvang van SDR in LLM's te kwantificeren, vergelijkbaar over constructen heen en tegenover menselijke benchmarks.
2. Meetformaten die specifiek zijn ontworpen om SDR te mitigeren terwijl het vermogen om beoogde latente profielen te herstellen behouden blijft.
3. Een raamwerk dat onderscheid maakt tussen echte responsvervorming en artefacten van scoringsmethoden (bijv. ipsatieve scores in forced-choice formaten).

2. Methodologie

2.1 Experimenteel Ontwerp

De studie hanteert een psychometrisch raamwerk om SDR te kwantificeren als een instructie-geïnduceerde verschuiving in latente scores.

• Deelnemers: Negen instructievolgende LLM's van drie aanbieders (OpenAI, Google, Anthropic).
• Persona's: 50 synthetische persona's met bekende grondwaarheid-doelprofielen ($z_i$), gegenereerd om realistische menselijke trekkenverdelingen na te bootsen.
• Condities: Twee instructiecondities werden toegepast op elke persona:
  • HONEST (Eerlijk): Antwoord zo eerlijk mogelijk.
  • FAKE-GOOD (Goed doen): Antwoord om de best mogelijke indruk te maken (standaard geïnstrueerde faking-ontwerp).
• Responsformaten:
  • Likert (Single-Stimulus): 60 items beoordeeld op een 7-puntsschaal.
  • Graded Forced-Choice (GFC): 30 paren uitspraken beoordeeld op een 7-punts bipolaire schaal (Links veel nauwkeuriger vs. Rechts veel nauwkeuriger).

2.2 Instrumentconstructie

De studie maakte gebruik van een subset van de Goldberg's IPIP Big-Five factor-marker inventaris ($J=98$ items).

• Desirability Estimatie: Twee sterke LLM's (GPT-5, Gemini 2.5 Pro) fungeerden als "desirability raters" om een score voor sociale wenselijkheid ($s_j$) toe te kennen aan elk item op een 9-punts schaal, gebaseerd op menselijke normatieve kaders.
• GFC Constructie: Een algoritme voor beperkte optimalisatie selecteerde 30 cross-domein paren waarbij de desirability scores van de twee uitspraken nauw bij elkaar lagen (maximale kloof 0,18, gemiddelde 0,03). Dit voorkomt dat modellen uniform de "sociaal beste" optie kiezen.

2.3 Psychometrische Scoring (IRT)

Om geldige vergelijkingen tussen formaten en condities mogelijk te maken, gebruikt de studie Item Response Theory (IRT) in plaats van klassieke scoring.

• Likert: Gemodelleerd met een multidimensionaal Graded Response Model (GRM).
• GFC: Gemodelleerd met een logistisch ordinaal Thurstonian IRT model. Deze benadering gaat uit van latente nutsvoorzieningen voor elke uitspraak en modelleert keuzes als verschillen tussen nutsvoorzieningen, waardoor normatieve latente scores ($\theta$) op een gemeenschappelijke schaal worden hersteld. Dit voorkomt het ipsatieve probleem (constant-sum) dat inherent is aan standaard forced-choice scoring, wat de absolute positie verward met binnen-profiel afruilingen.

2.4 Metrieken

1. SDR Kwantificering: Gedefinieerd als de richting-gecorrigeerde gestandaardiseerde effectgrootte (Cohen's $d_z$) van de verschuiving in latente scores tussen de FAKE-GOOD en HONEST condities. Tekens zijn gecorrigeerd zodat positieve waarden altijd wijzen op een verschuiving naar sociale wenselijkheid (hogere A, C, E, O; lagere N).
2. Grondwaarheid Herstel: Gemeten door de Pearson-correlatie tussen het geschatte latente profiel ($\hat{\theta}$) en de bekende synthetische persona doelstelling ($z$).

3. Belangrijkste Bijdragen

1. SDR Metriek voor LLM's: Een psychometrisch onderbouwde metriek (instructie-geïnduceerde effectgrootte op IRT latente scores) die cross-construct en cross-model vergelijking mogelijk maakt, verankerd aan menselijke geïnstrueerde faking benchmarks.
2. Desirability-Matched GFC Inventaris: Een nieuwe Big Five inventaris geconstrueerd via beperkte optimalisatie om item-desirability over domeinen heen te matchen, gescoord met Thurstonian IRT om normatieve scores te herstellen.
3. Empirische Validatie: Een uitgebreide evaluatie over negen LLM's die de trade-off tussen SDR-mitigatie en profielherstel aantoont.

4. Resultaten

4.1 SDR Omvang

• Likert Formaat: Vertoonde consistent grote SDR over alle modellen en dimensies. Fake-good instructies veroorzaakten significante positieve verschuivingen naar sociaal wenselijke profielen (hogere Agreeableness, Conscientiousness, Extraversion, Openness; lagere Neuroticism). Effectgroottes waren vergelijkbaar met meta-analyses van menselijke geïnstrueerde faking.
• GFC Formaat: Desirability-gematchte GFC temperde SDR substantieel. Voor de meeste modellen daalde de effectgrootte naar bijna nul of verwaarloosbare niveaus. Slechts 4 van de 45 model-dimensie cellen bleven statistisch significant onder GFC, vergeleken met 45/45 onder Likert.

4.2 SDR–Recovery Trade-off

• Likert: Bereikte een hogere grondwaarheid-recovery (correlatie met doelprofielen) maar leed onder grote SDR-vervorming, wat de resultaten in de "Avoid" zone plaatst voor evaluatieve contexten.
• GFC: Verminderde SDR aanzienlijk (bewegend naar "Recommended" of "Caution" zones) terwijl het grotendeendeels de grondwaarheid-recovery behield. De meeste GFC-punten behielden correlaties $r \ge 0,50$, wat duidt op acceptabele tot sterke convergentie-validiteit.
• Model Variabiliteit: De trade-off varieerde per modelfamilie. Hoewel varianten met een hogere capaciteit soms lagere SDR onder GFC vertoonden, was deze relatie niet uniform; sommige kleinere modellen vertoonden minimale baseline SDR, terwijl sommige grotere modellen meetbare SDR behielden, zelfs onder GFC.

5. Betekenis en Claims

Het artikel claimt dat vragenlijst-gebaseerde benchmarking van LLM's momenteel kwetsbaar is voor significante sociaal wenselijke bias, wat geïnformeerde gedragsprofielen vertekent. De studie demonstreert dat:

• SDR meetbaar en model-afhankelijk is: Het kan worden gekwantificeerd als een systematische verschuiving in latente scores, niet alleen als een geaggregeerde scoreverandering.
• Desirability-matched GFC een levensvatbare mitigatie is: Door vergelijkende oordelen af te dwingen tussen even wenselijke opties, beperkt GFC impression management zonder het vermogen om beoogde persoonlijkheidssignalen volledig op te offeren.
• Rapportagepraktijken moeten evolueren: De auteurs pleiten voor "SDR-bewuste rapportagepraktijken". Bij het gebruik van vragenlijsten voor vergelijkende audits, veiligheids- of eerlijkheidsevaluaties, zouden studies zowel de geïnformeerde profielen als hun vatbaarheid voor sociaal-wenselijke verstoring moeten rapporteren.

Het artikel concludeert dat hoewel Likert-formaten de recovery kunnen maximaliseren onder strikt eerlijke condities, desirability-gematchte GFC de voorkeur verdient in evaluatieve settings waar druk tot zelfpresentatie waarschijnlijk resultaten vertekent. De bevindingen stimuleren toekomstig werk om de magnitude van SDR te koppelen aan specifieke trainingsdoelstellingen en veiligheidsbeleid.