Measuring Self-Rating Bias in LLM-Generated Survey Data: A Semantic Similarity Framework for Independent Scale Mapping

Titel

Het meten van zelf-rating bias in door LLM's gegenereerde surveydata: Een semantische gelijkaardigheidsframework voor onafhankelijke schaaltoewijzing.

1. Het Probleem: Circulariteit in Meting

Het artikel identificeert een fundamenteel methodologisch probleem bij het gebruik van Large Language Models (LLM's) voor het genereren van synthetische surveydata. De standaardpipeline werkt als volgt:

1. Een LLM genereert een tekstueel antwoord op een surveyvraag.
2. Dezelfde LLM (of een model uit dezelfde familie) wijst een numerieke rating toe aan die tekst.

Dit creëert een circulariteit: het model beoordeelt zijn eigen output. Dit is vergelijkbaar met een student die zijn eigen tentamen nakijkt. De consequenties zijn:

• Inflatie van betrouwbaarheid: De interne consistentie van het model weerspiegelt zijn eigen biases in plaats van het onderzochte construct.
• Gebrek aan onafhankelijkheid: Validatie gebaseerd op overeenstemming tussen gegenereerde tekst en de door hetzelfde model toegewezen score meet slechts de coherentie van de modeloutput, niet de alignering met menselijke oordelen.
• Variance compressie: LLM's neigen om fouten te comprimeren rond een klein gemiddelde, wat leidt tot kunstmatig precieze metingen die de werkelijke meetonzekerheid onderschatten.

2. Methodologie: Semantic Similarity Rating (SSR)

Om deze circulariteit op te lossen, introduceert de auteur het Semantic Similarity Rating (SSR) framework. Dit framework ontkoppelt de generatie van de tekst van de meting van de schaal.

Architectuur:

• Generatiemodel: Een LLM (bijv. Claude Haiku 4.5) genereert een natuurlijke tekstuele reactie op basis van een persona en een vraag.
• Meetkanaal (Onafhankelijk): Een apart embedding-model (bijv. Voyage AI voyage-3.5-lite of OpenAI text-embedding-3-small) mapt de gegenereerde tekst naar een numerieke rating.
• Mechanisme:
  1. Ankers: Er worden vooraf gedefinieerde "anker-uitspraken" (anchor statements) gebruikt die elk punt op de Likert-schaal (1-5) vertegenwoordigen.
  2. Embedding: Zowel de gegenereerde tekst als de anker-uitspraken worden omgezet in vectorrepresentaties.
  3. Asymmetrische Embedding: De tekst wordt behandeld als een "query" en de ankers als "documenten" om de discriminatie tussen schaalpunten te maximaliseren.
  4. Cosine Similariteit: De gelijkaardigheid wordt berekend via cosine similarity.
  5. Normalisatie & Softmax: De ruwe gelijkaardigheden worden genormaliseerd (min-max) en via een softmax-functie (met temperatuur $\tau$) omgezet in een kansverdeling.
  6. Rating: De uiteindelijke rating is het gewogen gemiddelde van de schaalpunten.

Belangrijke experimentele variabelen:

• Ankerkwaliteit: Vergelijking tussen formeel jargon ("Ik ben zeer ontevreden") en natuurlijk, gedragsgericht taalgebruik ("Vreselijk. Ik was gefrustreerd en boos...").
• Temperatuur: Optimalisatie van de softmax-temperatuur voor de beste balans tussen precisie en zekerheid.

3. Belangrijkste Bijdragen

1. Validatie van SSR: Systematische kalibratie en validatie van het SSR-framework, waarbij wordt aangetoond dat het circulariteit elimineert door architectonisch onafhankelijke modellen te gebruiken.
2. Dominantie van Ankerkwaliteit: Het bewijs dat natuurlijke, gedragsgerichte anker-uitspraken formeel jargon met 29 procentpunten overtreffen in nauwkeurigheid.
3. Kwantificering van Bias: Een vooraf geregistreerd experiment ($N=345$) dat een 4-voudige compressie van de variantie in LLM-zelf-rating blootlegt ($\sigma^2 = 0,21$ vs. $0,87$ voor SSR).
4. Cross-Model Generalisatie: Aantonen dat de bevindingen gelden over verschillende modelproviders (Anthropic, OpenAI, Voyage) en dat variance compressie een algemene eigenschap van LLM's is, niet alleen een artefact van één specifiek model.

4. Resultaten

Nauwkeurigheid en Prestaties:

• Pilotstudie ($N=17$): Met de geoptimaliseerde configuratie (natuurlijke ankers, asymmetrische embedding) bereikte SSR 88% exacte match en 100% binnen $\pm 1$.
• Cross-validatie ($N=69$, 8 domeinen): De nauwkeurigheid varieerde per domein (33% tot 90% exacte match), met een totaal van 65-67% exacte match en 91% binnen $\pm 1$.
• Vergelijking met Directe LLM-rating:
  • Directe LLM-rating (cirkulair) behaalde 87% exacte match (Claude) en 83% (GPT-4o).
  • SSR behaalde 65-77% (afhankelijk van het embedding-model).
  • Conclusie: SSR is minder nauwkeurig, maar biedt methodologische onafhankelijkheid. De lagere nauwkeurigheid is niet te wijten aan informatie-ongelijkheid (een controlegroep zonder vraagtekst verbeterde zelfs de LLM-precisie).

Variance Compressie en Bias:

• LLM's tonen een systematische negatieve bias bij het beoordelen van hun eigen gegenereerde tekst (ze scoren lager dan de verwachte waarde).
• De variantie van de fouten bij LLM-rating is 4 keer kleiner dan bij SSR. Dit betekent dat LLM's kunstmatig "zeker" lijken, terwijl SSR de werkelijke meetonzekerheid beter weergeeft.
• Een cross-model controle (GPT-4o beoordeelt Claude-tekst) toonde aan dat deze compressie een algemene eigenschap van LLM's is, niet beperkt tot zelf-beoordeling.

Domein-specifieke prestaties:

• Sterke domeinen: Tevredenheid (90%), Aankoopintentie (88%).
• Zwakke domeinen: Belang (33%), Betrouwbaarheid (44%). Dit suggereert dat de anker-uitspraken voor deze constructen nog verder verfijning nodig hebben.

5. Betekenis en Implicaties

• Trade-off Nauwkeurigheid vs. Onafhankelijkheid: Er is een fundamenteel compromis. Directe LLM-rating is nauwkeuriger omdat het model zijn interne kennis van schalen gebruikt, maar dit introduceert circulariteit. SSR is minder nauwkeurig maar biedt een onafhankelijke validatielaag die biases van het generatiemodel niet deelt.
• Aanbevolen Praktijk: Voor exploratief onderzoek kan directe rating volstaan. Voor confirmatief onderzoek en psychometrische validatie moet SSR (of een vergelijkbaar onafhankelijk kanaal) worden gebruikt om de meetonzekerheid correct te kwantificeren.
• Hybride Architectuur: Een praktische aanpak is om LLM's te gebruiken voor primaire rating en SSR als een onafhankelijke "check". Cases waarbij de methoden sterk afwijken, kunnen worden gemarkeerd voor menselijke review.
• Ankerkwaliteit is cruciaal: De kwaliteit van de semantische ankers (natuurlijk taalgebruik vs. formeel jargon) heeft een grotere impact op de prestaties dan de keuze van het algoritme of de temperatuur-instellingen.

Conclusie:
Het artikel toont aan dat meting in synthetische surveydata onafhankelijk moet zijn van generatie om betrouwbare onzekerheidsmetingen te krijgen. Hoewel SSR momenteel minder nauwkeurig is dan directe LLM-rating, is het essentieel om de "kruisende" bias en de kunstmatige precisie van LLM's te detecteren. De beschikbaarheid van de dataset, ankerbibliotheken en broncode maakt replicatie en verdere ontwikkeling mogelijk.