Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

Technische Samenvatting: Twee kwaden, geen goed: Het auditeren van sociale wenselijkheid-bias in LLM-annotatoren voor computationele sociale wetenschappen

Probleemstelling
Grote taalmodellen (LLM's) worden steeds vaker ingezet als goedkope annotatoren in de computationele sociale wetenschappen (CSS) om politieke teksten, haatzaaiende taal, sentiment en publieke opinie te meten. Er bestaat echter een kritische kloof in het begrip of de "door alignment gevormde" fouten van deze modellen de empirische grootheden behouden die onderzoekers beogen te rapporteren. Hoewel accuratesse per instantie vaak de standaardmetriek is, leunt CSS op geaggregeerde metingen (bijv. prevalentieschattingen, groepsvergelijkingen, temporele verschuivingen). Het artikel betoogt dat een model een oppervlakkig acceptabele gemiddelde accuratesse kan bezitten, terwijl het de onderliggende distributie van labels systematisch vervormt door sociale wenselijkheid-responsbias (SDR). Deze bias manifesteert zich als een neiging om normatief geprefereerde reacties te produceren in plaats van reacties die getrouw zijn aan de input-instantie, wat potentieel kan leiden tot onjuiste wetenschappelijke conclusies over het publieke sentiment of de prevalentie van schadelijke inhoud.

Methodologie
De auteurs voeren een vergelijkende audit uit over drie open-source, 7B-parameter instructie-getunede modellen: Zephyr-7B, Mistral-7B-Instruct-v0.3 en Qwen2.5-7B-Instruct. Deze modellen verschillen in hun basisfamilies en post-training recepten (bijv. preference optimization, supervised instruction tuning).

De evaluatie beslaat zes taken uit de TweetEval benchmark:

1. Haatzaaiende taal (Hate Speech)
2. Beledigende taal (Offensive Language)
3. Standpuntdetectie (Abortus)
4. Sentiment
5. Emotie
6. Ironie

De studie test vier prompting-condities om interventies te simuleren die beoefenaars zouden kunnen gebruiken zonder hertraining:

1. Neutraal: Alleen taakinstructie.
2. Veiligheidskader (Safety Framing): Expliciete instructies met betrekking tot veiligheid, eerlijkheid en het vermijden van schade.
3. Depersonaliseerd: Het modelleren van het model als een deterministische labelfunctie in plaats van een behulpzame assistent.
4. Chain-of-Thought (CoT): Het toestaan van tussenliggende redenering vóór het uiteindelijke label.

Dit ontwerp levert 72 experimentele cellen op (3 modellen × 6 taken × 4 prompts). De auteurs analyseren de prestaties met behulp van vier complementaire metrieken:

• Macro-F1: Algemene taakprestatie.
• False Benign Rate (FBR): De snelheid waarmee werkelijk schadelijke voorbeelden een onschadelijk label krijgen.
• False Alarm Rate (FAR): De snelheid waarmee onschadelijke voorbeelden onterecht als schadelijk worden gelabeld.
• Downstream Distortion: De absolute fout tussen de voorspelde en de gouden klasse-prevalentie (gericht op "TEGEN" voor de abortus-standpunt en "HAATZAAIENDE TAAL" voor haatzaaiende taal).

Belangrijkste Bijdragen

1. Multi-Task Audit: Een systematische evaluatie van alignment-gevoelig annotatiegedrag over haatzaaiende taal, beledigende taal, standpunt, sentiment, emotie en ironie.
2. Bewijs van Aggregaat-onvoldoendeheid: Demonstratie dat geaggregeerde metrieken (zoals Macro-F1 of totale prevalentie-accuratesse) onvoldoende zijn voor CSS-implementatie. Het artikel legt gevallen bloot waar de prevalentie-accuratesse alleen correct lijkt omdat tegengestelde klasse-conditionele fouten (bijv. het missen van schadelijke inhoud terwijl benigne inhoud wordt geflagd) op corpusniveau toevallig elkaar opheffen.
3. Falen-Taxonomie: De identificatie van drie terugkerende foutpatronen met specifieke diagnostische kenmerken:
   • Leniency Bias (Mildheid-bias): Hoge FBR en lage FAR (onderverandering van schadelijke inhoud).
   • Overcorrectie: Lage FBR en hoge FAR (oververandering van schadelijke inhoud).
   • Neutrality Bias (Neutraliteits-bias): Onderdrukking van de prevalentie van sterke standpuntklassen ten gunste van opgeblazen neutrale labels.

Belangrijkste Resultaten

• Divergerende Foutrichtingen: Modellen falen niet uniform. Zephyr vertoont een sterke leniency bias, met name bij beledigende taal (FBR = 0,729, FAR = 0,031), waarbij het systematisch minder schadelijke labels toepast. Daartegenover vertonen Mistral en Qwen overcorrectie bij haatzaaiende taal, waarbij Mistral 60,4% van de niet-haatzaaiende tweets als haatzaaiend labelt (FAR = 0,604).
• Neutrality Bias op Politiek Standpunt: Bij de taak over het abortus-standpunt onderschatten alle drie de modellen systematisch de prevalentie van de "TEGEN"-positie (gouden rate: 67,5%) en blazen ze het "GEEN/Neutraal"-label op. Onder neutrale prompting schatte Zephyr de oppositie slechts op 27,9%, terwijl Mistral en Qwen 43,9% schatten. Deze bias bleef aanwezig over alle prompting-condities.
• Ineffectiviteit van Prompting-interventies: Geen enkele prompting-interventie (Safety, Depersonalized, CoT) corrigeerde deze fouten consistent over alle modellen en taken. In sommige gevallen maakten interventies de distortie erger (bijv. Safety framing verminderde de geschatte "TEGEN"-rate voor Mistral verder).
• Toevallige Cancellatie: Een cruciale bevinding betreft de haatzaaiende taalresultaten van Zephyr. Onder neutrale prompting kwam de geschatte prevalentie van Zephyr (43,0%) exact overeen met de gouden rate. Dit was echter een "toevallige cancellatie" van een hoge FBR (0,316) en een hoge FAR (0,239). Een onderzoeker die uitsluitend vertrouwt op prevalentie-accuratesse zou ten onrechte concluderen dat het model betrouwbaar is, ondanks dat het een aanzienlijk deel van de individuele instanties verkeerd labelt.
• Substantiële Impact: De waargenomen distorties (variërend van 14 tot 40 procentpunten) zijn groot genoeg om substantiële empirische conclusies om te gooien, zoals het veranderen van het karakter van een dataset van "sterk oppositioneel" naar "evenwichtig verdeeld", of het doen lijken alsover dat een corpus bijna twee keer zo toxisch is als het in werkelijkheid is.

Significantie en Claims
Het artikel stelt dat voor betrouwbare AI in de computationele sociale wetenschappen de "headline"-metriek van gemiddelde accuratesse misleidend is. Het primaire risico is niet louter lagere accuratesse, maar systematische meetvervorming die het empirische verhaal dat een onderzoeker rapporteert, verandert.

De auteurs claimen dat:

1. Alignment vormt foutprofielen: Keuzes in post-training leiden tot specifieke, directionele biases (mildheid versus overcorrectie) die verschillen tussen modellen, wat betekent dat een onderzoeker die halverwege een project van model wisselt, onbedoeld zijn empirische conclusie kan omkeren zonder de analyse te veranderen.
2. Prompting is onderdeel van het instrument: De keuze van de prompt fungeert als een verborgen vrijheidsgraad die de prevalentieschattingen aanzienlijk kan veranderen (bijv. een spreiding van 16,8 punten voor Mistral op de abortus-standpunt taak afhankelijk van de prompt).
3. Validatieprotocol: Onderzoekers moeten verder gaan dan Macro-F1. Voordat men een annotatie-pipeline opschaalt, moeten beoefenaars de klasse-conditionele fouten (FBR/FAR) en de downstream prevalentie-distortie valideren tegen een kleine gouden steekproef.
4. Rapportage-standaarden: Het rapporteren van het model en de prompt als onderdeel van het meetinstrument is een basisvereiste, geen optionele openbaarmaking, omdat de directionele biases van de annotator worden overgenomen door elke claim met betrekking tot burgerlijk discours of publieke opinie die uit de data wordt afgeleid.

Het artikel concludeert dat een model dat geaggregeerd gekalibreerd lijkt, nog steeds fundamenteel kan falen op de meetvaliditeit die vereist is voor sociale wetenschappen, wat een verschuiving noodzakelijk maakt naar het evalueren van annotatoren tegen downstream inferentiële doelen in plaats van generieke classificatie-leaderboards.