💬 NLP

From Fallback to Frontline: When Can LLMs be Superior Annotators of Human Perspectives?

Dit paper betoogt dat grote taalmodellen (LLMs) in plaats van slechts een noodoplossing, onder specifieke omstandigheden statistisch superieure en betrouwbare schatters kunnen zijn van menselijke perspectieven en groepsopvattingen.

Oorspronkelijke auteurs: Hasan Amin, Harry Yizhou Tian, Xiaoni Duan, Chien-Ju Ho, Rajiv Khanna, Ming Yin

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hasan Amin, Harry Yizhou Tian, Xiaoni Duan, Chien-Ju Ho, Rajiv Khanna, Ming Yin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een grote, drukke markt hebt waar iedereen een mening heeft over een nieuw product. Soms wil je weten: "Wat denkt de gemiddelde vrouw hierover?" of "Wat vindt de gemiddelde tiener dit?". In de wereld van kunstmatige intelligentie (AI) noemen we dit het peilen van menselijke perspectieven.

Vroeger dachten we dat je daarvoor altijd echte mensen nodig had. Als je een AI (een Large Language Model of LLM) vroeg om een mening te geven, zagen we dat als een noodoplossing: "Oh, we hebben geen tijd of geld voor mensen, laten we de robot maar even vragen." We zagen de AI als een goedkope, maar onbetrouwbare vervanger.

Dit paper zegt echter: "Wacht even, dat is niet helemaal waar."

Hier is de kern van het verhaal, vertaald naar een simpele analogie:

1. De Grootvader en de Telefoonboek-Analist

Stel je twee personen voor die moeten raden wat een hele stad van een bepaalde grap vindt:

De Grootvader (De Mens): Hij heeft zelf in de stad gewoond. Hij kent zijn buren, zijn familie en zijn vrienden. Als hij vraagt: "Wat vinden mijn buren?", gebruikt hij zijn eigen ervaring. Maar hij heeft een probleem: hij is moe, hij heeft een slechte dag, en hij denkt misschien dat alle buren net zo zijn als hijzelf. Soms is hij heel enthousiast, soms heel somber. Zijn antwoord is dus zeer wisselend (hoge variatie).
De Telefoonboek-Analist (De AI): Deze persoon heeft nooit in de stad gewoond. Hij heeft wel een gigantisch telefoonboek gelezen met miljoenen gesprekken. Hij heeft geen gevoel, maar hij is extreem consistent. Als je hem dezelfde vraag twee keer stelt, geeft hij bijna hetzelfde antwoord. Hij is niet moe, niet emotioneel en niet bevooroordeeld door zijn eigen slechte dag.

De ontdekking: Als je maar één vraag stelt (een klein budget), is de Telefoonboek-Analist vaak beter dan de Grootvader. Waarom? Omdat de Grootvader die dag "niet in zijn schik" is en een rare mening heeft, terwijl de Analist een stabiel, gemiddeld antwoord geeft dat dichter bij de werkelijkheid ligt dan de willekeurige buurman.

2. De "Grootvader" en de "Buren" (Het Coupling-probleem)

Het paper legt uit dat mensen een lastig probleem hebben: hun ervaring en hun oordeel zijn aan elkaar gekoppeld.

Als een man vraagt wat vrouwen vinden van een grappige grap, denkt hij misschien: "Ik vind dit grappig, dus vrouwen vinden het ook grappig." Hij gebruikt zijn eigen bril (zijn eigen identiteit) om de wereld te zien. Dit heet koppeling. Zijn verbeelding van de buren en zijn oordeel over de grap werken samen om een fout te maken die groter is dan de som der delen.
De AI heeft geen "buren" en geen "eigen identiteit". Zijn "verbeelding" (wat hij in zijn training heeft gelezen) en zijn "oordeel" (hoe hij antwoordt) komen uit verschillende delen van zijn systeem. Ze zijn minder aan elkaar gekoppeld. Daardoor maakt hij minder van die grote, super-fouten die mensen maken als ze in een andere groep proberen te denken.

3. De "Redenering" Valstrik (Het Paradox)

Er is een verrassend stukje in het paper. Je zou denken: "Als de AI even goed nadenkt (Chain-of-Thought), wordt hij dan beter?"
Nee, soms wordt hij slechter.

Analogie: Stel je voor dat je de Analist vraagt: "Denk eerst goed na over wat een vrouw zou vinden."
In plaats van te kijken naar de statistieken ("Wat vinden 100 vrouwen in mijn boek?"), begint de AI te redeneren als een filosoof: "Nou, een vrouw zou dit misschien niet leuk vinden omdat het niet beleefd is..."
De AI stopt dan met het schatten van een groep en begint te beoordelen volgens een regelsysteem. Hij probeert niet meer te raden wat de groep denkt, maar wat hij denkt dat goed is. Dit heet de "Redenerings-Paradox". Soms helpt het nadenken de AI juist om de menselijke mening uit het oog te verliezen.

4. Wanneer is de AI de Held en wanneer de Slechterik?

Het paper geeft een handige leidraad:

De AI is de Held (Frontline) als:
- Je weinig tijd of geld hebt (je kunt maar 1 of 2 mensen vragen). De AI is dan stabieler dan een willekeurige mens.
- Je een grote, algemene groep wilt peilen (bijv. "Wat vinden vrouwen in het algemeen?").
- Je mensen uit een andere groep vraagt om een mening te raden (bijv. mannen die raden wat vrouwen vinden). Mensen maken hier grote fouten door hun eigen bril; de AI is hier vaak neutraler.
De Mens is de Held als:
- Je een heel specifieke, kleine groep wilt peilen (bijv. "Wat vinden linkse, niet-binaire studenten van 20 jaar in een specifieke stad?"). De AI heeft hier vaak niet genoeg "telefoonboeken" over gelezen en raakt in de war.
- Het gaat om rechtvaardigheid en legitimiteit. Soms moet je de echte mensen om hun mening vragen, niet omdat ze beter rekenen, maar omdat het belangrijk is dat ze zelf aan het woord komen.

Conclusie: Van "Noodoplossing" naar "Hoofdrolspeler"

Vroeger zagen we AI als de noodoplossing wanneer we geen mensen konden vinden.
Dit paper zegt: "Nee, zie de AI als een professionele schatter."

Gebruik de AI om snel en stabiel de gemiddelde mening van grote groepen te peilen.
Gebruik echte mensen voor diep, specifiek inzicht en voor situaties waar het belangrijk is dat mensen zelf worden gehoord.

Het is niet meer "Mens vs. Machine", maar "Wanneer gebruiken we welke tool voor het beste resultaat?" De AI is niet langer de tweedeklas optie; hij is een krachtige, betrouwbare schattingstool, zolang we maar weten waar we hem voor inzetten.

1. Probleemstelling

In de Natural Language Processing (NLP) is het vastleggen van subjectieve menselijke perspectieven (bijv. wat een specifieke demografische groep als giftig of beledigend vindt) een fundamentele uitdaging. Traditioneel worden deze oordelen verkregen door menselijke annotatoren, waarbij het gemiddelde van de meningen wordt gebruikt als proxy voor de groepsopvatting.

Echter, het rekruteren van specifieke "in-group" annotatoren (bijv. niet-binaire personen of specifieke etnische minderheden) is vaak duur, tijdrovend en soms onmogelijk. Als alternatief wordt Perspective-Taking (PT) gebruikt: annotatoren wordt gevraagd te schatten hoe een andere groep een item zou beoordelen.

De huidige consensus is dat Large Language Models (LLMs) slechts een pragmatische "fallback" zijn wanneer menselijke data ontbreekt, en dat ze inherent inferieur zijn aan "echte" menselijke perspectieven. Dit artikel daagt deze veronderstelling uit. De auteurs stellen dat LLMs in bepaalde scenario's statistisch superieure schatters kunnen zijn van collectieve menselijke perspectieven, niet omdat ze "levenservaring" hebben, maar vanwege hun structurele eigenschappen als statistische schatters.

2. Methodologie en Theoretisch Kader

De auteurs herformuleren Perspective-Taking niet als het meten van individuele meningen, maar als de statistische schatting van een latente groepsniveau-oordelen ( $f^*(x, g)$ ).

Het Twee-Lens Model

Ze ontleden de schattingsfout in twee componenten (bias):

Wide Lens (Representatiebias): Hoe goed de kennis van de annotator de populatieverdeling van de doelgroep weerspiegelt. Mensen hebben vaak een beperkte, door hun eigen sociale kring beïnvloede representatie. LLMs hebben een bredere, maar soms stereotiepe, dekking door hun pre-training.
Clear Lens (Verwerkingsbias): Hoe de interne representatie wordt vertaald naar een numeriek oordeel. Menselijke oordelen worden beïnvloed door cognitieve vertekeningen en projectie. LLM-fouten hierin zijn vaak stabieler en beter aan te passen via prompting.

Bias-Variantie-Correlatie Decompositie

De Mean Squared Error (MSE) van een aggregatie van annotatoren wordt ontbonden in:
$MSE = \text{Bias}^2 + \text{Correlatievloer} + \text{Reduceerbare Variantie}$

Mensen: Hebben vaak hoge variantie (individuele verschillen) en sterke correlatie (gedeelde culturele normen). Cruciaal is het koppelingshypothese: bij mensen zijn representatie en verwerking vaak positief gekoppeld (bijv. iemand die een groep slecht representeren, projecteren ook hun eigen normen op die groep), wat leidt tot super-addatieve fouten.
LLMs: Hebben vaak lage variantie (deterministisch onder vaste prompts) en zwakkere koppeling tussen representatie (pre-training) en verwerking (post-training/prompting).

Hypothesen

De auteurs formuleren vier hypothesen die empirisch worden getest:

Budget Regime Hypothesis: Bij lage budgetten (weinig annotaties) domineert de variantie. LLMs (lage variantie) presteren beter dan mensen.
Koppelings Hypothesis: Bij "out-group" PT (mensen die een andere groep schatten) neemt de menselijke fout exponentieel toe door positieve koppeling. LLMs blijven stabiel.
Representatie Limieten Hypothesis: LLMs falen bij zeer specifieke of zeldzame groepen waar de trainingsdata schaars of gestereotypeerd is.
Engineerability Hypothesis: LLM-fouten kunnen systematisch worden gemanipuleerd via modelkeuze, prompting en diversificatie.

3. Experimenteel Opzet

Datasets:
- Toxicity Detection: 120 online comments met grondige annotatie van in-group mensen (inclusief niet-binaire deelnemers) als "ground truth".
- DICES: Een dataset voor conversatieve veiligheid met rijke demografische dekking.
Protocollen: Vergelijking tussen directe menselijke annotatie, menselijke PT (in-group en out-group) en LLM PT.
Evaluatie: Mean Squared Error (MSE), Bias en Variantie, gesimuleerd via bootstrapping over annotatiebudgetten ( $k=1$ tot $10$).
Modellen: Een breed scala aan moderne LLMs (GPT, Qwen, Gemma, DeepSeek) met variaties in grootte, reasoning-modes en prompting-strategieën.

4. Belangrijkste Resultaten

A. LLMs als Frontline Schatters (Budget Regime)

Enkele Annotator ( $k=1$ ): Een enkele LLM-PT schatting presteert consistent beter (lagere MSE) dan een enkele menselijke annotator, zelfs dan een directe annotator uit de doelgroep. Dit komt omdat menselijke oordelen zeer variabel zijn, terwijl LLMs deterministischer zijn.
Vergelijking met Menselijke Menigte: Een enkele LLM-PT is vaak vergelijkbaar met het aggregeren van 3 tot 5 directe menselijke labels. In lage-budget scenario's is de LLM dus statistisch superieur.

B. Stabiliteit en Koppeling

Out-Group PT: Menselijke annotatoren die een andere groep schatten (bijv. mannen die vrouwelijke perspectieven schatten) vertonen een sterke toename in fouten door super-addatieve koppeling van bias. LLMs vertonen deze instabiliteit niet en blijven robuust over verschillende doelgroepen heen.

C. Representatie Limieten

Specificiteit en Prevalentie: De prestaties van LLMs verslechteren naarmate de doelgroep specifieker wordt (bijv. "college-educated zwarte vrouwen" vs. "college-educated mensen") of minder prevalent is in de trainingsdata (bijv. niet-binaire personen vs. mannen/vrouwen). In deze gevallen behouden menselijke annotatoren (vooral in-group) hun voordeel.

D. De "Reasoning Paradox"

Een onverwachte bevinding is dat het activeren van Chain-of-Thought (CoT) of reasoning-modi de PT-prestaties van LLMs vaak verslechtert.
Oorzaak: Reasoning leidt tot een criterium-drift. Het model stopt met het schatten van de empirische groepsverdeling en begint toe te passen op een door het model zelf opgestelde rubric (bijv. "is dit objectief giftig?"). Dit introduceert een systematische bias die de structurele voordelen van de LLM tenietdoet.

E. Differentiële Perspective-Taking (DPT)

Terwijl LLMs goed zijn in het schatten van absolute gemiddelden, blijven mensen superieur in het detecteren van per-item verschillen tussen groepen (bijv. het voorspellen dat een specifiek item door groep A wel als giftig wordt gezien, maar door groep B niet). Dit geldt vooral voor minderheidsgroepen.

5. Bijdragen en Implicaties

Principiële Bijdrage:
Het artikel verschuift het discours van "LLMs als goedkope vervanging" naar "LLMs als principieel geschikte schatters" onder specifieke voorwaarden. Het biedt een wiskundig kader (Bias-Variantie-Correlatie) om te bepalen wanneer welke schatter optimaal is.

Praktische Richtlijnen:

Wanneer LLMs gebruiken: Bij brede groepen, lage budgetten, of wanneer in-group menselijke rekrutering onhaalbaar is. LLMs zijn hier statistisch superieur door lage variantie en afwezigheid van sociale koppeling.
Wanneer mensen nodig zijn: Bij zeer specifieke, zeldzame of intersectionele groepen waar representatiebias in LLMs groot is, en bij toepassingen waar procedurele legitimiteit of participatie essentieel is.
Engineering: Prompting kan de verwerkingsbias (Clear Lens) aanpassen, maar het gebruik van reasoning moet met voorzichtigheid worden toegepast vanwege het risico op criterium-drift.

Significantie:
Deze bevindingen repositioneren LLMs in subjectieve NLP-taken. Ze zijn niet langer slechts een noodoplossing, maar kunnen de "frontline" schatter zijn voor collectieve perspectieven, mits ze worden ingezet binnen hun structurele voordelen (lage variantie, engineerbaarheid) en waarborgen worden genomen voor representatiebias en validatie. Het pleit voor hybride pipelines waarbij LLMs de bulk van de aggregatie doen, terwijl menselijke expertise wordt gereserveerd voor gevallen die contextuele nuance, legitimiteit of diepgaande groepssensitiviteit vereisen.