Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks

Titel: Multi-Perspectief LLM-annotaties voor geldige analyses in subjectieve taken

Auteurs: Navya Mehrotra, Adam Visokay, Kristina Gligorić (Johns Hopkins University & University of Washington)

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker gebruikt om teksten te annoteren in de computationele sociale wetenschappen (CSS) om de menselijke annotatiekosten te verlagen. Echter, LLM-annotaties vertonen systematische fouten en vertegenwoordigen niet alle demografische perspectieven even goed.

De kernuitdaging die dit artikel adresseert, is dat bestaande methoden voor het corrigeren van LLM-fouten (zoals Prediction-Powered Inference of PPI) aannemen dat er één "waarheid" (ground truth) bestaat. In subjectieve taken (zoals het beoordelen van beleefdheid of beledigend taalgebruik) bestaat deze één waarheid vaak niet. Verschillen in oordelen tussen verschillende demografische groepen (bijv. leeftijd, geslacht, ras) zijn geen ruis die moet worden gecorrigeerd, maar een betekenisvol signaal dat behouden moet blijven.

Huidige benaderingen zoals persona prompting (waarbij de LLM wordt gevraagd een specifiek demografisch profiel aan te nemen) blijken onbetrouwbaar: ze kunnen groepsverschillen overdrijven, minderheidsperspectieven verkeerd voorstellen, of simpelweg niet beter presteren dan een standaardprompt. Het doel is dus niet om de LLM te trainen om "beter" te voorspellen, maar om de verdeling van annotaties over verschillende groepen nauwkeurig te schatten met een beperkt menselijk annotatiebudget.

2. Methodologie: Perspective-Driven Inference (PDI)

De auteurs introduceren PERSPECTIVE-DRIVEN INFERENCE (PDI), een raamwerk dat de verdeling van annotaties over demografische groepen schat in plaats van een enkel scalar gemiddelde.

De kerncomponenten zijn:

• Doelstelling: Schatting van een vector $\theta^* = (\theta^*_{g_1}, ..., \theta^*_{g_K})$, waarbij elke component het gemiddelde annotatiewaarde is voor een specifieke demografische groep $g_k$.
• Adaptieve Sampling Strategie:
  • In plaats van menselijke annotaties uniform over de dataset te verdelen, concentreert PDI het budget op groepen waar de LLM het minst betrouwbaar is.
  • Burn-in fase: Eerst wordt een klein aantal menselijke annotaties willekeurig (uniform) verzameld om een startpunt te hebben.
  • Adaptieve lus: Een zwarte-bus predictor (bijv. XGBoost) leert de verwachte kwadratische fout van de LLM $(\hat{H}_i - H_i)^2$ te voorspellen op basis van de demografische kenmerken van de annotator.
  • Sampling: De kans om een menselijke annotatie te verzamelen voor een tekst is evenredig met de voorspelde fout van de LLM voor die specifieke demografische groep. Dit zorgt voor upsampling van ondervertegenwoordigde of moeilijk te modelleren groepen.
• Schatter: Na het verzamelen van menselijke annotaties volgens deze adaptieve verdeling, wordt de Inverse Probability Weighting (IPW) methode toegepast. Dit corrigeert voor de selectiebias in de sampling en levert een onbevooroordeelde schatting van de groepsgemiddelden op, samen met geldige betrouwbaarheidsintervallen.

3. Belangrijkste Bijdragen

1. Conceptueel Raamwerk: Formalisering van multi-perspectief corpus-inferentie als het schatten van een vector (één waarde per groep) in plaats van een scalar, en uitbreiding van PPI-methoden naar deze setting zonder enkele ground truth.
2. Adaptieve Sampling: Ontwikkeling van een strategie die menselijke inspanning richt op groepen met de hoogste voorspelde LLM-fout, waardoor de precisie voor ondervertegenwoordigde perspectieven verbetert zonder de algehele dekking te verliezen.
3. Empirische Validatie: Uitgebreide evaluatie op real-world datasets (beleefdheid en beledigend taalgebruik) en synthetische data, waarbij wordt aangetoond dat PDI aanzienlijk beter presteert dan uniform sampling en LLM-only methoden voor moeilijke subgroepen.

4. Resultaten

De evaluatie omvatte acht verschillende LLM's (waaronder GPT-5.2, Claude, Gemini, Llama) en twee taken: beleefdheidsbeoordeling en beledigend taalgebruik.

• Dekking (Coverage): LLM-only methoden (zero-shot, few-shot, persona) faalden vaak bij het bereiken van de gewenste dekking (90%) voor specifieke groepen, vooral voor de leeftijdsgroep 50+. Bijvoorbeeld, bij de taak "beledigend taalgebruik" had de persona-prompt 0% dekking voor de groep 35-49 jaar. PDI behield echter consistent een dekking boven de 90% voor alle groepen.
• Nauwkeurigheid (Delta): PDI verlaagde de schattingsfout (Delta) aanzienlijk voor de moeilijkste groepen.
  • Voor de groep 50+ bij de taak "beledigend taalgebruik" was de fout bij LLM-only methoden >24%, terwijl PDI deze terugbracht tot 5,24%.
  • Dit werd bereikt door een gerichte verhoging van het menselijke annotatiebudget voor deze groep (bijv. 33% meer annotaties voor 50+ in vergelijking met uniform sampling).
• Persona Prompting: De resultaten tonen aan dat persona prompting een onbetrouwbare methode is. Het presteert vaak slechter dan few-shot prompting en kan systematisch in de verkeerde richting schuiven, wat aantoont dat het simuleren van een demografisch profiel geen vervanging is voor echte menselijke input uit die groep.
• Synthetische Data: Experimenten toonden aan dat adaptieve sampling het meest waardevol is wanneer de LLM-prestaties tussen groepen sterk verschillen en de groepen scheef verdeeld zijn (kleine minderheidsgroepen).

5. Betekenis en Conclusie

Dit artikel biedt een cruciale oplossing voor het gebruik van LLM's in sociale wetenschappen waar subjectiviteit en demografische diversiteit centraal staan.

• Validiteit: Het toont aan dat men niet hoeft te kiezen tussen schaalbaarheid (LLM's) en validiteit (menselijke input). Met PDI kan men geldige statistische inferentie uitvoeren over perspectiefverdelingen met een beperkt budget.
• Ethiek en Bias: Het raamwerk benadrukt dat het corrigeren van LLM-bias op aggregatieniveau niet voldoende is; men moet specifiek kijken naar welke perspectieven het model mist en menselijke inspanning daarheen richten.
• Toepassingsgebied: De methode is niet beperkt tot demografie, maar kan worden toegepast op elk perspectief dat labels beïnvloedt (bijv. ideologie, professionele achtergrond). Het is relevant voor RLHF (Reinforcement Learning from Human Feedback), evaluatie van LLM's als rechter, en survey-simulaties.

Kortom, PDI transformeert LLM-annotaties van een potentiële bron van bias naar een bruikbaar proxy, mits gecombineerd met een slimme, adaptieve strategie voor menselijke validatie die de diversiteit van meningen respecteert en behoudt.