Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection

Titel

Moeten er nog steeds mensen in de loop? Vergelijking van menselijke en LLM-annotatie in actief leren voor detectie van vijandigheid.

1. Probleemstelling

Geannoteerde data blijft een knelpunt voor toezichtleren (supervised learning) in NLP. Hoewel Actief Leren (Active Learning - AL) traditioneel wordt gebruikt om annotatiekosten te verlagen door alleen de meest informatieve voorbeelden te selecteren, rijst de vraag of dit nog relevant is in het tijdperk van Large Language Models (LLMs).

• De kernvraag: Kunnen LLM-labels menselijke labels vervangen binnen de AL-lus, en is AL nog steeds noodzakelijk wanneer een heel corpus tegen een fractie van de kosten volledig kan worden gelabeld?
• De uitdaging: Het specifiek onderscheiden van anti-immigratie vijandigheid (hostility) van beleidscritiek (policy critique) in Duitse TikTok-commentaren. Dit is een subtiele, cultureel specifieke taak waar annotatiebronnen (mens vs. machine) mogelijk verschillend opereren.

2. Methodologie

De auteurs hebben een uitgebreid experimenteel framework ontworpen om zeven annotatiestrategieën te vergelijken over vier verschillende encoder-modellen en 10 random seeds.

• Dataset:

  • Verzameld van officiële TikTok-accounts van zes grote Duitse politieke partijen (CDU/CSU, Grüne, SPD, FDP, AfD, Die Linke).
  • Totaal: 277.902 Duitse commentaren.
  • Filtering: Een twee-staps LLM-pipeline (Llama-3.3-70B) filterde het corpus naar 25.974 op immigratie gerelateerde commentaren.
  • Gouden Standaard: 5.000 commentaren werden onafhankelijk geannoteerd door 6 menselijke crowdworkers (via Prolific) met een tweestapsvraagformulier (1. Gaat het over immigratie? 2. Is de houding vijandig?). Dit leverde 1.200 items op voor evaluatie en 3.800 voor training.

• Experimentele Condities:
  De studie vergelijkt drie dimensies:

  1. Bron: Mens vs. LLM (GPT-5.2).
  2. Sampling Strategie: Actief Leren (Entropy/BALD) vs. Random Sampling vs. Volledige Pool.
  3. Volume: Variërend van 530 tot 25.974 voorbeelden.

• Kostenanalyse:

  • Menselijke annotatie: $416 totaal (ongeveer $0,083 per label).
  • LLM-annotatie (GPT-5.2): $43,30 totaal voor 25.974 labels (ongeveer $0,002 per label).

• Modellen:
  Vier transformer-encoders werden getraind: german-bert, ModernGBERT, gbert-base en xlm-r-base.

3. Belangrijkste Resultaten

A. Prestatie en Kosten (RQ1)

• Kosten-effectiviteit: Een classifier getraind op 25.974 LLM-labels ($43) bereikte een vergelijkbare F1-Macro score als een classifier getraind op 3.800 menselijke labels ($316).
• Actief Leren vs. Random: In dit voorverrijkte pool (waar het corpus al gefilterd is op relevantie) bood Actief Leren weinig tot geen voordeel ten opzichte van random sampling. De kostenpremie van menselijk AL is niet gerechtvaardigd ten opzichte van schaalbare LLM-annotatie.
• Schalingsvoordeel: Hoewel menselijke labels bij gelijke volume (3.800) iets beter presteerden, compenseerde het 7-voudige volume aan LLM-data (25.974) dit kwaliteitsverschil volledig.

B. Foutprofielen en Zekerheid (RQ2)

Hoewel de aggregate F1-scores vergelijkbaar zijn, verbergt dit een systematisch verschil in foutstructuur:

• Overpredictie: Modellen getraind op LLM-data neigen systematisch tot overpredictie van de positieve klasse (ANTI-IMMIGRANT). Ze vertonen een veel hoger aantal False Positives (FP) en een lager aantal False Negatives (FN) vergeleken met menselijke modellen.
• Zekerheid: LLM-getrainde modellen zijn overmatig zeker van hun fouten. Waar menselijke modellen bij fouten vaak lagere voorspellingszekerheid tonen (makkelijker te filteren), tonen LLM-modellen hoge zekerheid bij hun False Positives. Dit is riskant voor contentmoderation, omdat fouten dan niet worden opgepikt door menselijke review.

C. Disagreement in Discoursruimte (RQ3)

De verschillen tussen mens en machine zijn het grootst in thematisch ambigu discussies:

• Beleid vs. Groep: Mensen onderscheiden strikt tussen kritiek op immigratiebeleid (niet-vijandig) en vijandigheid tegen migranten als groep. LLM's (GPT-5.2) neigen om negatieve framing rondom beleid (bijv. "Wie heeft de grenzen geopend?") al als vijandigheid tegen migranten te labelen.
• Thematische clusters: De grootste discrepanties zitten in onderwerpen als "Grensbewaking" en "Islam & Islamisering". LLM's labelen hier veel vaker als "ANTI-IMMIGRANT" dan mensen, vaak omdat ze politieke retoriek of religieuze verwijzingen breder interpreteren als groep-gericht.

4. Bijdragen

1. Nieuwe Dataset: Publicatie van een dataset van 277.902 Duitse politieke TikTok-commentaren, inclusief 25.974 LLM-labels en 5.000 menselijke gouden labels.
2. Empirisch Bewijs: Het aantonen dat schaalbare LLM-annotatie menselijke annotatie kan vervangen in termen van aggregate prestatie tegen een fractie van de kosten, zelfs voor complexe, cultureel geladen taken.
3. Kritische Nuance: De ontdekking dat "vergelijkbare F1" misleidend kan zijn. De keuze tussen mens en machine moet niet alleen gebaseerd zijn op prestaties, maar op het toelaatbare foutprofiel voor de specifieke toepassing (bijv. is een hoge False Positive-rate acceptabel?).
4. AL Inzicht: De bevinding dat Actief Leren minder effectief is in voorverrijkte pools, wat suggereert dat investeren in de pool constructie belangrijker is dan het verfijnen van acquisitie-functies.

5. Betekenis en Conclusie

De paper concludeert dat voor onderzoeksgroepen met beperkte budgetten, LLM-annotatie op schaal een krachtig alternatief is voor menselijke crowdsourcing. Het elimineert de psychologische last voor menselijke annotatoren en versnelt iteratiecycli enorm.

Echter, de keuze is niet binair. Als de toepassing gevoelig is voor False Positives (bijv. waar onterechte censuur schadelijk is), kan het menselijke foutprofiel (die meer False Negatives maar minder zekerheid bij fouten heeft) superieur zijn. De auteurs pleiten ervoor dat de annotatiestrategie wordt gekozen op basis van het gewenste error-profiel voor de specifieke toepassing, niet alleen op basis van de hoogste F1-score. Actief Leren met menselijke labels biedt in dit specifieke scenario geen kostenvoordeel ten opzichte van schaalbare LLM-annotatie.