Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection

1. Problemstellung und Motivation

Die manuelle Annotation von Daten bleibt ein Engpass für überwachtes Lernen im NLP-Bereich. Während Active Learning (AL) traditionell eingesetzt wird, um die Kosten durch die Auswahl der informativsten Instanzen für menschliche Annotation zu senken, stellen instruction-tuned Large Language Models (LLMs) eine neue Alternative dar. LLMs können Tausende von Instanzen zu vernachlässigbaren Kosten annotieren.

Die zentrale Forschungsfrage lautet: Können LLM-Labels menschliche Labels im Active-Learning-Zyklus ersetzen, und ist Active Learning überhaupt noch notwendig, wenn ganze Korpora kostengünstig annotiert werden können?
Das Paper untersucht dies am spezifischen und schwierigen Fall der Erkennung von feindseliger Haltung gegenüber Einwanderern (Anti-Immigrant Hostility) in deutschen TikTok-Kommentaren. Die Aufgabe ist besonders herausfordernd, da sie die Unterscheidung zwischen echter Feindseligkeit gegenüber einer Gruppe und Kritik an der Einwanderungspolitik erfordert – eine kulturell spezifische Nuance, bei der die Quelle der Annotation (Mensch vs. LLM) entscheidend sein könnte.

2. Methodik und Experimentelles Design

Datensatz

• Quelle: 277.902 öffentliche Kommentare von den offiziellen TikTok-Accounts von sechs deutschen Parteien (CDU/CSU, Grüne, SPD, FDP, AfD, Die Linke) vom Januar 2024 bis September 2025.
• Vorverarbeitung: Ein zweistufiger LLM-Pipeline-Prozess filterte das Korpus auf 25.974 immigration-relevante Kommentare herunter (Llama-3.3-70B als Pre-Filter).
• Annotation:
  • LLM: GPT-5.2 annotierte alle 25.974 Instanzen (Kosten: ca. 43 USD).
  • Menschen: 5.000 dieser Instanzen wurden von 6 muttersprachlichen Crowdworkern (Prolific) annotiert (Kosten: ca. 416 USD). Die menschliche Annotation erfolgte über ein zweistufiges Framework (Frage 1: Bezieht sich auf Einwanderer? Frage 2: Ist die Darstellung negativ?), um die Entscheidungslogik zu trennen.

Experimentelle Bedingungen

Die Studie vergleicht sieben Bedingungen über vier Encoder-Modelle (u.a. german-bert, ModernGBERT) und 10 Random Seeds:

1. Annotation Source: Mensch vs. LLM.
2. Sampling-Strategie: Active Learning (Entropie/BALD) vs. Zufällige Stichprobe vs. Vollständiges Pool.
3. Datenvolumen: Von 530 Instanzen (AL) bis 25.974 Instanzen (Full LLM).

Die Evaluierung erfolgte auf einem Gold-Standard-Testset (1.200 mehrfach annotierte Items) mit dem Metrik F1-Macro und F1-Anti-Immigrant.

3. Wichtige Ergebnisse

Kosten-Nutzen-Analyse (RQ1)

• Kosten: LLM-Annotation ist extrem kosteneffizient. Ein Modell, das auf 25.974 LLM-Labels trainiert wurde, kostete 43 USD, während ein Modell auf 3.800 menschlichen Labels 316 USD kostete (Faktor ~7).
• Performance:
  • Bei gleichem Datenvolumen (3.800 Labels) schneiden menschliche Labels leicht besser ab (F1-Macro ~0.740 vs. ~0.705 für LLM).
  • Skalierungseffekt: Das auf dem riesigen LLM-Datensatz (25.974 Instanzen) trainierte Modell erreicht jedoch eine vergleichbare F1-Macro-Leistung wie das menschliche Modell bei nur einem Siebtel der Kosten.
  • Active Learning: Active Learning bietet in diesem vorangereicherten Pool (pre-enriched pool) keinen signifikanten Vorteil gegenüber zufälliger Stichprobennahme. Die Kostenersparnis durch AL im Vergleich zu einer vollständigen menschlichen Annotation ist gering, aber AL ist immer noch deutlich teurer als eine vollständige LLM-Annotation.

Fehlerprofile und Unsicherheit (RQ2)

Obwohl die aggregierten F1-Scores ähnlich sind, verbergen sich systematische Unterschiede im Fehlerverhalten:

• Falsch-Positiv-Neigung: Klassifikatoren, die mit LLM-Labels trainiert wurden, neigen dazu, die positive Klasse (ANTI-IMMIGRANT) zu überprognostizieren.
  • Beispiel: Full-LLM-26K hatte 243 Falsch-Positive (FP) und nur 21 Falsch-Negative (FN) im Vergleich zu 124 FP und 87 FN beim menschlichen Modell.
• Konfidenz: LLM-getrainierte Modelle zeigen bei diesen Fehlern eine höhere Konfidenz. Dies ist kritisch für Content-Moderation, da Fehler, die als "sicher" eingestuft werden, weniger wahrscheinlich zur manuellen Überprüfung weitergeleitet werden.
• Ursache: Die menschliche Annotation trennt strikt zwischen "Bezug auf Einwanderer" und "negativer Darstellung". Der LLM-Prompt bewertet beides holistisch und zieht eine breitere Grenze für Feindseligkeit, insbesondere bei politischer Kritik, die als Gruppenfeindschaft interpretiert wird.

Diskursräume und Abweichungen (RQ3)

Die Diskrepanzen zwischen Mensch und LLM konzentrieren sich auf Themenbereiche, in denen die Grenze zwischen Politik-Kritik und Gruppenfeindschaft fließend ist:

• Border Control & Grenzschutz: Hier lag die Übereinstimmung bei nur 45 %. Menschen klassifizierten Fragen wie „Wer hat die Grenzen geöffnet?" als Politik-Kritik (nicht feindselig), während der LLM dies oft als Feindseligkeit markierte.
• Islam & Islamisierung: Der LLM markierte 82 % der Kommentare als feindselig, Menschen nur 9 %. Der LLM erkennt Feindseligkeit gegenüber Muslimen auch ohne expliziten Einwanderungskontext als relevant, während das menschliche Schema hier striktere Kriterien anlegte.

4. Hauptbeiträge und Signifikanz

1. Kosten-Performance-Frontier: Das Paper zeigt, dass LLM-Annotation im großen Maßstab menschliche Annotation in Bezug auf die aggregierte Modellleistung (F1-Macro) bei einem Bruchteil der Kosten (ca. 1/7) ersetzen kann.
2. Ineffizienz von AL in diesem Kontext: In einem bereits durch LLMs vorangereicherten Pool (nur relevante Kommentare) bringt Active Learning kaum Vorteile gegenüber zufälliger Stichprobe und ist im Vergleich zur Skalierung von LLM-Daten nicht kosteneffizient.
3. Fehlerstruktur ist entscheidend: Die Studie warnt davor, sich nur auf aggregierte Metriken zu verlassen. LLM-Annotation führt zu einem systematischen Bias hin zu mehr Falsch-Positiven mit hoher Konfidenz. Die Wahl der Annotationsquelle sollte daher vom akzeptablen Fehlerprofil der Anwendung abhängen (z. B. ist ein hoher Recall bei moderaten Kosten für LLMs gut, aber hohe False-Positives können in der Praxis problematisch sein).
4. Ethik und Skalierbarkeit: LLMs eliminieren die psychologische Belastung menschlicher Moderatoren durch schädliche Inhalte und ermöglichen eine schnellere Iteration von Label-Definitionen.

Fazit

Die Autoren schlussfolgern, dass für viele Anwendungen, insbesondere bei begrenzten Budgets, LLM-Annotation in großem Maßstab eine valide Alternative zu menschlicher Annotation darstellt. Active Learning verliert jedoch an Bedeutung, wenn LLMs so günstig sind, dass sie ganze Korpora annotieren können. Die Entscheidung zwischen Mensch und Maschine sollte jedoch nicht nur auf Kosten und F1-Scores basieren, sondern auf dem Verständnis der spezifischen Fehlerart (z. B. Tendenz zu False Positives bei LLMs), die für den jeweiligen Einsatzfall (z. B. Content Moderation vs. Forschungsanalyse) akzeptabel ist.