💬 NLP

The Ghost Annotator: a Framework to Explore Human Label Variation in Content Moderation through Conformal Prediction

Dieses Paper stellt das „Ghost Annotator“-Framework vor, welches Conformal Prediction mit Collaborative Filtering kombiniert, um die Variation menschlicher Labels zu analysieren und aufzuzeigen, dass größere Sprachmodelle eine erhöhte Konfidenz bei Vorhersagen aufweisen, die vom menschlichen Konsens abweichen, wodurch strukturelle demografische Biases offengelegt werden, die in den Prätrainingsdaten verwurzelt sind.

Ursprüngliche Autoren: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mirko Lai, Alessandra Urbinati, Simona Frenda, Fabiana Vernero, Marco Antonio Stranisci

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie man entscheidet, was „unhöflich“ oder „schädlich“ in einer Konversation ist. Sie bitten eine Gruppe von 100 verschiedenen Menschen, einen spezifischen Kommentar zu lesen und ihn zu bewerten. Da Menschen unterschiedliche Hintergründe, Alter und Kulturen haben, sind sie sich nicht alle einig. Einige halten den Kommentar für lustig; andere halten ihn für Hassrede. Diese Uneinigkeit wird als Human Label Variation (menschliche Label-Variation) bezeichnet.

Das Paper stellt ein neues Werkzeug namens „Ghost Annotator“ vor, um herauszufinden, wie gut KI-Modelle (wie die, die Chatbots antreiben) diese menschlichen Meinungsverschiedenheiten verstehen und wo sie Fehler machen.

Hier ist die Funktionsweise des Papers, erklärt durch einfache Analogien:

1. Das Problem: Der Roboter gegen die Menge

Normalerweise, wenn wir eine KI testen, fragen wir: „Hat der Roboter die ‚richtige‘ Antwort gegeben?“ Aber bei der Inhaltsmoderation gibt es oft keine einzelne richtige Antwort. Wenn 50 Personen sagen, ein Kommentar sei „leicht beleidigend“ und 50 sagen, er sei „schädlich“, ist die KI ratlos.

Die Forscher wollten wissen:

Verwirrt die KI, wenn Menschen uneinig sind?
Hat die KI eine eigene „Persönlichkeit“, die es macht, dass sie mit bestimmten Arten von Menschen übereinstimmt und andere ignoriert?

2. Das Werkzeug: Der „Geist“ in der Maschine

Um dies zu lösen, entwickelte das Team ein Framework unter Verwendung einer statistischen Methode namens Conformal Prediction. Denken Sie an dies als einen „Konfidenz-Meter“.

Die Ghost Prediction (Geister-Vorhersage): Stellen Sie sich vor, die KI macht eine Prüfung. Normalerweise wählt sie eine Antwort, die mit dem übereinstimmt, was die Menschen gewählt haben. Aber manchmal wählt die KI eine Antwort, die kein Mensch gewählt hat. Die Forscher nennen dies eine „Ghost Prediction“. Es ist, als würde die KI einen Geist sehen – ein Label, das in der menschlichen Welt nicht existiert.
Der Ghost Annotator: Dies ist die Haupterfindung des Papers. Anstatt nur die Antworten der KI zu betrachten, verwandeln sie das Verhalten der KI in einen „Fingerabdruck“ (einen mathematischen Vektor). Sie nennen diesen Fingerabdruck den Ghost Annotator. Er repräsentiert die einzigartige „Meinung“ der KI, als wäre sie ein menschlicher Arbeiter, obwohl sie eine Maschine ist.

3. Das Experiment: Vergleich von Fingerabdrücken

Die Forscher nahmen vier verschiedene KI-Modelle (zwei kleine, zwei große, von zwei verschiedenen Unternehmen) und testeten sie auf vier verschiedene Datensätze von Social-Media-Beiträgen (über Hassrede, Gewalt und Beleidigung).

Sie verglichen den „Ghost-Fingerabdruck“ der KI mit den Fingerabdrücken echter menschlicher Annotatoren, gruppiert nach Demografien wie Alter, Geschlecht und Herkunft (z. B. Subsahara-Afrika, Indien, die USA).

4. Die Ergebnisse: Was die Geister enthüllten

Ergebnis A: Der „selbstbewusste Außenseiter“

Die Analogie: Stellen Sie sich einen kleinen, nervösen Schüler vor, der zugibt: „Ich bin mir bei dieser Antwort nicht sicher“, wenn die Klasse streitet. Nun stellen Sie sich einen sehr selbstbewussten, älteren Schüler vor, der sagt: „Ich weiß, die Antwort ist X“, selbst wenn die ganze Klasse uneinig ist.
Das Resultat: Die Forscher fanden heraus, dass größere KI-Modelle (die selbstbewussten Schüler) tatsächlich selbstbewusster waren, wenn sie Antworten gaben, die kein Mensch bestätigte (Ghost Predictions). Sie waren sich ihrer „Geister-Antworten“ sehr sicher, selbst wenn sie völlig außerhalb der menschlichen Meinung lagen. Kleinere Modelle waren in diesen seltsamen Situationen weniger selbstbewusst.

Ergebnis B: Der demografische blinde Fleck

Die Analogie: Stellen Sie sich eine Gruppe von Richtern vor. Wenn Sie einen Richter aus Gruppe A bitten, einen Film zu bewerten, wird er vielleicht mit der KI übereinstimmen. Aber wenn Sie einen Richter aus Gruppe B fragen, wird er vielleicht völlig widersprechen. Das Paper fand heraus, dass die KI wie ein Richter agiert, der konsistent „außer Kontakt“ mit einer bestimmten Gruppe von Menschen ist, egal wie viele Menschen aus dieser Gruppe im Raum sind.
Das Resultat: Die KI-Modelle zeigten ein konsistentes Muster von demografischer Fehlabstimmung (demographic misalignment). Speziell war der „Ghost Fingerprint“ der KI konsistent am wenigsten ähnlich zu den menschlichen Annotatoren aus Subsahara-Afrika (SSA).
Die Wendung: Dies geschah, obwohl die SSA-Gruppe tatsächlich die größte Gruppe der menschlichen Annotatoren in der Studie war. Die KI ignorierte sie nicht, weil es wenige von ihnen gab, sondern weil es eine tief verwurzelte Voreingenommenheit war.
Die Ursache: Die Forscher glauben, dass diese Voreingenommenheit aus den Pre-training-Daten stammt (der massiven Menge an Text, die die KI gelesen hat, bevor sie für die spezifische Aufgabe trainiert wurde). Es ist, als hätte die KI ihr „Weltbild“ aus einer Bibliothek gelernt, in der nicht genug Bücher von Menschen aus Subsahara-Afrika standen. Diese Voreingenommenheit ist „strukturell“, was bedeutet, dass sie in das Fundament des Modells eingebaut ist und nicht nur ein Fehler im spezifischen Test ist.

5. Warum das wichtig ist (laut dem Paper)

Das Paper argumentiert, dass wir dies nicht einfach dadurch beheben können, dass wir mehr diverse menschliche Labels zu den Trainingsdaten hinzufügen. Wenn das „Fundament“ (Pre-training) der KI bereits voreingenommen ist, wird das Hinzufügen einiger weniger diverser Stim heavy am Ende die Perspektive des „Ghost Annotators“ nicht korrigieren.

Das Ghost Annotator-Framework ist ein Weg, ein KI-Modell zu „röntgen“, um genau zu sehen, welche Gruppen von Menschen es nicht versteht, bevor wir es auf das Internet loslassen, um Inhalte zu moderieren.

Kurz gesagt: Das Paper hat ein Werkzeug gebaut, um die „Persönlichkeit“ von KI-Modellen zu sehen. Sie fanden heraus, dass große, selbstbewusste KI-Modelle oft einen „blinden Fleck“ für bestimmte Kulturen haben, und dass dieser blinde Fleck so tief sitzt, dass er aus den Daten stammt, die die KI ursprünglich gelernt hat.

Technische Zusammenfassung: Das Ghost Annotator Framework

Problemstellung
Die aktuelle Forschung in der Computerlinguistik (NLP) und der Inhaltsmoderation konzentriert sich überwiegend auf Leistungsmetriken von Modellen und vernachlässigt dabei oft die Unsicherheitsschätzung sowie die Nuancen der menschlichen Label-Varianz (Human Label Variation, HLV). HLV bezieht sich auf die Abweichung zwischen den Annotationen menschlicher Bewerter, insbesondere in Bezug auf subjektive Phänomene wie Hassrede, Beleidigung und Toxizität. Während jüngste Paradigmen dazu plädieren, diese vielfältigen Perspektiven zu erfassen, um die Fairness zu erhöhen, bleiben erhebliche Herausforderungen bestehen: Erkenntnisse über HLV werden oft durch Diskrepanzen zwischen Datensätzen und Annotationsschemata behindert, und die zunehmende Abhängigkeit von Large Language Models (LLMs) zur Generierung annotierter Daten hat den Fokus von der Unsicherheit wegverlagert. Zudem versagen bestehende Methoden zur Evaluierung von LLMs als Annotatoren oft darin, zwischen echter HLV und Annotationsfehlern zu unterscheiden, und es wurde gezeigt, dass LLMs Schwierigkeiten haben, die Vielfalt menschlicher Meinungen zu replizieren, wobei sie oft eine Tendenz zu spezifischen demografischen Gruppen oder eine Überkennzeichnung beleidigender Inhalte aufweisen.

Methodik
Die Autoren führen den Ghost Annotator ein, ein Framework, das darauf ausgelegt ist, das Verhalten von LLMs im Verhältnis zu menschlichen Annotatoren mittels Conformal Prediction zu modellieren. Die Methodik gliedert sich in die folgenden technischen Schritte:

Conformal Prediction & Non-Conformity Scores (NCS): Das Framework nutzt Conformal Prediction, um kalibrierte Unsicherheitsschätzungen zu generieren. Anstatt eines einzelnen aggregierten Scores berechnet das System NCS für individuelle Modell–Annotator–Instanz-Interaktionen. Der NCS quantifiziert, wie „ungewöhnlich“ eine Vorhersage des Modells im Verhältnis zu einer aus menschlichen Annotationen abgeleiteten Kalibrierungsverteilung ist.
Ghost Prediction Metrik: Um über traditionelle Genauigkeitsmetriken (die auf aggregierter Grundwahrheit basieren) hinauszugehen, definieren die Autoren Ghost Prediction als den Anteil der Instanzen, bei denen ein Modell ein Label vorhersagt, das in keiner der menschlichen Annotationen für dieses spezifische Element enthalten ist. Diese Metrik quantifiziert die Divergenz zwischen dem Modell und der gesamten Menge der verfügbaren menschlichen Perspektiven.
Annotator-Repräsentation (Collaborative Filtering Analogie): Inspiriert durch Collaborative Filtering (CF) in Empfehlungssystemen, repräsentiert das Framework sowohl menschliche Annotatoren als auch Modelle als 3-dimensionale Vektoren. Diese Vektoren werden aus den Quartilen der NCS-Verteilungen abgeleitet:
- Menschliche Annotatoren: Repräsentiert durch die Verteilung der NCS-Werte, die von allen von ihnen annotierten Items gewonnen wurden.
- Ghost Annotator (Modell): Repräsentiert durch die Verteilung der NCS-Werte, die spezifisch auf Instanzen berechnet wurden, bei denen die Vorhersage des Modells von allen menschlichen Annotationen abweicht (Ghost Predictions).
Alignment-Analyse: Die Autoren berechnen die Kosinus-Ähnlichkeit zwischen dem Ghost Annotator-Vektor und den Vektoren spezifischer soziodemografischer Gruppen menschlicher Annotatoren. Dies ermöglicht die Profilierung der Frage, mit welchen menschlichen Gruppen ein Modell übereinstimmt oder von ihnen abweicht.

Experimenteller Aufbau
Das Framework wurde über vier Datensätze zur Inhaltsmoderation evaluiert: Attitudes (Hassrede), CADE (Akzeptanz), Disentangling (Beleidigung) und MHS (Gewalt). Vier LLMs wurden getestet, die zwei Familien (Qwen und Llama) sowie zwei Größenordnungen (1.5B/1B und 7B/8B Parameter) abdecken. Der Disentangling-Datensatz wurde aufgrund seiner ausgewogenen Darstellung soziodemografischer Merkmale (Geschlecht, Alter und Makroregion der Herkunft) speziell für die demografische Alignment-Analyse (RQ2) verwendet.

Wesentliche Ergebnisse

Unsicherheit und HLV (RQ1): Es besteht eine Kohärenz zwischen Modellunsicherheit und HLV. Mit zunehmender Uneinigkeit unter menschlichen Annotatoren steigt auch die Modellunsicherheit (gemessen durch NCS) entsprechend an. Eine kontraintuitive Erkenntnis bezüglich der Ghost Predictions ergab sich jedoch: Größere Modelle zeigten eine höhere Konfidenz (geringere Unsicherheit) bei der Vorhersage von Labels, die kein menschlicher Annotator ausgewählt hatte, im Vergleich zu kleineren Modellen. Dies deutet darauf hin, dass größere Modelle stärker kodierte Mehrheitskultur-Normen enthalten können, was zu sicheren, aber divergenten Vorhersagen in Bereichen führt, in denen Minderheitenperspektiven abweichen.
Demografisches Misalignment (RQ2): Das Ghost Annotator Framework offenbarte ein robustes und konsistentes Muster demografischer Fehlabstimmung. Unabhängig von der Modellarchitektur (Meta vs. Alibaba), der Parametergröße (1B bis 8B) oder des verwendeten Datensatzes zur Profilierung des Modells, weichten die Modelle systematisch von der demografischen Gruppe der 18-30-Jährigen, Männer, Sub Sahar-Afrika (SSA) ab. Im Gegensatz dazu zeigten sie die höchste Übereinstimmung mit der Gruppe 30-50, Weiblich, Ozeanien.
Größe des Annotator-Pools: Das Misalignment mit der SSA-Gruppe blieb bestehen, obwohl diese Gruppe die größte demografische Gruppe im Disentangling-Datensatz darstellte ( $n=169$ ). Dies zeigt, dass die bloße Erhöhung der Anzahl diverser Annotatoren das Misalignment nicht löst, was darauf hindeutet, dass der Bias nicht das Ergebnis von Datenknappheit in der Annotationsphase ist.

Bedeutung und Behauptungen
Das Paper behauptet, dass das Ghost Annotator Framework eine statistisch garantierte Methode (via Conformal Prediction) bietet, um LLMs innerhalb des Raums der menschlichen Annotator-Diversität zu evaluieren und zu positionieren. Seine primäre Bedeutung liegt in der Identifizierung der Tatsache, dass das beobachtete demografische Misalignment wahrscheinlich ein struktureller Bias ist, der in den Pre-training-Korpora verwurzelt ist, und kein Artefakt eines spezifischen Fine-Tunings oder einer Modellarchitektur.

Die Autoren argumentieren, dass da verschiedene Modellfamilien und -größen auf dieselben Misalignment-Muster konvergieren, der Bias bereits vor der aufgabenspezifischen Anpassung existiert. Folglich legen sie nahe, dass datensatzbasierte Interventionen (wie die Erhöhung der Annotator-Diversität) nicht ausreichen, um diese Biase zu lösen, ohne entsprechende Änderungen an der Art und Weise, wie Modelle vortrainiert oder angepasst werden. Das Framework dient als Werkzeug, um diese strukturellen Divergenzen vor dem Einsatz von Modellen aufzudecken, und bietet einen Weg zu einem bewussteren Einsatz von LLMs bei der Erstellung und Erweiterung von Trainingsdatensätzen für die Inhaltsmoderation.