📊 statistics

From Ground Truth to Measurement: A Statistical Framework for Human Labeling

Dieses Papier stellt ein statistisches Rahmenwerk vor, das menschliche Annotationen als Messprozess neu definiert und die resultierenden Abweichungen in interpretierbare Komponenten wie Instanzschwierigkeit, Annotator-Bias, situatives Rauschen und relationale Ausrichtung zerlegt, um das Lernen von Modellen aus Daten mit menschlichen Labels besser zu verstehen.

Ursprüngliche Autoren: Robert Chew, Stephanie Eckman, Christoph Kern, Frauke Kreuter

Veröffentlicht 2026-04-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Robert Chew, Stephanie Eckman, Christoph Kern, Frauke Kreuter

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Missverständnis: Daten sind nicht einfach nur „falsch" oder „richtig"

Stellen Sie sich vor, Sie wollen eine riesige Bibliothek mit Büchern sortieren. Jeder Buchrücken muss ein Etikett bekommen: „Krimi", „Liebesroman" oder „Wissenschaft". Sie beauftragen 50 Freunde (die Annotatoren), diese Aufgabe zu erledigen.

In der Welt der künstlichen Intelligenz (KI) gehen Forscher oft davon aus, dass es für jedes Buch nur ein einziges, perfektes Etikett gibt. Wenn zwei Freunde unterschiedliche Etiketten aufschreiben, denken sie: „Oh, einer von beiden hat einen Fehler gemacht. Wir löschen den Fehler und nehmen die Mehrheit."

Das Problem: Diese Denkweise ignoriert, dass Menschen unterschiedlich denken. Manchmal ist das Buch selbst so verwirrend (ein Krimi, der wie ein Liebesroman aussieht), manchmal ist ein Freund einfach müde, und manchmal haben zwei Freunde einfach eine völlig unterschiedliche Meinung darüber, was ein „Liebesroman" ist.

Dieses Papier sagt: Hören wir auf, alle Uneinigkeit als „Rauschen" (Störgeräusch) zu betrachten. Lassen Sie uns stattdessen wie Wissenschaftler vorgehen und herausfinden, warum die Menschen unterschiedlich labeln.

Die neue Brille: Messfehler statt Datenfehler

Die Autoren schlagen vor, das Beschriften von Daten nicht als einfache Ja/Nein-Aufgabe zu sehen, sondern als einen Messprozess – ähnlich wie wenn man die Temperatur mit einem Thermometer misst.

Wenn Sie die Temperatur messen, kann das Ergebnis variieren, weil:

Das Objekt schwer zu messen ist: Das Thermometer liegt in einer kalten Ecke, aber die Luft ist warm (Instanz-Schwierigkeit).
Der Messer eine Eigenart hat: Das Thermometer zeigt immer 2 Grad zu viel an (Annotator-Bias).
Die Situation gestört hat: Jemand hat das Thermometer versehentlich berührt oder es gab einen Zug (Situatives Rauschen).

Die Autoren zerlegen die menschlichen Fehler in genau diese vier Kategorien:

1. Der „Zickzack-Weg" (Instanz-Schwierigkeit)

Manche Aufgaben sind einfach knifflig.

Analogie: Stellen Sie sich ein Bild vor, auf dem ein Hund halb hinter einem Zaun versteckt ist. Selbst ein Profi würde sich unsicher fühlen. Das Problem liegt nicht beim Menschen, sondern am Bild. Das ist wie ein Weg, der so steil und glatt ist, dass jeder, der ihn hochgeht, stolpert.

2. Der „Eigensinn" (Annotator-Bias)

Manche Menschen haben eine feste Einstellung.

Analogie: Ein Freund ist ein strenger Richter. Er findet schon einen kleinen Witz „beleidigend". Ein anderer Freund ist sehr locker und findet fast nichts beleidigend. Wenn beide denselben Satz lesen, geben sie unterschiedliche Antworten. Das ist kein Fehler, sondern ihre Persönlichkeit.

3. Der „Müde-Moment" (Situatives Rauschen)

Manchmal machen wir Fehler, weil wir nicht bei der Sache sind.

Analogie: Sie sind hungrig, müde oder abgelenkt durch ein lautes Telefon. Sie markieren etwas falsch, obwohl Sie es eigentlich wissen. Das ist wie ein Schuss, der danebengeht, weil der Wind plötzlich stark wehte.

4. Die „Versteckte Wahrheit" (Menschliche Label-Variation)

Das ist der wichtigste Punkt des Papiers: Manchmal gibt es gar keine einzige richtige Antwort.

Analogie: Stellen Sie sich ein abstraktes Gemälde vor. Für den einen ist es „traurig", für den anderen „friedlich". Beide haben recht! Wenn wir hier versuchen, eine einzige „wahre" Antwort zu erzwingen, zerstören wir die Vielfalt der menschlichen Meinung.

Der große Test: Wer hat recht?

Die Autoren haben diesen Ansatz an einem echten Datensatz getestet (NLI – Natural Language Inference), bei dem Menschen entscheiden mussten, ob ein Satz logisch aus einem anderen folgt.

Sie haben zwei Modelle verglichen:

Das „Ein-Wahrheit"-Modell: Alle müssen sich an eine einzige, objektive Wahrheit halten.
Das „Viele-Wahrheiten"-Modell: Jeder hat seine eigene, konsistente Sichtweise, und das ist okay.

Das Ergebnis war überraschend:
Bei diesem speziellen Datensatz war das „Ein-Wahrheit"-Modell falsch. Die Uneinigkeit der Menschen kam nicht nur von kniffligen Sätzen (Instanz-Schwierigkeit), sondern vor allem von den unterschiedlichen Denkweisen der Menschen und davon, wie sie sich gegenseitig verstanden.

Es stellte sich heraus, dass die Menschen nicht einfach „Fehler" machten, sondern systematisch unterschiedliche Welten sahen. Wenn man diese Unterschiede ignoriert und alles auf eine einzige Antwort herunterbricht, verliert die KI wertvolle Informationen darüber, wie Menschen wirklich denken.

Was bedeutet das für die Zukunft?

Dieses Papier ist wie eine Landkarte für KI-Entwickler. Es sagt uns:

Nicht alles löschen: Wenn Menschen sich uneinig sind, schauen Sie zuerst hin. Ist der Text verwirrend? Oder haben die Menschen einfach eine andere Meinung?
Die richtige Strategie wählen:
- Wenn es um Objekte geht (z. B. „Ist das ein Auto?"), dann ist eine einzige Wahrheit richtig. Hier sollten wir Fehler korrigieren.
- Wenn es um Meinungen geht (z. B. „Ist das beleidigend?"), dann ist die Vielfalt der Meinungen die Wahrheit. Hier sollten wir die Unterschiede bewahren und die KI lernen lassen, dass es verschiedene Perspektiven gibt.

Fazit:
Das Beschriften von Daten ist keine reine Datenverarbeitung, sondern ein menschlicher Messprozess. Wenn wir verstehen, warum Menschen unterschiedliche Antworten geben (weil die Aufgabe schwer ist, weil sie müde sind oder weil sie anders denken), können wir bessere, fairere und menschlichere KI-Systeme bauen. Statt die menschliche Vielfalt zu „bereinigen", sollten wir sie verstehen und nutzen.

1. Problemstellung

Im überwachten maschinellen Lernen (Supervised Learning) wird die Annahme getroffen, dass gelabelte Daten präzise Messungen der zu lernenden Konzepte darstellen. In der Praxis führt menschliches Labeln jedoch zu systematischen Variationen, die durch mehrdeutige Items, divergierende Interpretationen und einfache Fehler entstehen.

Aktuelle Limitierung: Die ML-Forschung behandelt Diskrepanzen zwischen Annotatoren oft als reines „Rauschen" (Noise), das durch Aggregation oder Nachkorrektur eliminiert werden muss. Dies verschleiert jedoch die strukturellen Ursachen von Fehlern und begrenzt das Verständnis darüber, was Modelle tatsächlich lernen.
Folge: Ein einzelnes falsch gelabeltes Beispiel kann zu Modellfehlern, Fairness-Disparitäten und irreführenden Benchmarks führen.
Ziel: Das Paper betrachtet Annotation nicht als bloßen Datenerstellungsprozess, sondern als Messprozess, der systematisch analysiert werden muss, um Fehlerquellen zu diagnostizieren und zu verstehen.

2. Methodik und Theoretischer Rahmen

Die Autoren adaptieren und erweitern klassische Messfehlermodelle aus den Sozialwissenschaften (z. B. Klassische Testtheorie) für das maschinelle Lernen.

A. Zerlegung des Messfehlers

Das Kernstück des Frameworks ist die Dekomposition des beobachteten Labels ( $Y_{ijt}$ ) in interpretierbare Komponenten:
$Y_{ijt} = \mu_j + \beta_j + \rho_i + \sigma_{ijt}$
Dabei repräsentieren die Terme:

$\mu_j$ (Ground Truth): Die latente „wahre" Instanz.
$\beta_j$ (Instanzschwierigkeit): Systematische Fehler, die von der Ambiguität oder Komplexität des Datenelements selbst herrühren (z. B. mehrdeutige Sätze).
$\rho_i$ (Annotator-Bias): Stabile, annotatorspezifische Tendenzen (z. B. Expertise, ideologische Voreingenommenheit, Antwortstile).
$\sigma_{ijt}$ (Situatives Rauschen): Transiente Faktoren innerhalb eines Annotators (z. B. Müdigkeit, Ablenkung), die zu Inkonsistenzen über verschiedene Durchläufe hinweg führen.

B. Erweiterung auf menschliche Label-Variation (HLV)

Das Framework erweitert das klassische Modell, um Fälle zu berücksichtigen, in denen es keine einzige objektive „Wahrheit" gibt (z. B. bei Hassrede-Erkennung oder Sentiment-Analyse).

Statt eines globalen $\mu_j$ wird ein annotatorspezifisches latentes Wahrheitskonzept ( $\mu_{ij}$ ) eingeführt.
Dies wird durch einen interpretativen Abweichungsterm $\delta_{ij}$ modelliert, der stabile Unterschiede in der Interpretation durch verschiedene Annotatoren erfasst.
Das Modell unterscheidet somit zwischen Messfehlern (Inkonsistenz bei der Äußerung einer Meinung) und interpretativer Variation (unterschiedliche, aber konsistente Meinungen).

C. Statistische Operationalisierung

Die Autoren verwenden gemischte Effekte-Modelle (Mixed-Effects Models) und Generalized Linear Mixed Models (GLMMs):

Globales Ground-Truth-Modell: Fehler wird als Abweichung von einem Konsens-Label definiert.
Individuelles Ground-Truth-Modell: Fehler wird als Abweichung von der selbst validierten Interpretation des Annotators definiert.
Diagnostik für Messregime: Ein relationaler Ansatz (Pairwise Validation) analysiert die Varianzkomponenten, um zu bestimmen, ob Diskrepanzen primär durch Instanzschwierigkeit (globales Regime) oder durch stabile Annotator-Interaktionen (individuelles Regime/HLV) getrieben werden.

3. Empirische Studie (Case Study: VariErr NLI)

Das Framework wurde auf dem VariErr NLI-Datensatz (Natural Language Inference) angewendet.

Daten: 500 Items aus dem ChaosNLI-Datensatz, jeweils von vier Annotatoren gelabelt, inklusive schriftlicher Begründungen.
Design: Ein zweiter Durchlauf (Blind-Review) ermöglichte die direkte Bewertung der Konsistenz innerhalb und zwischen Annotatoren.

Ergebnisse der Analyse:

Strukturierte Fehlerquellen: Alle vier theoretischen Komponenten ( $\beta_j, \rho_i, \sigma_{ijt}, \delta_{ij}$ ) wurden empirisch nachgewiesen.
Globales vs. Individuelles Modell:
- Im Globalen Modell war die Instanzschwierigkeit (Ambiguität) der stärkste Prädiktor für Fehler.
- Im Individuellen Modell war die Varianz zwischen den Annotatoren ( $\rho_i$ ) dominant, während die Instanzschwierigkeit kaum eine Rolle spielte. Interessanterweise führte Ambiguität im individuellen Modell zu weniger wahrgenommenen Fehlern (Annotatoren hielten ihre mehrdeutigen Entscheidungen für intern konsistent).
Relationale Struktur: Die Pairwise-Validation zeigte signifikante Varianz in den Interaktionen zwischen Annotator-Paaren. Bestimmte Annotatoren stimmten systematisch überein oder ab, was auf interpretative Sub-Communities hindeutet.
Fazit der Studie: Für den NLI-Aufgabe-Typ liegt die Diskrepanz weniger in zufälligem Rauschen um eine globale Wahrheit, sondern in systematischer menschlicher Variation (HLV). Die Daten lassen sich besser durch ein Modell beschreiben, das multiple, konsistente Interpretationen zulässt, als durch ein einziges Konsens-Label.

4. Wichtige Beiträge

Allgemeines Messfehler-Framework: Formalisierung von Annotation als Messprozess, der Fehler in Instanz-, Annotator- und Restkomponenten zerlegt. Dies bietet eine diagnostische Basis für das Redesign von Labeling-Aufgaben.
Erweiterung auf individuelle Ground Truths: Theoretische Klärung, wann Diskrepanz als Fehler und wann als sinnvolle interpretative Vielfalt zu betrachten ist. Brückenschlag zwischen Psychometrie und moderner Annotation.
Empirischer Nachweis: Demonstration, dass strukturierte Varianzquellen existieren, die von Standard-Label-Noise-Modellen übersehen werden.
Diagnostisches Werkzeug: Entwicklung einer Methode zur Bestimmung des passenden Messregimes (Global vs. Individual), um zu entscheiden, ob Aggregation, Personalisierung oder Verteilungsmodelle für Labels angemessen sind.

5. Signifikanz und Implikationen

Das Paper verschiebt den Fokus von rein algorithmischen Lösungen zur Fehlerkorrektur hin zu einem daten-zentrischen Verständnis der Datengenerierung.

Für das Dataset-Design: Wenn die Diagnose ein globales Regime zeigt, sollten Ressourcen in die Entschärfung von Ambiguitäten fließen. Zeigt sie ein HLV-Regime, sollten diverse Perspektiven bewahrt und Annotator-Metadaten gesammelt werden.
Für das Modell-Training: In HLV-Szenarien ist das Zusammenfassen zu einem Konsens-Label suboptimal. Stattdessen sollten Multi-Annotator-Trainings, Mixture-of-Raters-Modelle oder konditionierte Label-Verteilungen verwendet werden.
Für die Evaluation: Metriken sollten dem Messregime entsprechen (z. B. Kalibrierung gegenüber annotatorspezifischen Verteilungen statt bloßer Genauigkeit gegen ein einzelnes Label).
Wissenschaftlicher Beitrag: Das Paper legt den Grundstein für eine „Wissenschaft des Labelings", die Annotation als komplexen menschlichen Messprozess behandelt und hilft, die Epistemologie von „Wahrheit" in KI-Systemen zu klären.

Zusammenfassend bietet das Framework einen prinzipiellen Weg, um zu verstehen, warum Labeling-Fehler auftreten, und ermöglicht datengestützte Entscheidungen darüber, wie Ground Truth in verschiedenen Domänen konstruiert und modelliert werden sollte.