Quantifying and Predicting Disagreement in Graded Human Ratings
Dieser Beitrag untersucht Muster von Uneinigkeit bei gestuften menschlichen Bewertungen unangemessener Sprache, indem er den Oppositions-Index zur Quantifizierung von Perspektivendifferenzen vorschlägt und nachweist, dass textuelle Merkmale sowohl die Annotationsvarianz als auch die Schwierigkeit von Instanzen mit gegensätzlichen menschlichen Meinungen in moderatem Maße vorhersagen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie leiten einen Wettbewerb, bei dem die Teilnehmer bewerten müssen, wie „unhöflich" ein bestimmter Satz ist. Sie bitten fünf verschiedene Richter, denselben Satz zu betrachten und ihm eine Punktzahl von 0 (überhaupt nicht unhöflich) bis 4 (extrem unhöflich) zu geben.
Manchmal sind sich alle fünf Richter perfekt einig. Sie geben ihm alle eine „0". Zu anderen Zeiten sind die Richter genau gespalten: Zwei halten ihn für eine „0", und drei halten ihn für eine „4". Das ist es, was die Arbeit als Meinungsverschiedenheit bezeichnet.
Die Forscher wollten zwei Dinge wissen:
- Können wir anhand des Satzes selbst abschätzen, wie stark die Richter uneins sein werden? (Werden sie sich alle einig sein, oder werden sie streiten?)
- Können wir vorhersagen, ob die Richter völlig gegensätzliche Meinungen haben werden? (Wird die Hälfte des Raums denken, es sei harmlos, während die andere Hälfte denkt, es sei schrecklich?)
Hier ist, wie sie dies mit einfachen Analogien angegangen sind:
1. Das Problem: Nicht alle Streitigkeiten sind gleich
In der Vergangenheit behandelten Forscher alle Meinungsverschiedenheiten gleich. Doch diese Arbeit besagt, dass dies so ist, als würde man eine leichte Meinungsverschiedenheit darüber, was man zum Abendessen essen soll, genauso behandeln wie eine hitzige politische Debatte. Manche Sätze sind so klar, dass sich alle einig sind (geringe Meinungsverschiedenheit). Andere sind knifflig, mehrdeutig oder hängen von persönlichen Werten ab, was dazu führt, dass die Richter ihre Stimmen aufteilen (hohe Meinungsverschiedenheit).
Die Forscher konzentrierten sich auf „unangemessene Sprache" (wie Hassrede oder toxische Kommentare), da dies die Bereiche sind, in denen sich die Meinungen der Menschen am stärksten überschneiden.
2. Das neue Werkzeug: Der „Oppositionsindex"
Um zu messen, wie sehr die Richter streiten, erfanden die Forscher ein neues Maß namens Oppositionsindex.
- Die Analogie: Stellen Sie sich eine Wippe vor.
- Wenn alle in der Mitte sitzen, ist die Wippe flach. Das ist Konsens (niedriger Index).
- Wenn alle auf einer Seite sitzen, ist sie geneigt, aber stabil. Das ist starke Einigung auf einer Seite (niedriger Index).
- Wenn die Hälfte der Leute ganz links und die andere Hälfte ganz rechts sitzt, ist die Wippe perfekt ausgeglichen, aber chaotisch. Das ist Polarisierung (hoher Index).
Der „Oppositionsindex" berechnet genau, wie „ausgeglichen" das Chaos ist. Eine Punktzahl von 1 bedeutet, dass die Gruppe perfekt zwischen zwei extremen Ansichten aufgeteilt ist. Eine Punktzahl von 0 bedeutet, dass alle auf dem gleichen Stand sind.
3. Das Experiment: Das Chaos vorhersagen
Die Forscher bauten Computermodelle (KI), die einen Satz bevor Menschen ihn bewertet haben, analysieren und versuchen sollen, vorherzusagen:
- Die Varianz: Wie stark werden die Punktzahlen streuen? (Werden sie alle nah beieinander liegen oder verstreut sein?)
- Die Opposition: Werden die Punktzahlen in zwei gegnerische Lager aufgeteilt sein?
Sie versuchten zwei Hauptmethoden, um die KI zu trainieren:
- Methode A (Direkt): Man sagt der KI: „Verrate einfach die Zahl, die die Meinungsverschiedenheit repräsentiert."
- Methode B (Verteilung): Man sagt der KI: „Verrate die vollständige Aufschlüsselung, wie viele Leute 0 wählen werden, wie viele 1 usw., und berechne dann die Meinungsverschiedenheit daraus."
4. Was sie herausfanden
- Die KI ist okay darin, die „Streuung" zu erraten, aber nicht perfekt. Die Computermodelle konnten das Niveau der Meinungsverschiedenheit mit einem „mäßigen" Erfolg vorhersagen. Es ist wie eine Wettervorhersage, die sagt „es besteht eine Regenwahrscheinlichkeit", statt „es wird definitiv regnen".
- Methode B war etwas besser. Es war hilfreicher, der KI beizubringen, das ganze Bild (die Verteilung der Stimmen) vorherzusagen, anstatt nur die endgültige Zahl der Meinungsverschiedenheit. Indem sie die Form der Stimmen verstanden, lernte die KI die Struktur der Meinungsverschiedenheit besser.
- Die KI hat Schwierigkeiten mit extremen Kämpfen. Die Modelle waren gut darin zu erkennen, wenn sich die Leute einig waren oder nur leicht uneins. Wenn die Richter jedoch extrem polarisiert waren (die Wippe war perfekt ausgeglichen mit Leuten an den entgegengesetzten Enden), neigte die KI dazu, dies zu unterschätzen. Sie sagte einen „mittleren" Kampf voraus, wenn es tatsächlich ein „riesiger" Kampf war.
5. Warum passiert das?
Die Arbeit schlägt einige Gründe vor, warum die KI diese extremen Kämpfe nicht perfekt vorhersagen kann:
- Seltene Ereignisse: Es gab einfach nicht genug Beispiele für extreme Polarisierung in den Trainingsdaten, damit die KI das Muster lernen konnte.
- Versteckte Faktoren: Manchmal geht es bei der Meinungsverschiedenheit nicht um die Worte auf dem Bildschirm. Es geht um das persönliche Leben des Richters, seine politischen Ansichten oder seine Kultur. Die KI kann nur den Text lesen, nicht das Herz des Richters.
- Rauschen: Wenn ein Richter einen schlechten Tag hat und etwas seltsam bewertet, kann dies die Mathematik durcheinanderbringen und die KI verwirren.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass wir, obwohl wir menschliche Streitigkeiten allein durch das Lesen des Textes nicht perfekt vorhersagen können, eine brauchbare Schätzung erhalten können. Die wichtigste Erkenntnis ist, dass einige Sätze von Natur aus schwieriger zu beurteilen sind als andere.
Die Forscher schlagen vor, dass wir in der Zukunft, wenn wir Daten kennzeichnen müssen (wie beim Trainieren einer KI zur Erkennung von Hassrede), nicht jeden Satz gleich behandeln sollten. Wir sollten mehr Zeit und mehr menschliche Richter für die Sätze aufwenden, von denen die KI vorhersagt, dass sie die größte Meinungsverschiedenheit hervorrufen werden, und unsere Zeit bei den einfachen Sätzen sparen, bei denen sich alle einig sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.