Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

Das große Problem: Wenn „die Mehrheit“ die Minderheit zum Schweigen bringt

Stellen Sie sich vor, Sie versuchen zu entscheiden, ob ein Witz lustig oder gemein ist. Sie lassen eine Gruppe von 100 Menschen abstimmen.

• 51 Leute sagen: „Es ist nur ein Witz, es ist lustig.“
• 49 Leute sagen: „Es ist eigentlich gemein und verletzend.“

In der Welt der Informatik und der KI lautet die Standardregel: „Die Mehrheit gewinnt.“ Dem Computer wird gesagt: „Okay, 51 Leute haben gesagt, es ist lustig, also ist es lustig.“ Der Computer lernt dann, dass dies die absolute Wahrheit ist.

Dieses Paper argumentiert, dass diese einfache Regel gefährlich ist. Sie behandelt eine chaotische, komplizierte menschliche Meinungsverschiedenheit so, als wäre sie eine klare Tatsache. Die Autoren zeigen, dass ein Computer katastrophal scheitert, wenn man ihn zwingt, aus dieser „Mehrheitsentscheidung“ zu lernen – und zwar genau bei den Beiträgen, bei denen die Menschen am uneinigsten sind.

Der Rahmen: Der „HateXplain“-Datensatz

Die Forscher untersuchten einen Datensatz namens HateXplain, der Social-Media-Beiträge enthält, die von menschlichen Arbeitskräften etikettiert wurden. Die Arbeiter mussten zwischen drei Kategoren wählen:

1. Normal (harmlos)
2. Offensiv (unhöflich oder verletzend, aber keine Hassrede)
3. Hassrede (gefährlich, zielt auf eine Gruppe ab)

Die Forscher fanden heraus, dass Menschen oft Schwierigkeiten haben, zwischen Offensiv und Hassrede zu unterscheiden. Es ist eine verschwommene Linie, wie die Entscheidung, ob ein Sonnenuntergang „orange“ oder „rot“ ist.

Die Kernergebnisse

1. Die Uneinigkeit ist nicht zufällig; es ist ein „Grenzkrieg“

Die Autoren entdeckten, dass fast 43 % aller Argumente zwischen den menschlichen Arbeitern genau an der Grenze zwischen „Offensiv“ und „Hassrede“ stattfanden.

• Analogie: Stellen Sie sich die Grenze zwischen zwei Ländern vor. Die meisten Menschen sind sich einig darüber, was innerhalb von Land A und was innerhalb von Land B liegt. Aber direkt an der Grenzlinie streiten sich die Menschen ständig.
• Die Behauptung des Papers: Die Daten zeigen, dass Menschen nicht einfach wahllos streiten, wenn sie sich uneinig sind. Sie streiten spezifisch darüber, wo die Linie zwischen „unhöflich“ und „hasserfüllt“ gezogen wird.

2. Der „Silencing“-Effekt (Das Verstummen)

Als die Ersteller des Datensatzes die Stimmen nahmen und den Gewinner (die Mehrheit) ermittelten, haben sie effektiv die Minderheit zum Schweigen gebracht.

• Wenn 2 Personen „Hass“ sagten und 1 Person „Offensiv“, lernte der Computer „Hass“.
• Wenn 2 Personen „Offensiv“ sagten und 1 Person „Hass“, lernte der Computer „Offensiv“.
• Das Ergebnis: Der Computer lernt nie, dass eine legitime Debatte stattfindet. Er denkt, die Antwort sei eindeutig, selbst wenn sie es nicht ist.

3. Die KI irrt sich mit hoher Zuversicht

Die Forscher trainierten drei verschiedene Arten von KI-Modellen, um zu sehen, ob sie das Problem lösen könnten:

• Modell A (Der Standard): Lernte aus den „Mehrheitsentscheidungs“-Labels.
• Modell B (Der sanfte Lerner): Lernte aus den Prozentsätzen (z. B. „60 % sagten Hass, 40 % sagten Offensiv“).
• Modell C (Der Individualist): Versuchte zu lernen, was jeder spezifische Arbeiter dachte, anstatt nur den Durchschnitt der Gruppe.

Das schockierende Ergebnis:

• Alle drei Modelle waren sehr gut darin, Beiträge zu labeln, bei denen sich die Menschen einig waren (ca. 80 % Genauigkeit).
• Aber bei den Beiträgen, bei denen Menschen uneinig waren (die Grenzfälle), brachen alle drei Modelle zusammen und fielen auf etwa 55 % Genauigkeit ab.
• Die „Überkonfidenz“-Falle: Das Standardmodell (Modell A) lag nicht nur daneben, sondern es lag mit hoher Zuversicht daneben. Es sagte: „Ich bin mir zu 71 % sicher, dass dies Hassrede ist“, obwohl es sich eigentlich um einen komplexen, debattierbaren Fall handelte.
• Das „ehrliche“ Modell: Modell C (der Individualist) war weniger selbstbewusst (49 %) bei diesen Fehlern. Es war ehrlicher in Bezug auf seine Unsicherheit, war aber immer noch genauso ungenau.

Analogie: Stellen Sie sich einen Wettervorhersager vor.

• Modell A sieht einen bewölkten Tag und sagt: „Es wird definitiv regnen!“ (Hohe Zuversicht, aber falsch).
• Modell C sieht denselben Tag und sagt: „Ich bin mir nicht sicher, vielleicht regnet es, vielleicht auch nicht.“ (Geringe Zuversicht, weiß es aber immer noch nicht genau).
• Der Punkt: „Ehrlich“ über das Nichtwissen zu sein, hilft nicht, wenn das System trotzdem die falsche Entscheidung trifft.

Warum können wir die KI nicht einfach reparieren?

Die Forscher versuchten drei verschiedene „Downstream“-Lösungen (Änderungen daran, wie die KI lernt oder wie sie abstimmt). Keine davon funktionierte.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, einen perfekten Kreis zu zeichnen. Aber der Lehrer zeigt dem Schüler ständig das Bild eines Quadrats und sagt: „Das ist ein Kreis.“
  • Sie können versuchen, den Schüler mit einer sanfteren Stimme zu unterrichten (Soft Labels).
  • Sie können versuchen, ihm die Perspektive jedes einzelnen Lehrers zu zeigen (Per-Annotator Heads).
  • Aber es spielt keine Rolle. Wenn die „Grundwahrheit“ (die Antwortlösung) falsch ist, wird der Schüler niemals lernen, einen Kreis zu zeichnen.

Das Paper kommt zu dem Schluss, dass das Problem nicht das KI-Modell ist, sondern das Design der Annotation. Man kann ein kaputtes Fundament nicht reparieren, indem man die Wände neu streicht.

Die vorgeschlagene Lösung: Die Regeln ändern, bevor man beginnt

Da das Reparieren der KI nicht funktionierte, sagen die Autoren, dass wir den menschlichen Prozess korrigieren müssen, bevor die KI die Daten überhaupt sieht. Sie schlagen drei Änderungen vor:

1. Hören Sie auf, „Ja/Nein“-Labels zu verwenden: Anstatt die Arbeiter zu zwingen, zwischen „Offensiv“ oder „Hassrede“ zu wählen, geben Sie ihnen eine Skala (wie 1 bis 5). Dies erkennt an, dass manche Dinge „ein bisschen offensiv“ und „ein bisschen Hass“ sind, anstatt eine binäre Wahl zu erzwingen, die zu Diskussionen führt.
2. Grenzfälle markieren: Wenn die KI bei einem Beitrag unsicher ist (geringe Zuversicht), sollte sie keine endgültige Entscheidung treffen, sondern ihn zur Überprüfung durch einen Menschen markieren.
3. Die Betroffenen einbeziehen: Das Paper argumentt, dass die Menschen, deren Inhalte bewertet werden (z. B. bestimmte kulturelle oder Minderheitengruppen), diejenigen sein sollten, die die Kennzeichnung vornehmen. Ihre Definition von „Hass“ kann sich von der der Mehrheit unterscheiden. Wenn man nur die Mehrheit fragt, wird man die Perspektive der Minderheit immer übersehen.

Eine Warnung zur Lösung

Die Autoren weisen ausdrücklich auf ein großes ethisches Problem bei Punkt #3 hin. Den Mitgliedern marginalisierter Gemeinschaften zuzumuten, Hassrede anzusehen, die gegen sie selbst gerichtet ist, kann psychologisch belastend sein. Sie argumentieren, dass wir sie, falls wir dies tun, gut bezahlen, psychologische Unterstützung bieten und ihnen ermöglichen müssen, freiwillig teilzunehmen. Wir sollten die Last der Moderation nicht einfach auf die Menschen abwälzen, die davon betroffen sind.

Zusammenfassung

Das Paper argumentiert, dass Mehrheitsabstimmungen beim Training von KI eine Falle sind. Sie verwandeln komplexe menschliche Meinungsverschiedenheiten in falsche „Tatsachen“. Dies führt dazu, dass KI-Modelle bei den sensibelsten Themen mit hoher Zuversicht falsch liegen. Der einzige Weg, dies zu lösen, besteht nicht darin, eine intelligentere KI zu bauen, sondern die Art und Weise zu ändern, wie Menschen die Daten kennzeichnen.