Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Schiedsrichter bei einem riesigen, chaotischen Sportspiel, bei dem die Menge Kommentare zu den Spielern ruft. Ihre Aufgabe ist es zu entscheiden, welche Kommentare „beleidigend“ sind und verstummen müssen.
Dieses Papier ist wie ein Zeugnis für zwei Arten von Schiedsrichtern: Roboter (Computeralgorithmen) und Menschen (echte Personen mit unterschiedlichen politischen Ansichten). Die Forscher wollten herausfinden, ob diese Schiedsrichter sich darüber einig sind, was als Beleidigung gilt, insbesondere wenn es um amerikanische Politik geht.
Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:
1. Die Roboter-Schiedsrichter können sich nicht auf die Regeln einigen
Die Forscher testeten neun verschiedene Computerprogramme (die „Maschinellen Moderatoren“) an über 3 Millionen Kommentaren von YouTube-News-Kanälen.
- Die Analogie: Stellen Sie sich neun verschiedene Schiedsrichter vor, die denselben Spielzug beobachten. Einer pfeift ein Foul, ein anderer sagt „kein Foul“ und ein dritter sagt: „Nun, es ist ein Foul, aber nur, wenn du blaue Schuhe trägst.“
- Das Ergebnis: Die Roboter waren völlig uneinig. Manchmal wurde ein Kommentar von nur einem Roboter als beleidigend markiert und von den anderen acht ignoriert. Tatsächlich wurden fast die Hälfte der Kommentare von allen Robotern ignoriert, während ein winziger Bruchteil von allen ihnen markiert wurde. Das bedeutet, dass es keine einzelne „Roboter-Wahrheit“ darüber gibt, was beleidigend ist.
2. Die menschlichen Schiedsrichter haben unterschiedliche Spielbücher
Die Forscher fragten dann echte Menschen (Demokraten, Republikaner und Unabhängige), um dieselben Kommentare zu bewerten. Sie stellten zwei Fragen:
- Persönliche Beleidigung: „Verletzt dieser Kommentar deine Gefühle?“
- Vikarische Beleidigung: „Glaubst du, dass dieser Kommentar die Gefühle von jemandem vom anderen politischen Team verletzen würde?“
- Die Analogie: Es ist, als würde man einen Fan von Team A fragen: „Verletzt diese Beleidigung dich?“ und dann fragen: „Glaubst du, dass ein Fan von Team B dadurch verletzt wäre?“
- Das Ergebnis:
- Menschen sind sich untereinander einiger als mit Robotern: Demokraten, Republikaner und Unabhängige verstanden einander im Allgemeinen besser als die Roboter es taten.
- Die „Empathie-Lücke“: Menschen waren jedoch schlecht darin, vorherzusagen, was die andere Seite als beleidigend empfinden würde.
- Der blinde Fleck der Republikaner: Die Studie fand heraus, dass Republikaner am schlechsten darin waren zu erraten, was Demokraten oder Unabhängige beleidigend finden würden. Umgekehrt hatten auch Demokraten und Unabhängige Schwierigkeiten zu verstehen, was Republikaner tatsächlich beleidigen würde. Es ist wie zwei Gruppen von Menschen, die sich gegenseitig anschreien, jede davon überzeugt, dass die andere in der falschen Lautstärke schreit, während sie in Wirklichkeit auf völlig unterschiedlichen Frequenzen schreien.
3. Das Experiment zur „Vikarischen Beleidigung“
Das Papier führt ein neues Konzept namens Vikarische Beleidigung (Vicarious Offense) ein.
- Das Konzept: Normalerweise kümmern wir uns nur darum, ob wir beleidigt sind. Diese Studie fragte: „Kannst du dich in die Lage eines anderen versetzen und vorhersagen, ob er/sie beleidigt wäre?“
- Das Ergebnis: Die Forscher fanden heraus, dass Menschen überraschend schlecht darin sind. Selbst wenn Demokraten und Unabhängige sich einig waren, was sie glaubten, würde einen Republikaner beleidigen, lagen sie oft daneben, was tatsächlich einen Republikaner beleidigte. Sie betrachteten alle denselben Kommentar, sahen aber unterschiedliche Dinge.
4. Die Falle der „Sensiblen Themen“
Die Forscher untersuchten spezifische Brennpunkte wie Abtreibung und Waffenkontrolle.
- Die Analogie: Wenn das Spiel über allgemeinen Sport geht, können sich die Schiedsrichter über die Regeln einig sein. Aber wenn das Spiel über ein religiöses oder tief persönliches Thema geht, scheinen sich die Regeln zu ändern, je nachdem, wer die Pfeife hält.
- Das Ergebnis: Die Uneinigkeit wurde bei diesen Themen noch größer.
- Bei Waffen waren Republikaner weniger tolerant gegenüber beleidigenden Kommentaren als Demokraten.
- Bei Abtreibung waren Demokraten weniger tolerant als Republikaner.
- Unabhängige waren im Allgemeinen die toleranteste Gruppe und waren bereit, mehr Kommentare durchgehen zu lassen als die beiden extremen Seiten.
5. Das „Big Tech“-Dilemma
Das Papier hebt eine verwirrende Realität für Social-Media-Unternehmen hervor:
- Die Roboter: Sie sind inkonsistent. An einem Tag löschen sie vielleicht einen Kommentar; am nächsten Tag lässt ein anderer Roboter ihn stehen.
- Die Menschen: Sie sind durch ihre Politik voreingenommen. Ein Demokrat könnte einen Kommentar löschen, den ein Republikaner für völlig in Ordnung hält, und umgekehrt.
- Das Fazit: Es gibt keinen perfekten „Goldstandard“ dafür, was beleidigend ist. Je nachdem, wen man fragt (einen Roboter, einen Demokraten oder einen Republikaner), ändert sich die Antwort komplett.
Zusammenfassung
Das Papier kommt zu dem Schluss, dass die Überwachung der Online-Sprache unglaublich schwierig ist, weil Beleidigung im Auge des Betrachters liegt.
- Roboter sind inkonsistent und übersehen oft die Nuancen.
- Menschen sind durch ihre politischen Teams voreingenommen und schlecht darin, vorherzusagen, was die „andere Seite“ verletzend findet.
- Das Ergebnis: Wir stecken in einer Situation fest, in der wir uns nicht einfach darauf einigen können, was „beleidigend“ ist, was es sehr schwer macht, faire Systeme zur Moderation politischer Online-Argumente aufzubauen.
Die Autoren testeten auch eine ausgeklügelte neue KI (ChatGPT), um zu sehen, ob sie vorhersagen kann, was die andere Seite als beleidigend empfinden würde, aber sie hatte wie die Menschen Schwierigkeiten, was beweist, dass dies ein sehr schwieriges Problem sowohl für Gehirne als auch für Computer ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.