Leveraging Argument Structure to Predict Content Hatefulness
Dieser Artikel zeigt, dass die Nutzung von Argumentstruktur-Annotationen (Prämissen und Schlussfolgerungen) aus dem WSF-ARG+-Datensatz die Gesamthasslichkeit von Nachrichten in Foren für weiße Vorherrschaft effektiv vorhersagen kann, wobei bis zu 96 % F1-Score erreicht werden und ein vielversprechender Ansatz zur Bekämpfung von Informationsunordnung geboten wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als einen riesigen, lauten Marktplatz vor, auf dem Menschen Ideen herausrufen. Manchmal sind diese Ideen einfach falsch (Desinformation), und manchmal sind sie darauf ausgelegt, bestimmte Gruppen von Menschen zu verletzen oder zu beleidigen (Hassrede). Oft vermischen sich diese beiden Probleme. Ein böswilliger Akteur könnte eine hasserfüllte Botschaft in ein „logisches" Paket hüllen, damit sie wie eine ernsthafte Argumentation aussieht, in der Hoffnung, dass Sie ihr glauben.
Dieser Artikel ist wie ein Detektiv, der herausfinden will, wie man dieses „hasserfüllte Paket" erkennt, indem er betrachtet, wie das Argument aufgebaut ist, anstatt nur die Wörter zu lesen.
Die Bausteine: Prämissen und Schlussfolgerungen
Stellen Sie sich ein Argument wie ein Haus vor.
- Die Prämissen sind die Ziegelsteine und der Mörtel. Dies sind die Fakten oder Behauptungen, die die Person als Fundament verwendet.
- Die Schlussfolgerung ist das Dach. Dies ist der Hauptpunkt, den sie zu beweisen versuchen.
Normalerweise, wenn wir versuchen, Hassrede zu erkennen, betrachten wir einfach das ganze Haus und fragen: „Sieht dieses Haus bedrohlich aus?" Aber dieser Artikel stellt eine andere Frage: „Können wir sagen, ob das Haus gefährlich ist, indem wir nur betrachten, wie die Ziegelsteine gestapelt sind und was das Dach sagt?"
Das Experiment: Ein Forum für weiße Vorherrschaft
Die Forscher untersuchten eine spezifische Sammlung von Nachrichten aus einem Forum für weiße Vorherrschaft (ein Ort, der für hasserfüllte Inhalte bekannt ist). Sie hatten 227 hasserfüllte Nachrichten und 136 nicht-hasserfüllte.
Sie lasen den Text nicht nur; sie zerlegten jede Nachricht in ihre „Ziegelsteine" (Prämissen) und ihr „Dach" (Schlussfolgerung). Sie markierten auch jeden Teil mit zwei speziellen Etiketten:
- Hasserfülltheit: Ist dieser spezifische Satz gemein oder beleidigend?
- Überprüfbarkeit: Ist dies eine Behauptung, die auf Fakten überprüft werden kann (wie „Der Himmel ist blau") oder ist es nur eine Meinung (wie „Ich finde den Himmel hübsch")?
Die Detektivarbeit: Wie sie es testeten
Die Forscher bauten ein Computermodell (einen „intelligenten Sortierer"), um vorherzusagen, ob eine Nachricht hasserfüllt war. Sie versuchten, dem Modell verschiedene Arten von Hinweisen zu geben:
Nur der Bauplan (Struktur): Sie sagten dem Modell: „Hier ist die Reihenfolge der Ziegelsteine und des Daches, aber keine Details darüber, was sie sagen."
- Ergebnis: Es funktionierte einigermaßen. Nur die Kenntnis der Form des Arguments half dem Modell, in etwa 70 % der Fälle richtig zu raten. Es ist wie zu wissen, dass ein Haus mit einem schiefen Fundament eher ein schlechtes Haus ist, selbst ohne die Wände zu sehen.
Bauplan + Etiketten zur Faktenüberprüfung: Sie fügten die „Überprüfbarkeits"-Etiketten hinzu (dem Modell mitteilend, welche Teile Fakten und welche Meinungen waren).
- Ergebnis: Überraschenderweise machte dies das Modell schlechter. Es ist wie einem Detektiv eine Karte mit zu viel verwirrendem Rauschen zu geben; die einfache Struktur war für diese spezifische, kleine Gruppe von Nachrichten tatsächlich zuverlässiger.
Bauplan + Hass-Etiketten: Sie sagten dem Modell genau, welche Ziegelsteine und welches Dach hasserfüllt waren.
- Ergebnis: Dies war der „Rauchende Colt". Als das Modell wusste, welche spezifischen Teile hasserfüllt waren, wurde es unglaublich genau und bekam in etwa 96 % der Fälle die richtige Antwort.
Die große Erkenntnis
Der Artikel fand zwei Hauptdinge heraus:
- Die Struktur ist wichtig: Die Art und Weise, wie ein Argument organisiert ist (die Reihenfolge der Prämissen, die zu einer Schlussfolgerung führen), enthält viele Hinweise darauf, ob die gesamte Nachricht hasserfüllt ist. Man muss nicht immer jedes Wort lesen, um einen starken Hinweis zu erhalten.
- Die „Ziegelsteine" erzählen die Geschichte: Der hasserfüllte Charakter der „Ziegelsteine" (der Prämissen) reicht oft aus, um zu sagen, dass das ganze „Haus" gefährlich ist. Man muss nicht immer warten, bis man das „Dach" (die Schlussfolgerung) sieht, um zu wissen, dass etwas nicht stimmt.
Eine Warnung für die Zukunft
Die Forscher stellten auch einen Haken fest. Obwohl das Wissen um die „Hass-Etiketten" der Teile das Modell super genau machte, haben wir in der realen Welt diese Etiketten nicht fertig vorliegen. Wir müssen sie selbst finden.
Sie stellten auch fest, dass das Hinzufügen von „Überprüfbarkeit" (Etiketten zur Faktenüberprüfung) ihrem kleinen, einfachen Modell nicht half. Es ist wie der Versuch, eine winzige Lupe zu verwenden, um eine riesige, komplexe Karte zu lesen; das Werkzeug war nicht groß genug, um die zusätzlichen Informationen zu verarbeiten. Sie schlagen vor, dass größere, leistungsfähigere Computer (wie große Sprachmodelle) diese Faktenüberprüfungsetiketten effektiv nutzen könnten, aber vorläufig ist die einfache Struktur der zuverlässigste Hinweis, den sie fanden.
Kurz gesagt: Indem wir Hassrede wie ein Gebäude behandeln und analysieren, wie seine Teile zusammengesetzt sind, können wir die Gefahr leichter erkennen. Die Form des Arguments selbst ist ein starkes Signal.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.