Das Internet ist ein riesiger, lärmender Marktplatz des menschlichen Ausdrucks, auf dem ein einzelner Satz für die eine Person ein harmloser Witz und für eine andere Person eine Waffe des Ausschlusses sein kann. Jahrelang haben Computer versucht, diesen Raum zu kontrollieren, aber sie waren oft unbeholfen und suchten nach einfachen Schimpfwörtern, anstatt den komplexen sozialen Kontext zu verstehen, in dem diese Wörter verwendet werden. Sie haben Schwierigkeiten, zwischen einer freundschaftlichen Beleidigung unter Freunden und einem echten Angriff auf die Identität einer Person zu unterscheiden, insbesondere wenn der Angriff hinter lokalem Slang, kulturellen Referenzen oder subtilen Stereotypen verborgen ist. Dies ist der Kern der Herausforderung bei der Erkennung von Hassrede: Es geht nicht nur darum, beleidigende Wörter zu finden, sondern darum, zu verstehen, wer angegriffen wird, worum es in dem Argument geht und warum es Schaden verursacht. Die Schwierigkeit wird dadurch verschärft, dass die Sprache nicht Englisch ist oder der Hass in einer Weise kodiert ist, die nur Menschen aus einer bestimmten Kultur erkennen würden.

Ein Team von Forschern hat einen neuen Weg vorgeschlagen, um dieses Problem zu lösen, indem sie sich von einem einzelnen Computerprogramm entfernen, das versucht, ein schnelles Urteil zu fällen. Stattdessen bauten sie ein System, das ein Gremium aus menschlichen Experten nachahmt, bei dem verschiedene „Agenten“ denselben Text aus verschiedenen Blickwinkeln betrachten, bevor sie zu einem endgültigen Schluss kommen. Ihre Arbeit, die sowohl an chinesischen als auch an englischen Texten getestet wurde, legt nahe, dass das Aufteilen eines langen Beitrags in kleinere Stücke und das Diskutieren verschiedener Perspektiven zu einem wesentlich genaueren Verständnis dessen führt, was gerade geschieht. Das System rät nicht einfach; es zwingt den Computer dazu, seine Argumentation zu erklären, seine Beweise zu prüfen und Unstimmigkeiten zu lösen, bevor es ein Stück Text als hasserfüllt kennzeichnet.

Die Forscher, angeführt von Yifan Lyu und Kollegen, führten ein Framework namens SPAR-Hate ein. Der Name steht für einen strukturierten Prozess, der damit beginnt, ein langes Dokument in kleinere, handhabbare Sätze oder Klauseln zu zerlegen. Dies ist entscheidend, da ein einziger Post drei verschiedene Gruppen auf drei verschiedene Arten angreifen kann, und ein Computer, der versucht, das Ganze auf einmal zu lesen, oft verwirrt wird und vermischt, wer angegriffen wird mit dem, was gesagt wird. Durch das Aufteilen des Textes in kleine Einheiten kann sich das System auf eine spezifische Behauptung nach der anderen konzentrieren. Sobald ein kleines Textstück isoliert ist, fragt das System nicht einen einzelnen KI-Agenten, ob es sich um Hassrede handelt. Stattdessen bittet es drei verschiedene virtuelle Agenten, diesen zu lesen, wobei jeder eine spezifische Rolle spielt.

Der erste Agent ist das „Opfer“ (Victim). Diese Perspektive ist darauf ausgelegt, hochsensibel für Schaden, Ausgrenzung und das Gefühl, Zielscheibe zu sein. Sie sucht nach Mikroaggressionen, Stereotypen und Sprache, die einer Gruppe das Gefühl gibt, unsicher oder entmenschlicht zu sein. Der zweite Agent ist der „Moderator“, der wie das Regelwerk einer Social-Media-Plattform fungiert. Dieser Agent sucht nach klaren Verstößen gegen Sicherheitsrichtlinien, wie etwa expliziten Beleidigungen, Gewaltandrohungen oder direkter Belästigung, während er subjektive Meinungsverschiedenheiten ignoriert, die die Grenze zur Misshandlung nicht überschreiten. Der dritte Agent ist der „Kulturelle Beobachter“ (Cultural Bystander), ein Experte für den lokalen Kontext. Dieser Agent ist darauf trainiert, kodierte Sprache, homophone Wortspiele und regionalen Slang zu erkennen, die einem Außenstehenden harmlos erscheinen mögen, aber innerhalb einer spezifischen Gemeinschaft tief beleidigend sind. In der chinesischen Version des Systems wird diesem Agenten sogar ein spezialisiertes Wörterbuch für lokale Hassbegriffe zur Verfügung gestellt, um ihm zu helfen, versteckte Beleidigungen aufzuspüren.

Nachdem diese drei Agenten dasselbe kleine Textstück gelesen haben, sind sie oft uneins. Einer mag sagen, es sei harmlos, während ein anderer einen klaren Angriff sieht. Hier kommt die wichtigste Innovation des Systems zum Tragen: ein „Prüfer“ (Auditor). Dieser vierte Agent zählt nicht einfach Stimmen. Stattdessen fungiert er als Richter, der die von den drei Agenten gelieferten Beweise prüft. Er kontrolliert, ob ihre Behauptungen auf dem tatsächlichen Text basieren, ob sie konsistent mit den Regeln sind und ob sie im kulturellen Kontext Sinn ergeben. Wenn der „Moderator“ eine subtile kulturelle Beleidigung übersieht, die der „Beobachter“ erkannt hat, kann der Prüfer die Ansicht des Moderators überstimmen. Wenn das „Opfer“ zu empfindlich auf eine neutrale Aussage reagiert, kann der Prüfer dies korrigieren. Das System zwingt die Agenten dazu, spezifische Zitate aus dem Text anzugeben, um ihre Behauptungen zu stützen, wodurch sichergestellt wird, dass die endgültige Entscheidung auf Beweisen und nicht auf einem vagen Gefühl basiert.

Die Forscher testeten diesen Ansatz an zwei großen Benchmarks, einem für Englisch und einem für Chinesisch, welche Standarddatensätze sind, die verwendet werden, um zu messen, wie gut Computer Hassrede verstehen. Für den englischen Benchmark stellte der öffentliche Datensatz nur einen Testdatensatz bereit, daher haben die Forscher ihn deterministisch durchgemischt und für ihre Studie in Trainings- und Testuntergruppen neu aufgeteilt. Sie verglichen ihr Multi-Agenten-System mit anderen Methoden, einschließlich einfacher Prompts, die eine einzelne KI bitten, die Aufgabe zu erledigen, sowie anderen komplexen Reasoning-Frameworks. Die Ergebnisse zeigten, dass das SPAR-Hate-System die anderen Methoden konsistent übertraf, insbesondere bei den schwierigsten Aufgaben. Es war wesentlich besser darin, das spezifische Ziel eines Angriffs, die exakten Worte, die als Argument verwendet wurden, und das korrekte Label für den Schaden zu identifizieren. Die Verbesserungen waren am deutlichsten, wenn die Bewertung streng war und verlangte, dass der Computer das Ziel, das Argument und das Label gleichzeitig korrekt bestimmt. Dies deutet darauf hin, dass das System nicht nur häufiger rät, sondern tatsächlich die Struktur der Hassrede besser versteht.

Einer der beeindruckendsten Befunde war, dass das System selbst ohne spezifisches Training auf die Daten gut funktionierte. Die Forscher verwendeten ein großes Sprachmodell, das nicht speziell für diese Aufgabe feinabgestimmt worden war, und verließen sich stattdessen auf die Struktur ihres Multi-Agenten-Frameworks und die Qualität der von ihnen geschriebenen Prompts. Dies ist signifikant, da es darauf hindeutet, dass die Art und Weise, wie das Problem gelöst wird – durch Zerlegung und die Nutzung diverser Perspektiven – wichtiger ist als nur ein größeres oder spezialisierteres Modell zu besitzen. Das System zeigte auch, dass es in ein kleineres, schnelleres Modell „destilliert“ werden konnte. Indem sie einem kleineren Computer beibrachten, das schrittweise Denken des größeren Teams nachzuahmen, schufen die Forscher eine Version, die fast ebenso genau, aber viel effizienter war, was beweist, dass die Logik des Systems auf einfachere Technologie übertragen werden kann.

Die Studie hob auch die Grenzen der aktuellen Technologie hervor. Selbst mit diesem fortgeschrittenen Framework hatte das System manchmal Schwierigkeiten mit den Grenzen eines Arguments und schloss gelegentlich zu viel Text in seine Definition des „Angriffs“ ein. Die Forscher fanden jedoch heraus, dass das System besonders gut darin war, die kulturellen Nuancen zu handhaben, die andere Modelle in Schwierigkeiten bringen. Beispielsweise identifizierte das System in chinesischen Texten erfolgreich homophone Beleidigungen – Wörter, die wie harmlose Begriffe klingen, aber anders geschrieben werden, um etwas Beleidigendes zu bedeuten – indem es das spezialisierte Wissen seines „Kulturellen Beobachters“ nutzte. Im Englischen war es besser darin, zwischen wiederverwendetem Slang innerhalb einer Gemeinschaft und denselben Wörtern, die von Außenstehenden als Waffen eingesetzt werden, zu unterscheiden.

Die Arbeit erhebt nicht den Anspruch, das Problem der Erkennung von Hassrede vollständig gelöst zu haben. Die Forscher räumen ein, dass ihr System derzeit auf Chinesisch und Englisch beschränkt ist und nicht gegen jede mögliche Sprache oder jeden kulturellen Kontext getestet wurde. Sie merken auch an, dass jedes System, das darauf ausgelegt ist, schädliche Inhalte zu kennzeichnen, das Risiko birgt, für Zensur oder Überwachung missbraucht zu werden. Das Paper betont, dass ihr Verfahren zwar den Entscheidungsprozess transparenter und nachvollziehbarer macht, der Einsatz in der realen Welt jedoch dennoch menschliche Aufsicht, Berufungsverfahren und ständige Überwachung erfordert, um sicherzustellen, dass es nicht ungerechtfertigt bestimmte Gruppen ins Visier nimmt.

Letztlich präsentiert das Paper einen Wandel in der Art und Weise, wie wir darüber nachdenken, Computern das Verständnis menschlicher Konflikte beizubringen. Anstatt zu versuchen, einen einzigen, perfekten Algorithmus zu bauen, der alles weiß, schlagen die Forscher vor, dass ein kollaborativer Ansatz, bei dem verschiedene spezialisierte Perspektiven abgewogen und ausbalanciert werden, effektiver ist. Durch die Simulation eines menschenähnlichen Prozesses von Debatte und Schiedsgerichtsbarkeit ist das System in der Lage, die chaotische, subjektive und kulturell abhängige Natur von Hassrede mit einer Präzision zu navigieren, die früheren Methoden fehlte. Die Ergebnisse legen nahe, dass die Zukunft der Inhaltsmoderation nicht in größeren Modellen liegen könnte, sondern in klügeren, strukturierteren Wegen der Nutzung der Modelle, die wir bereits besitzen.