Improving Implicit Hate Speech Detection via a Community-Driven Multi-Agent Framework

Technische Zusammenfassung: Verbesserung der Erkennung impliziter Hassrede durch ein gemeinschaftsbasiertes Multi-Agenten-Framework

Problemstellung
Die Zunahme schädlicher Online-Inhalte stellt eine erhebliche Bedrohung für inklusive digitale Umgebungen dar. Während automatisierte Moderationssysteme, die auf Large Language Models (LLMs) und Transformer-basierten Architekturen beruhen, die allgemeine Klassifizierungsgenauigkeit verbessert haben, haben sie Schwierigkeiten mit der Fairness und der Erkennung von impliziter Hassrede. Diese Systeme weisen oft eine konservative Verzerrung auf: Sie erreichen hohe Raten an wahren Negativen (True Negative Rates, TNR), indem sie harmlose Inhalte korrekt identifizieren, leiden jedoch unter niedrigen Raten an wahren Positiven (True Positive Rates, TPR), da sie subtile, codierte oder kontextabhängige Hassrede nicht erkennen. Dieses Ungleichgewicht schadet marginalisierten Gemeinschaften unverhältnismäßig stark. Darüber hinaus ist Hassrede ein inhärent soziales und kontextuelles Konstrukt; ihre Interpretation hängt stark von den beteiligten Identitäten ab. Bestehende automatisierte Ansätze, die oft die dominanten Sichtweisen ihrer Trainingsdaten verkörpern, versäumen es, Minderheitenperspektiven systematisch zu integrieren, was zu Fehlklassifizierungen führt, die das Vertrauen in Moderationsbemühungen untergraben.

Methodik
Die Autoren schlagen ein kontextualisiertes Erkennungsframework vor, das als Multi-Agenten-System implementiert ist. Die Architektur besteht aus zwei primären Komponenten, die innerhalb der AutoGen-Bibliothek unter Verwendung des Gemini-2.5-Flash LLM operieren:

1. Moderator-Agent: Ein zentraler Agent, der für die initiale semantische und kontextuelle Bewertung von Social-Media-Beiträgen verantwortlich ist. Er arbeitet gemäß robusten Moderationsrichtlinien und erstellt eine initiale Klassifizierung (Hass/Kein Hass/Unsicher), eine Begründung sowie ein metakognitives Flag, das angibt, ob eine Expertenkonsultation erforderlich ist.
2. Community-Agenten: Spezialisierte Agenten, die spezifische soziokulturelle Gruppen repräsentieren, die Ziel von Hassrede sind. Diese Agenten fungieren als Expertenberater.
   • Konstruktion: Wenn eine Zielgruppe identifiziert wird, generiert das System automatisch Suchanfragen, um Hintergrundinformationen aus der Wikipedia-Wissensbasis abzurufen. Diese faktischen Daten werden mittels eines Transformer-Encoders in Token-Embeddings kodiert. Ein Community-Agent-Embedding wird dann über Cross-Attention zwischen der Gruppenabfrage und dem abgerufenen Text abgeleitet, wodurch sichergestellt wird, dass die „Persona“ des Agenten in einem öffentlichen, faktischen soziokulturellen Kontext verwurzelt ist und nicht in halluzinierten Biases.
   • Workflow: Der Prozess folgt einem dreiphasigen Verfahren:
     1. Vorläufige Bewertung: Der Moderator analysiert den Beitrag.
     2. Bedingte Konsultation: Wenn der Moderator unsicher ist (innerhalb definierter Unsicherheitsgrenzen), löst er eine gezielte Konsultation mit dem relevanten Community-Agenten aus.
     3. Entscheidungssynthese: Der Moderator integriert die Erkenntnisse des Community-Agenten mit seiner initialen Bewertung, um eine finale, fundierte Klassifizierung und Begründung zu erstellen.

Das System wurde auf dem ToxiGen-Datensatz evaluiert, der speziell darauf ausgelegt ist, Moderationssysteme mit impliziter Toxizität herauszufordern (über 98 % der toxischen Beispiele sind subtil). Die Studie konzentrierte sich auf sechs Zielgruppen: Schwarze Menschen, Asiaten, jüdische Menschen, Muslime, Frauen und die LGBTQ-Gemeinschaft.

Wesentliche Beiträge

1. Multi-Agenten-Framework: Die Arbeit führt ein neuartiges, gemeinschaftsbasiertes Erkennungsframework für implizite Hassrede ein, das Fairnessprinzipien durch die Integration spezialisierter Community-Agenten operationalisiert, die die betroffenen demografischen Gruppen repräsentieren.
2. Kontextuelle Integration: Im Gegensatz zu Standard-Prompting-Methoden integriert dieser Ansatz explizit soziokulturellen Kontext aus öffentlich verfügbaren Wissensquellen (Wikipedia), um eine identitätsbewusste Moderation zu ermöglichen.
3. Evaluierungsrigor: Die Studie verbessert die technische Evaluierung, indem sie die balancierte Genauigkeit (Balanced Accuracy, bACC) als zentralen Metrik priorisiert. Diese Metrik gewichtet wahre Positive Raten (TPR) und wahre Negative Raten (TNR) gleichermaßen und adressiert damit den Trade-off zwischen der Erkennung von Hass und der Vermeidung der Unterdrückung legitimer Rede.

Ergebnisse
Experimentelle Ergebnisse auf dem ToxiGen-Datensatz zeigen, dass das vorgeschlagene Multi-Agenten-Framework die State-of-the-Art-Prompting-Baselines (Zero-shot, Few-shot und Chain-of-Thought-Prompting) sowie eine abgelierte Version des Systems ohne Community-Agenten signifikant übertrifft.

• Leistungsmetriken: Der agentische Ansatz erreichte eine durchschnittliche TPR von 0,75, was deutlich höher ist als bei den Baselines (die zwischen 0,42 und 0,59 lagen). Er behielt eine hohe TNR (0,969) bei, was zu einer überlegenen durchschnittlichen balancierten Genauigkeit (bACC) von 0,86 im Vergleich zu 0,774 beim Chain-of-Thought-Prompting führte.
• Fairness: Das Framework verbesserte die Erkennungsfairness über alle Zielgruppen hinweg. Die Ablationsstudie zeigte, dass ohne die Konsultation durch Community-Agenten die Leistung signifikant sank, insbesondere bei marginalisierten Gruppen wie LGBTQ-Individuen und Frauen, bei denen der Moderator allein Schwierigkeiten hatte, implizite Hassrede zu erkennen.
• Statistische Signifikanz: Die Leistungsunterschiede zwischen dem agentischen Ansatz und anderen Methoden waren statistisch signifikant ($p < 0,001$).

Bedeutung und Ansprüche
Die Autoren behaupten, dass diese Arbeit einen praktischen Fortschritt in der agentenbasierten künstlichen Intelligenz für die Inhaltsmoderation darstellt. Indem sie über textzentrierte und modellzentrierte Verbesserungen hinausgehen, adressiert das Framework die fundamentale Limitation aktueller Systeme: das Fehlen expliziter Mechanismen zur Integration der reichen sozialen und kulturellen Kontexte, die implizite Hassrede prägen.

Die Studie postuliert, dass ein gemeinschaftsbasiertes, konsultatives Design signifikante Vorteile sowohl für die Erkennungsgenauigkeit als auch für die Moderationsfairness bietet. Sie zeigt auf, dass die Einbindung einer „Expert-in-the-loop“-Governance durch simulierte Community-Agenten es dem System ermöglicht, codierte Sprache und historische Anspielungen besser zu interpretieren, wodurch präzisere und sozial abgestimmtere Moderationsentscheidungen getroffen werden. Die Arbeit positioniert sich als Schritt hin zu adaptiveren und sozial sensibleren Moderationspraktiken, die die gelebten Erfahrungen der Zielgemeinschaften widerspiegeln.