Causality Guided Representation Learning for Cross-Style Hate Speech Detection

Technische Zusammenfassung: Kausalitätsgestützte Repräsentationslernverfahren für die stilstilübergreifende Erkennung von Hassrede (CADET)

Problemdefinition
Die zunehmende Verbreitung von Hassrede im Internet stellt eine erhebliche Herausforderung für die Inhaltsmoderation dar, insbesondere bei der Erkennung von impliziter Hassrede. Während explizite Hassrede durch offene Beleidigungen und direkte Angriffe gekennzeichnet ist, stützt sich implizite Hassrede auf Sarkasmus, Ironie, Stereotypen und kodierte Sprache, was es für Modelle, die auf oberflächlichen linguistischen Merkmalen trainieren, schwierig macht, diese zu erkennen. Aktuelle Erkennungssysteme leiden unter einer schlechten Generalisierung über vielfältige stilistische Variationen und Plattformen hinweg. Modelle verlassen sich oft auf Scheinkorrelationen zwischen spezifischen stilistischen Merkmalen (z. B. bestimmten Beleidigungen oder plattformspezifischer Syntax) und Hass-Labels, was zu einem Versagen führt, wenn sie mit impliziten Ausdrucksformen konfrontiert werden oder auf Plattformen mit unterschiedlichen demografischen und Moderationskontexten eingesetzt werden. Das Kernproblem besteht darin, die echte Hassabsicht (den kausalen Faktor) von der stilistischen Manifestation (dem Störfaktor/Confounder) zu unterscheiden, die über verschiedene Domänen hinweg variiert.

Methodik: Das CADET-Framework
Die Autoren schlagen CADET (Causality Guided Representation Learning for Cross-Style Hate Speech Detection) vor, ein Framework, das auf einem hypothetischen kausalen Graphen der Generierung von Hassrede basiert.

1. Kausale Hypothese: Die Generierung von Hassrede wird als ein Prozess modelliert, der folgende Komponenten umfasst:

   • Kontextuelle Umgebung ($U$): Ein unbeobachteter Confounder (z. B. Plattformrichtlinien, Demografie), der die Motivation des Erstellers, die Auswahl des Ziels und die stilistischen Entscheidungen beeinflusst.
   • Latente Faktoren:
     • Ersteller-Motivation ($M$): Die Absicht, Schaden zuzufügen.
     • Ziel ($T$): Die Gruppe oder das Individuum, das angegriffen wird.
     • Stil ($S$): Der linguistische Ausdruck (explizit vs. implizit).
   • Wahre Motivation ($M^*$): Eine domäneninvariante latente Variable, welche die echte Hassabsicht darstellt, unabhängig von der kontextuellen Umgebung $U$.
   • Label ($Y$): Bestimmt durch die wahre Motivation $M^*$ und den Kontext $U$.

2. Architekturkomponenten:

   • Kausal-ausgerichtete Entflechtung (Disentanglement): Das Modell verwendet einen vortrainierten Encoder (RoBERTa), um Text in einen latenten Raum abzubilden. Es entflechtet diese Repräsentation anschließend in vier latente Faktoren: kontinuierliche Variablen für Motivation ($z_m$) und Confounder ($z_u$) sowie diskrete Variablen für Ziel ($z_t$) und Stil ($z_s$) mittels Gumbel-Softmax.
   • Mitigation von Confoundern: Um zu verhindern, dass die latenten Faktoren Scheinkorrelationen mit dem Kontext kodieren, nutzt das Framework:
     • Adversarielle Confounder-Rekonstruktion: Eine Gradient Reversal Layer (GRL) wird eingesetzt, bei der Diskriminatoren versuchen, den Confounder $U$ aus den zusammengeführten latenten Faktoren zu rekonstruieren. Der Encoder wird darauf trainiert, diese Rekonstruktion zu minimieren, wodurch $U$ effektiv aus den kausalen Faktoren entfernt wird.
     • Orthogonalitätsbeschränkungen: Projektionen stellen sicher, dass die latenten Faktoren ($M, T, S, U$) gegenseitig orthogonal sind, was statistische Unabhängigkeit erzwingt.
     • Input-Rekonstruktion: Ein Decoder rekonstruiert den ursprünglichen Text aus den fusionierten latenten Faktoren, um sicherzustellen, dass die Entflechtung die semantische Bedeutung bewahrt.
   • Latentes kontrafaktisches Schließen: Um Stil-Invarianz zu erzwingen, interveniert das Modell auf die Stil-latente Variable ($S$) innerhalb des latenten Raums. Ein „Style Flipping Network“ invertiert den Stil (z. B. explizit zu implizit), während Motivation und Ziel fixiert bleiben. Das Modell wird darauf trainiert, dass die Hass-Vorhersage unabhängig von der Stil-Intervention konsistent bleibt (Counterfactual Consistency Loss).

3. Trainingsziel: Das Modell wird unter Verwendung einer Multi-Objective-Loss-Funktion optimiert, die Task-Loss (Hass-Klassifizierung), Target- und Stil-Klassifikation, Orthogonalität, adversarielle Deconfounding-, Rekonstruktions- und Counterfactual-Consistency-Loss kombiniert. Ein gestuftes Trainings-Curriculum wird eingesetzt, um die Optimierung dieser konkurrierenden Ziele zu stabilisieren.

Wesentliche Beiträge

• Prinzipieller kausaler Graph: Die Arbeit führt ein formales kausales Modell ein, das den generativen Prozess von Hassrede explizit in interpretierbare latente Faktoren (Motivation, Ziel, Stil, Kontext) unterteilt und somit explizite und implizite Hasserkennung vereinigt.
• CADET-Framework: Die Implementierung eines Repräsentationslern-Frameworks, das diesen Graphen operabel macht und kontrafaktisches Schließen sowie adversarielles Deconfounding nutzt, um Hassabsicht von stilistischen Artefakten zu isolieren.
• Empirische Validierung: Umfangreiche Experimente auf vier realen Datensätzen (IsHate, IHC, AbuseEval, DynaHate) zeigen eine überlegene Leistung bei Aufgaben der Cross-Style-Generalisierung im Vergleich zu aktuellen State-of-the-Art-Baselines, einschließlich traditioneller NLP-Modelle, spezialisierter Hassrede-Detektoren und Large Language Models.

Ergebnisse

• Cross-Style Generalisierung: CADET erreicht ein durchschnittliches Makro-F1 von 0,81 bei Explicit-to-Implicit Transfer-Aufgaben, was einer relativen Verbesserung von 13 % gegenüber der stärksten Baseline entspricht. Bei Implicit-to-Explicit Transfer behält es ein starkes durchschnittliches F1 von 0,885 bei.
• Robustheit: Im Gegensatz zu konventionellen Modellen, die oft eine hohe Recall, aber eine niedrige Precision in impliziten Settings aufweisen (oder umgekehrt), bewahrt CADET eine ausgewogene Performance. Es übertrifft kausale Baselines (PEACE, HateWATCH) sowie LLM-basierte Detektoren (ShieldGemma, Llama Prompt Guard) signifikant, die in Cross-Style-Szenarien eine erratische Performance oder ein Versagen zeigen.
• Ablationsstudien: Das Entfernen des Counterfactual Loss ($L_{cf}$) führt zum signifikantesten Leistungsabfall (24-Punkte Rückgang im F1-Wert), was die entscheidende Rolle der Stil-Intervention beim Erlernen invarianter Repräsentationen bestätigt.
• Visualisierung: t-SNE-Visualisierungen bestätigen, dass der Motivations-latente Raum ($z_m$) hasserfüllte von nicht-hasserfüllten Beiträgen klar trennt, während die Ziel-, Stil- und Confounder-Räume dies nicht tun, was die erfolgreiche Entflechtung der kausalen Faktoren validiert.

Bedeutung
Das Paper behauptet, dass CADET eine prinzipielle Lösung für die Herausforderung der stil-invarianten Hassrede-Erkennung bietet. Durch die Verlagerung des Fokus von oberflächlichen linguistischen Mustern auf die zugrunde liegende kausale Absicht adressiert das Framework die Sprödigkeit aktueller Modelle gegenüber impliziter Hassrede und Domänenwechseln. Die Arbeit unterstreicht das Potenzial von kausaler Entflechtung und kontrafaktischem Schließen zur Schaffung robusterer, interpretierbarer und generalisierbarer Inhaltsmoderationssysteme, die einen Wegweis zu sichereren Online-Umgebungen ebnen können, die sich an evolvierende Formen von Hassrede anpassen können.