Technische Samenvatting: Zelfverklarende Haatspraakdetectie met Morele Rationalen

Probleemstelling

Bestaande modellen voor de detectie van haatspraak (HS) lijden onder een gebrek aan transparantie en een te grote afhankelijkheid van oppervlakkige lexicale aanwijzingen. Deze afhankelijkheid leidt tot kwetsbaarheid voor schijncorrelaties, verminderde robuustheid en een gebrek aan culturele contextualisering. Bovendien erven standaardmodellen vaak vooroordelen uit trainingsdata en annotatieprocessen, wat resulteert in het onrechtvaardig targeten van gemarginaliseerde groepen. Hoewel er benaderingen voor verklaarbare AI bestaan, worden deze grotendeels gecategoriseerd als óf post-hoc (het genereren van verklaringen na de voorspelling, vaak ongetrouw of computationeel duur) óf zelfverklarend (het integreren van de verklaring in het leerproces). De huidige zelfverklarende methoden falen echter vaak in het vastleggen van de normatieve en morele redenering die essentieel is voor het onderscheid tussen cultureel contingente haatspraak en onschuldige taal. Recente studies suggereren dat morele waarden een overdraagbare latente representatie vormen over talen heen, maar standaardmodellen maken hier niet expliciet gebruik van.

Methodologie: Supervised Moral Rationale Attention (SMRA)

De auteurs stellen Supervised Moral Rationale Attention (SMRA) voor, een zelfverklarend framework ontworpen om neurale aandacht af te stemmen op door experts geannoteerde morele rationalen.

Kernmechanisme

SMRA wijzigt standaard transformer-gebaseerde classificators (bijv. BERT door de introductie van een normatieve inductieve regularisatie in de trainingsdoelstelling. In plaats van uitsluitend te vertrouwen op lexicale markers, wordt het model gestuurd om te letten op tokens die door menselijke experts als moreel relevant zijn geïdentificeerd.

1. Taakdefinitie: Het framework behandelt twee taken:
   • Binaire Haatspraak Classificatie: Het voorspellen of inhoud haatspraak is.
   • Multi-label Morele Sentiment Classificatie: Het identificeren van welke categorieën van de Moral Foundations Theory (MFT) aanwezig zijn (Zorg/Schade, Rechtvaardigheid/Bedrog, Loyaliteit/Verraad, Autoriteit/Subversie, Zuiverheid/Degradatie).
2. Attention Alignment Loss: Voor trainingsinstanties met beschikbare morele rationalen minimaliseert SMRA de Mean Squared Error (MSE) tussen de genormaliseerde aandachtverdeling ($a$) van het model en een binaire rationale-masker ($r$) afgeleid van menselijke annotaties.
3. Doelstelling (Objective Function): De totale loss ($\ell_{total}$) combineert de standaard cross-entropy loss ($\ell_{CE}$) voor classificatie met de gesuperviseerde attention alignment loss ($\ell_{MSE}$):
   $$\ell_{total} = \ell_{CE} + \alpha \cdot \ell_{MSE}$$
   Waarbij $\alpha$ de sterkte van de attention-supervisie regelt. Deze loss wordt alleen toegepast op samples met geannoteerde morele rationalen.

Dataset: HateBRMoralXplain

Om dit framework te ondersteunen, introduceren de auteurs HateBRMoralXplain, een uitbreiding van de Braziliaanse Portugese HateBR-benchmark.

• Samenstelling: 7.000 Instagram-reacties (3.500 offensief, 3.500 niet-offensief) geannoteerd door drie experts.
• Annotaties: Bevat haatlabels, MFT-categorieën en token-niveau morele rationalen (minimale tekstfragmenten die het morele label rechtvaardigen).
• Metadata: Verrijkt met socio-politieke metadata (politieke partij, geslacht van de auteur van de oorspronkelijke post) om bias-analyse te faciliteren.
• Inter-annotator Overeenkomst: Aanzienlijke tot bijna perfecte overeenstemming voor primaire morele labels ($\kappa = 0.811$), met matige tot aanzienlijke overeenstemming voor secundaire en tertiaire labels.

Belangrijkste Bijdragen

1. SMRA Framework: Het eerste zelfverklarende haatspraakdetectie-framework dat de aandacht van het model direct afstemt op door experts geannoteerde morele rationalen, met als doel de interpreteerbaarheid, robuustheid en culturele contextualisering te verbeteren.
2. HateBRMoralXplain Dataset: Een grootschalig, door experts geannoteerd corpus voor de laag-resource taal Braziliaans-Portugees, uniek verrijkt met morele categorieën, menselijk geannoteerde rationalen en socio-politieke metadata.
3. Empirische Evaluatie: Een uitgebreide evaluatie van SMRA ten opzichte van baselines (standaard fine-tuning, post-hoc methoden zoals LIME/SHAP, en andere zelfverklarende benaderingen zoals SRA) en Large Language Models (LLM's) met behulp van diverse prompting-strategieën.

Resultaten

Experimenten werden uitgevoerd op binaire haatspraakdetectie en multi-label morele sentimentclassificatie met behulp van mBERT en BERTimbau.

Verbeteringen in Prestaties

• Voorspellende Prestaties: SMRA verbeterde de prestaties consequent ten opzichte van de baselines. In binaire classificatie steeg de Accuracy (+0.0004) en de Macro F1 (+0.0082). In multi-label morele classificatie verbeterde de Macro F1 (+0.015) en de AUROC (+0.002).
• Kwaliteit van de Verklaring (Plausibiliteit): SMRA verbeterde de afstemming met menselijke rationalen aanzienlijk.
  • IoU F1: Verbeteringen van +0.0743 (binair) en +0.241 (moreel) ten opzichte van baselines.
  • Token F1: Verbeteringen van +0.0503 (binair) en +0.241 (moreel) ten opzichte van baselines.
• Kwaliteit van de Verklaring (Getrouwheid/Faithfulness):
  • Comprehensiveness (Omvangrijkheid): Iets afgenomen (−0.0203), wat aangeeft dat verklaringen compacter werden.
  • Sufficiency (Voldoendeheid): Verbeterd (−0.0231, waarbij de definitie van de metriek opmerkt dat een lagere waarde beter is voor de daling in waarschijnlijkheid, of geïnterpreteerd wordt volgens de context van het papier dat "verbetering" betekent dat rationalen compacter maar getrouw blijven). Het papier merkt op dat SMRA meer beknopte verklaringen produceert die toch getrouw blijven.
• Fairness (Rechtvaardigheid): Fairness-metrieken (GMB-Sub, GMB-BPSN, GMB-BNSP) bleven stabiel, wat suggereert dat verbeteringen in de kwaliteit van de verklaring geen significante bias-trade-offs introduceerden.

Vergelijkende Analyse

• SMRA vs. SRA (Supervised Rational Attention): SMRA behaalde een aanzienlijk hogere plausibiliteit (IoU F1 +0.1195, Token F1 +0.1508) vergeleken met SRA, dat leunt op lexicale rationalen. SRA vertoonde een instabiele getrouwheid (negatieve Sufficiency), terwijl SMRA een positieve Sufficiency behield, wat duidt op een stabielere causale afstemming tussen rationalen en voorspellingen.
• LLM Prestaties: LLM's (GPT-4o-mini, Llama-3.1-70B) vertoonden opmerkelijke verbeteringen in haatspraakclassificatie (ongeveer 2–3%) wanneer ze werden geprompt met morele rationalen en definities. Echter, LLM's presteerden slecht op morele sentimentclassificatie (max F1 van 0.38). Vertaling van prompts naar het Engels resulteerde in prestatieverlies, wat het belang van taal-specifieke context benadrukt.

Betekenis en Claims

Het papier claimt dat SMRA een belangrijke stap vormt naar meer interpreteerbare en cultureel bewuste haatspraakdetectie. Door morele redenering direct in de trainingsdoelstelling te integreren, gaat het framework verder dan oppervlakkige lexicale aanwijzingen om de onderliggende normatieve structuren van haatspraak te vatten.

De auteurs stellen dat:

1. Morele Rationalen Superieur zijn aan Lexicale Aanwijzingen: Het afstemmen van aandacht op morele rationalen vermindert de afhankelijkheid van schijncorrelaties en verbetert de cross-culturele generalisatie vergeleken met methoden die enkel lexicale rationalen gebruiken.
2. Inherent Interpreteerbaar: In tegen tegenoverstelling van post-hoc methoden, produceert SMRA inherent interpreteerbare verklaringen die getrouw zijn aan het beslissingsproces van het model.
3. Geen Bias Trade-off: Het verbeteren van de kwaliteit van de verklaring en de robuustheid leidt niet noodzakelijkerwijs tot een verslechtering van de eerlijkheid; het model behield stabiele fairness-metrieken.
4. Contextuele Noodzaak: De studie benadrukt dat haatspraakdetectie culturele en morele context vereist, met name voor laag-resource talen en genuanceerde gevallen die sarcasme of politieke context involleren, die standaardmodellen vaak missen.

De auteurs concluderen dat hoewel SMRA de robuustheid en interpreteerbaarheid verbetert, het afhankelijk is van kostbare menselijke annotatie en momenteel primair wordt geëvalueerd op Braziliaans-Portugese data, wat toekomstig werk op het gebied van schaalbaarheid en cross-linguale generalisatie noodzakelijk maakt.