Beyond Accuracy: An Explainability-Driven Analysis of Harmful Content Detection

Probleemstelling

Automatische systemen voor het detecteren van schadelijke inhoud (zoals haatzaaiende taal, intimidatie en giftige taal) zijn essentieel geworden voor het modereren van online platforms. Hoewel recente studies zich voornamelijk hebben gericht op het maximaliseren van de classificatie-accuraatheid, ontbreekt er vaak inzicht in de onderliggende logica van deze modellen. Dit is vooral problematisch bij:

• Grijze gebieden: Contextafhankelijke of politiek gevoelige situaties.
• Verborgen fouten: Systematische fouten (false positives en false negatives) die niet zichtbaar zijn in geaggregeerde prestatie-metrics.
• Verantwoordelijkheid: Moderators en eindgebruikers kunnen de redenering achter een beslissing niet begrijpen, wat de toepasbaarheid en het vertrouwen in "Human-in-the-loop" systemen beperkt.

Het artikel stelt dat nauwkeurigheid op zich onvoldoende is en pleit voor een explainability-driven analyse om de transparantie en diagnose van deze systemen te verbeteren.

Methodologie

De auteurs hebben een analyse uitgevoerd op een neurale classifier voor schadelijke inhoud, getraind op het Civil Comments dataset. De methodologische aanpak omvat:

1. Model Architectuur:

   • Een RoBERTa-base classifier (gebaseerd op de Transformer-architectuur) die is fijngefineerd (fine-tuned) voor een binaire classificatietaken (giftig vs. niet-giftig).
   • De dataset is opgesplitst in training (20.000), validatie (4.000) en test (4.000) instanties.
   • Een drempelwaarde van 0,5 is gebruikt om continu toxiciteitsscores om te zetten in binaire labels.

2. Explainability (XAI) Methoden:
   Twee populaire post-hoc verklaringstechnieken zijn toegepast om token-level attributies te genereren:

   • Shapley Additive Explanations (SHAP): Gebaseerd op speltheorie; schat de bijdrage van elke input-token aan de voorspelling. Dit is een model-agnostische methode die vaak gefocuste attributies oplevert.
   • Integrated Gradients (IG): Integreert gradiënten langs een continu pad van een basislijn naar de daadwerkelijke input. Dit is een model-specifieke methode die rekening houdt met bredere contextuele interacties en langere afhankelijkheden.

3. Analyse Protocol:

   • De analyse richt zich niet op het verbeteren van het model, maar op het diagnosticeren van het gedrag.
   • Er is een kwalitatieve, case-based evaluatie uitgevoerd op representatieve voorbeelden uit vier categorieën: True Positives, True Negatives, False Positives en False Negatives.
   • Het doel was om patronen en faalmodi te identificeren die door standaard evaluatie worden gemist.

Belangrijkste Resultaten

1. Algemene Prestaties:

   • Het model presteerde sterk op aggregate-niveau met een Accuracy van 0,94 en een AUC van 0,93.
   • De F1-score voor de giftige klasse was echter lager (0,62), wat de uitdagingen van klassenongelijkheid en contextuele toxiciteit benadrukt.

2. Vergelijkend Gedrag van XAI-methoden:

   • SHAP: Levert vaak geconcentreerde attributies op expliciete lexische aanwijzingen (bijv. scheldwoorden).
     • Voordeel: Intuïtief begrijpelijk bij correcte voorspellingen.
     • Nadeel: Neigt tot lexicale over-attributie. Bij False Positives worden niet-toxische contexten (zoals politieke discussies of emotionele expressie) soms ten onrechte als giftig gemarkeerd omdat het model te sterk reageert op geïsoleerde negatieve woorden.
   • Integrated Gradients: Levert diffuse, verspreide attributies op die rekening houden met de volledige context.
     • Voordeel: Beter in het vangen van indirecte toxiciteit en langere afhankelijkheden (bijv. in lange commentaren).
     • Nadeel: Minder interpreteerbaar voor mensen omdat er geen enkel dominant token is dat de beslissing verklaart; de uitleg wordt minder beknopt.

3. Gedetecteerde Faalmodi:

   • Indirecte toxiciteit: Het model faalt vaak bij subtiele, retorische of context-afhankelijke haatzaaiende taal (False Negatives), omdat deze geen expliciete "trigger words" bevatten.
   • Politieke discussie: Politiek geladen taal wordt vaak ten onrechte als giftig gemarkeerd (False Positives) door de overgevoeligheid voor specifieke lexische cues.
   • Divergentie: De verschillen in output tussen SHAP en IG manifesteren zich direct in de fouten. Waar SHAP een enkel woord als boosdoener aanwijst, ziet IG een complexer patroon dat soms de fout in de voorspelling blootlegt.

Kernbijdragen

• Shift van Accuraatheid naar Transparantie: Het artikel demonstreert dat hoge nauwkeurigheid geen garantie is voor betrouwbare moderatie. Explainability is essentieel om de redenen achter fouten te begrijpen.
• Comparatieve Analyse: Een systematische vergelijking van SHAP en Integrated Gradients in de context van schadelijke inhoud, waarbij wordt aangetoond dat elke methode verschillende beperkingen en voorkeuren heeft (focus op lexicon vs. focus op context).
• Diagnostisch Inzicht: Het identificeren van specifieke faalmodi zoals "lexicale over-attributie" en het falen bij indirecte toxiciteit, wat direct bruikbaar is voor het verbeteren van moderatie-workflows.

Betekenis en Conclusie

De studie concludeert dat Explainable AI (XAI) niet primair moet worden gezien als een middel om de prestaties van het model te verhogen, maar als een cruciaal diagnostisch en transparantiemiddel.

• Human-in-the-loop: Door modelonzekerheid en de onderliggende redenering bloot te leggen, kunnen XAI-methoden menselijke moderators helpen bij het beoordelen van twijfelgevallen en het verminderen van onbedoelde censuur of het laten passeren van schadelijke inhoud.
• Verantwoordelijke Deploy: Voor het verantwoord inzetten van moderatiesystemen is het noodzakelijk om de "black box" te openen. De auteurs benadrukken dat XAI helpt bij het opbouwen van vertrouwen en het waarborgen van eerlijkheid, vooral in gevoelige domeinen zoals politieke discours en indirecte intimidatie.

Kortom, de paper pleit voor een evaluatieframework voor schadelijke inhoudsmoderatie dat verder gaat dan alleen accuracy-metrics en XAI integreert als een fundamenteel onderdeel van het audit- en verbeterproces.