Aligning Implied Statements for Implicit Hate Speech Generalizability with Context-Bounded Semi-hard Negative Mining

Technische Samenvatting: Afstemmen van geïmpliceerde uitspraken voor de generaliseerbaarheid van impliciete haatspraak met context-gebonden semi-hard negative mining

Probleemstelling
Het classificeren van impliciete haatspraak blijft een aanzienlijke uitdaging omdat haatdragende intentie vaak wordt gemaskeerd via insinuatie, sarcasme, eufemismen en retorische vragen in plaats van expliciete scheldwoorden. Bijgevolg zijn oppervlakkige tekstkenmerken vaak onvoldoende voor detectie. Een secundaire uitdaging is semantische overlap: berichten die dezelfde demografische groep targeten, delen vaak dezelfde thematische inhoud ondanks dat ze verschillende labels hebben (haat versus geen-haat), wat de beslissingsgrenzen vertroebelt.

Eerdere supervised contrastive learning (SCL) benaderingen, zoals IMPCON en SHAREDCON, proberen dit aan te pakken door berichten naar hun door mensen geannoteerde geïmpliceerde uitspraken of gedeelde semantische clusters te trekken. Echter, standaard SCL behandelt de meeste andere exemplaren binnen een batch als negatieven. In datasets met impliciete haat verschillen veel nabijgelegen exemplaren slechts gering in intentie; het afstoten van deze "false negatives" kan lokale buurten verstoren, leiden tot overfitting op dataset-specifieke shortcuts en de cross-domain generalisatie hinderen.

Methodologie
De auteurs stellen IMPSH (Implicit Hate with Semi-hard mining) voor, een triplet-gebaseerd framework dat de generalisatie beoogt te verbeteren door de focus van het leren te leggen op "nabije verwarringen" in plaats van alle niet-positieven af te stoten. De methode optimaliseert gezamenlijk een standaard cross-entropy loss ($L_{CE}$) en een triplet loss ($L_{triplet}$).

1. Constructie van positieve paren:

   • IMPSH: Voor haatdragende berichten wordt het positieve paar gevormd door het bericht en de door mensen geannoteerde geïmpliceerde uitspraak. Voor niet-haatdragende berichten wordt data-augmentatie (synoniemsubstitutie) gebruikt om een positief paar te creëren.
   • AUGSH: Een ablation-variant die augmentatie-gebaseerde positieven gebruikt voor alle instanties (zowel haat als geen-haat) om de bijdrage van de supervisie door geïmpliceerde uitspraken te isoleren.

2. Context-gebonden Semi-hard Negative Mining:
   In plaats van alle exemplaren met een tegenovergesteld label in een batch als negatieven te behandelen, selecteert het framework een semi-hard negative. Deze negatieve instantie moet:

   • Behoren tot het tegenovergestelde label.
   • Verder verwijderd zijn van de anchor dan het positieve paar ($d_{pos} < d_{neg}$).
   • Nog steeds binnen een specifieke margeband vallen ($d_{neg} < d_{pos} + \alpha$).

   Dit zorgt ervoor dat het model updates focust op realistische, verwarrende gevallen (near-misses) zonder breed vergelijkbare inhoud af te stoten die wellicht dezelfde thema's delen maar verschillen in intentie.

3. Trainingsdoel:
   De uiteindelijke loss is $L = L_{CE} + \lambda L_{triplet}$, waarbij de triplet loss gebruikmaakt van de beschreven marge-gebaseerde selectie.

Belangrijkste Bijdragen

• Triplet Framework met Semi-Hard Mining: De auteurs introduceren een framework dat de "repel-all" strategie van standaard SCL vermijdt, door gebruik te maken van context-gebonden semi-hard negative mining om semantisch nauwe instanties met tegengestelde labels te scheiden.
• IMPSH en AUGSH Varianten: De voorstel bevat twee specifieke doelstellingen: IMPSH (het benutten van geïmpliceerde uitspraken waar beschikbaar) en AUGSH (vertrouwend op enkel augmentatie). Dit ontwerp maakt een analyse mogelijk van het specifieke signaal dat door de implicatie-annotaties wordt toegevoegd.
• Uitgebreide Evaluatie: De methoden worden geëvalueerd op drie datasets (IHC, SBIC, DYNAHATE) met behulp van BERT en HATEBERT backbones, inclusief een analyse van in-domain prestaties, cross-dataset transfer en representatie-geometrie (alignment en uniformity).

Resultaten
Het paper rapporteert resultaten over verschillende trainings- en testconfiguraties (bijv. trainen op IHC, testen op SBIC of DYNAHATE):

• Cross-Dataset Transfer: IMPSH vertoont sterke prestaties in transfer-scenario's. Wanneer getraind wordt op IHC met HATEBERT, behaalt IMPSH de beste resultaten op beide transfer-targets (SBIC en DYNAHATE). Wanneer getraind wordt op SBIC, evenaart of overtreft IMPSH sterke baselines (zoals SHAREDCON en IMPCON) in verschillende transfer-settings, met name voor DYNAHATE.
• In-Domain Prestaties: De resultaten zijn gemengder voor in-domain evaluatie. In sommige settings (bijv. IHC met BERT) overtreft IMPSH de sterkste baseline (SHAREDCON) niet. De auteurs merken een spanning op waarbij de doelstellingen die de bron-dataset het beste scheiden, kunnen verschillen van de doelstellingen die de betekenis het best bewaren onder cross-dataset verschuivingen.
• Representatie-analyse:
  • Alignment: IMPSH bereikt de beste alignment (strakkere positieve paren) in vier van de zes train-test settings, wat wijst op een effectieve clustering van semantisch gerelateerde paren.
  • Uniformity: IMPSH behoudt een competitieve globale spreiding en bereikt de beste uniformity in drie van de zes settings, inclusief beide transfers naar DYNAHATE.
  • Visualisatie: t-SNE projecties laten zien dat terwijl baselines zoals IMPCON de klasse-grenzen fragmenteren in target-gecentreerde clusters, IMPSH een duidelijkere globale scheiding tussen de "Hate" en "Non-Hate" klassen handhaaft over domeinen heen.
• Case Studies: Nabijheid-analyse (nearest-neighbor) laat zien dat IMPSH erin slaagt coherente haat-thema's (bijv. misogynistische of homofobe contexten) te groeperen, maar nog steeds kan falen door topic bias (waarbij gedeelde onderwerpen de standpunten overstijlen) of oppervlakkige lexicale verbanden.

Significantie en Claims
Het paper claimt dat IMPSH een stabielere, bijna bijectieve mapping biedt van berichten naar hun onderliggende insinuaties vergeleken met traditionele clustering-gebaseerde representatieleer. Door semantisch nauwe instanties met tegengestelde labels expliciet te scheiden via context-gebonden mining, mitigeert de methode de volatiliteit die inherent is aan unsupervised clustering en vermindert het de afhankelijkheid van dataset-specifieke shortcuts.

De auteurs positioneren IMPSH niet als een dominante vervanging voor al het voorgaande werk, maar als een complementaire doelstelling die superieure scheiding biedt in cross-data scenario's. Zij erkennen beperkingen, waaronder de gevoeligheid voor marge-hyperparameters, de afhankelijkheid van geïmpliceerde-uitspraak annotaties, en bescheiden winsten ten opzichte van sterke baselines in bepaalde in-domain settings. Het werk benadrukt dat hoewel de methode de generalisatie verbetert, het de fundamentele moeilijkheden van impliciete haatdetectie, zoals annotatie-ruis en de complexiteit van pragmatische signalen, niet wegneemt.