Cross-lingual Offensive Language Detection: A Systematic Review of Datasets, Transfer Approaches and Challenges

Titel: Cross-linguale Detectie van Offensieve Taal: Een Systematische Review van Dataset, Aanpak en Uitdagingen

Auteurs: Aiqi Jiang en Arkaitz Zubiaga (Queen Mary University of London & Heriot-Watt University)
Publicatie: Journal of the ACM (J. ACM), Augustus 2023.

---

1. Het Probleem

De verspreiding van offensieve taal en haatzaaiende taal (hate speech) op sociale media-platforms is een groeiend probleem. Hoewel er veel onderzoek is gedaan naar de detectie hiervan in enkele talen (meestal Engels), vormt de meertalige context een enorme uitdaging.

• Data-schaarste: Voor veel minderheidstalen of "low-resource" talen ontbreekt er gelabelde trainingsdata.
• Culturele en linguïstische variatie: Wat als offensief wordt beschouwd, verschilt sterk per cultuur en taal. Directe vertalingen van scheldwoorden verliezen vaak hun nuance of betekenis.
• Beperkingen van monolinguale modellen: Modellen getraind op Engels presteren vaak slecht op andere talen zonder specifieke aanpassing.

De kernvraag is: Hoe kunnen we kennis van talen met veel data (bron) overdragen naar talen met weinig of geen data (doel) om effectieve detectiesystemen te bouwen? Dit wordt Cross-Lingual Transfer Learning (CLTL) genoemd.

---

2. Methodologie

De auteurs hebben een systematische review uitgevoerd volgens het PRISMA-raamwerk (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) om transparantie en reproduceerbaarheid te garanderen.

• Zoekstrategie: Ze doorzochten databases zoals ACL Anthology, Google Scholar en DBLP met een combinatie van trefwoorden gerelateerd aan "offensieve taal" (bijv. hate, toxic, abuse) en "cross-lingual/multilingual" (bijv. transfer learning, low-resource).
• Selectiecriteria:
  • Inclusie: Studies die cross-linguale benaderingen gebruiken voor het detecteren van algemeen of specifiek offensief materiaal (seksisme, racisme, etc.) in tekst.
  • Exclusie: Studies die alleen monolinguale methoden gebruiken, studies zonder kennisoverdracht, en dissertaties.
• Uitkomst: Na het verwijderen van duplicaten en irrelevante papers, werden 67 relevante studies geselecteerd en geanalyseerd.
• Analyse: De studies werden gecategoriseerd op basis van gebruikte datasets, bronnen, en vooral de CLTL-strategieën (wat wordt er overgedragen?).

---

3. Belangrijkste Bijdragen

Dit artikel is de eerste holistische review die zich uitsluitend richt op cross-linguale scenario's in de detectie van offensieve taal. De belangrijkste bijdragen zijn:

1. Gedetailleerde Taxonomie van CLTL: De auteurs introduceren een fijnmazige classificatie van transfer learning-methoden op drie niveaus:
   • Instance Transfer (Data-niveau): Overdracht van tekst of labels.
     • Label-based: Projectie van labels van bron- naar doeltaal (bijv. via annotatie-projectie of pseudo-labeling).
     • Text-based: Vertalen van gelabelde brondata naar de doeltaal (via machine translation) of tekstalignering.
   • Feature Transfer (Kenmerk-niveau): Delen van linguïstische representaties.
     • Gebruik van Cross-lingual Word Embeddings (CLWE) zoals MUSE, Multilingual FastText.
     • Gebruik van Contextuele Representaties (bijv. mBERT, XLM-R) om semantische ruimtes te aligneren.
     • Retrofitting: Aanpassen van bestaande embeddings met domeinspecifieke kennis (bijv. HateLexicons).
   • Parameter Transfer (Model-niveau): Overdracht van modelparameters.
     • Zero-Shot Transfer: Trainen op brondata, testen op ongezette doeltaal (vaak met Multilingual PLMs).
     • Joint Learning: Gelijktijdig trainen op bron- en doeltaal (Early, Model-level, of Late Fusion).
     • Cascade Learning: Eerst trainen op brondata, daarna fine-tunen op beperkte doeltaaldata.
2. Uitgebreide Dataset-Overzicht: Een overzicht van 82 datasets die in de literatuur worden gebruikt, inclusief metadata over taal, grootte, label-schema's en beschikbaarheid.
3. Identificatie van Uitdagingen: Een diepgaande analyse van de beperkingen in huidige systemen, zoals culturele nuances, dialecten, en code-mixing (bijv. Hinglish).
4. Toekomstperspectief: Een roadmap voor onderzoek, met name gericht op Large Language Models (LLMs) en ethische overwegingen.

---

4. Resultaten en Bevindingen

• Dominantie van Pre-trained Language Models (PLMs): Er is een duidelijke verschuiving van handgemaakte kenmerken en vertalingen naar Parameter Transfer met behulp van Multilingual PLMs zoals mBERT en XLM-RoBERTa. Deze modellen worden in de meeste recente studies (80%+ van de zero-shot studies) gebruikt als basis.
• Taalparen: Engels is veruit de meest gebruikte brontaal. De meest gebruikte doeltalen zijn Spaans, Duits en Italiaans (vanwege typologische gelijkenis). Er is echter een groeiende aandacht voor Indiase talen, Arabisch en Aziatische talen.
• Performance:
  • Zero-shot transfer (geen doeltaaldata) werkt redelijk voor taalfamilies die dicht bij elkaar liggen, maar presteert slecht bij grote linguïstische of culturele verschillen.
  • Few-shot learning (fine-tuning met slechts enkele honderden gelabelde voorbeelden) levert vaak aanzienlijk betere resultaten op dan pure zero-shot benaderingen.
  • Hybride benaderingen (combinatie van instance en parameter transfer) geven vaak de meest robuuste resultaten.
• Datasets: Er is een groot tekort aan grote, hoogwaardige datasets voor niet-Engelse talen. Veel datasets zijn klein (<10.000 voorbeelden) en vaak ongelijk verdeeld (meer niet-offensieve dan offensieve voorbeelden).
• Reproduceerbaarheid: Slechts ongeveer 38% van de onderzochte papers heeft hun broncode openbaar gemaakt, wat reproduceerbaarheid bemoeilijkt.

---

5. Betekenis en Toekomstige Richtingen

Deze survey is van cruciaal belang voor de NLP-gemeenschap omdat het een gestructureerd overzicht biedt van hoe men de "data-schaarste" in de strijd tegen haatzaaiende taal kan overwinnen.

Belangrijkste conclusies en aanbevelingen:

1. Van "One-size-fits-all" naar Cultuurbewust: Modellen moeten niet alleen linguïstisch, maar ook cultureel geëngageerd zijn. Wat in de ene cultuur een grap is, kan in een andere haatzaaiend zijn.
2. Rol van LLMs: De opkomst van Large Language Models (zoals GPT-4, FLAN-T5) biedt nieuwe kansen voor zero-shot en few-shot detectie via prompting. Echter, ze zijn duur en niet altijd beter dan gespecialiseerde, kleinere PLMs voor specifieke domeinen.
3. Data Kwaliteit: Er is een dringende behoefte aan datasets die diverse dialecten, code-mixing en culturele contexten omvatten, niet alleen standaardtalen.
4. Ethische Overwegingen: Er moet voorzichtig worden omgegaan met bias in datasets en annotatie. Modellen mogen niet leiden tot censuur van minderheidsgroepen of het misinterpreteren van sarcasme.

Samenvattend: De paper concludeert dat Cross-Lingual Transfer Learning een veelbelovende richting is, maar dat de huidige systemen nog te afhankelijk zijn van typologische gelijkenissen en dat er meer onderzoek nodig is naar de overdracht van kennis tussen taalfamilies die ver uit elkaar liggen, met inachtneming van culturele nuances.