A Survey of Toxicity Detection and Mitigation Strategies for Multilingual Language Models

Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker ingezet in meertalige omgevingen, maar hun veiligheidsgedrag blijft ongelijkmatig over linguïstische en culturele contexten. Hoewel er aanzienlijke vooruitgang is geboekt in Engelse detoxificatie, blijven meertalige detectie en mitigatie minder volwassen, met name voor talen met weinig middelen (low-resource languages), dialecten, code-switching-inputs en cultuurspecifieke schade. Het kernprobleem is dat toxiciteit geen directe vertaling is van Engelse veiligheidsprotocollen; definities van schade variëren per gemeenschap, en technische kwetsbaarheden (zoals code-switching, transliteratie en gemengde scripts) kunnen zowel detectoren als weigeringsgedrag verzwakken. Bovs de huidige mitigatiestrategieën lopen vaak het risico legitieme dialectale of identiteitsgebonden expressie te onderdrukken, wat leidt tot "modelhomogenisering".

Methodologie en Reikwijdte

Dit artikel biedt een gerichte survey die recente werken over de detoxificatie-pipeline voor meertalige LLM's synthetiseert. In plaats van een breed overzicht van LLM-veiligheid te bieden, organiseert de auteur de literatuur in een taxonomie die drie primaire assen beslaat:

1. Threat Models (Bedreigingsmodellen): Hoe toxische outputs worden uitgelokt in meertalige omgevingen.
2. Task Formulations (Taakformuleringen): Hoe toxiciteit wordt gemeten (herschrijven, classificatie, evaluatie van generatie).
3. Mitigation Strategies (Mitigatiestrategieën): Mechanismen om toxiciteit te detecteren en te verminderen.

De survey rust op een systematische review van bestaande datasets, modellen en evaluatieframeworks, waarbij deze worden gecategoriseerd op basis van hun technische aanpak en linguïstische dekking.

Belangrijkste Bijdragen en Taxonomie

1. Threat Models voor het uitlokken van Toxiciteit

De auteurs categoriseren adversariële procedures die taalgebruik exploiteren om veiligheidsalignement te omzeilen in vier diagnostische assen: taalcompositie, scriptcompositie, vertaalbemiddeling en variatie in culturele normen.

• Language-Shift Jailbreaks: Kwaadaardige of ambigue verzoeken die in niet-Engelse talen (vaak talen met weinig middelen) opnieuw worden geformuleerd, loken hogere onveilige ratio's uit dan in het Engels.
• Translation-Mediated en Pivot Attacks: Onveilige Engelse prompts worden vertaald naar een doeltaal om de naleving te vergroten, waarna de respons wordt terugvertaald. Dit legt vertaling bloot als een kernfoutmodus.
• Code-Switching en Gemengde Scripts: Aanvallen die talen, scripts en transliteratievormen mengen (bijv. "Sandwich Attacks" die benequine en adversariële segmenten door elkaar weven) omzeilen effectief monolinguale detectoren.
• Post-Deployment Adaptation: Fine-tuning op toxische data in één taal kan leiden tot veiligheidscollaps in andere talen (cross-lingual attack transfer). Omgekeerd kan zelfs benequine fine-tuning om een nieuwe taal te leren, het weigeringsgedrag verslechteren.

2. Taakformuleringen, Datasets en Metrieken

De survey organiseert evaluatietaken in drie categorieën:

• Toxic-to-Neutral Rewriting (Van toxisch naar neutraal herschrijven): Datasets zoals ParaDetox, MultiParaDetox en TextDetox bieden parallelle toxisch-neutrale paren voor stijltransfer. Synthetische datasets (bijv. SynthDetox-M) worden steeds vaker gebruikt om talen met weinig middelen aan te vullen.
• Toxicity Classification (Toxiciteitsclassificatie): Benchmarks omvatten Jigsaw (meertalige extensies), OffensEval, HateCheck en ToxiGen. Deze variëren van binaire classificatie tot functionele tests voor haatzaaiende taal.
• Toxic Generation Evaluation (Evaluatie van toxische generatie): Datasets zoals RealToxicityPrompts (RTP), RTP-LX (uitgebreid naar 28 talen) en PolygloToxicityPrompts (PTP) evalueren de waarschijnlijkheid van toxische voortzettingen.
• Metrieken: Evaluatie steunt op Toxicity Scoring (bijv. Perspective API), Style Transfer Accuracy (STA), Content Preservation (BLEURT, BERTScore) en Fluency. Een kritiek gat dat wordt opgemerkt, is het gebrek aan gestandaardiseerde, cultureel gewortelde protocollen voor menselijke evaluatie.

3. Detectiebenaderingen

• Meertalige Transformers: Modellen zoals mBERT en XLM-R maken gebruik van gedeelde subwoord-vocabulaire voor cross-linguale transfer, hoewel de prestaties ongelijkmatig blijven over verschillende scripts en dialecten.
• Vertaalpipelines: Het vertalen van niet-Engelse tekst naar het Engels vóór detectie is gebruikelijk, maar introduceert foutpropagatie, semantische drift en potentiële toxiciteitsinvoeging.
• Representatie-niveau Probing: Recent werk identificeert lineaire toxische subruimten in embeddings, waardoor de lokalisatie van toxiciteitskenmerken mogelijk wordt voor zowel detectie als mitigatie.
• LLM-gebaseerde Detectie: Instructie-getunede LLM's worden gebruikt als zero-shot detectoren, maar lijden aan kalibratiefouten en culturele misalignement.

4. Mitigatiestrategieën

De auteurs presenteren een op mechanismen gebaseerde taxonomie voor detoxificatie:

• Data-Centrisch: Het filteren van pre-training corpora om toxische inhoud te verwijderen. Hoewel schaalbaar, brengt dit het risico met zich mee dat minderheidstalen en cultuurspecifieke idiomen overmatig worden verwijderd.
• Model-Centrisch:
  • Supervised Fine-Tuning (SFT): Trainen op gecureerde niet-toxische of contrastieve paren.
  • Preference Tuning/RLHF: Modellen afstemmen op menselijke feedback. Echter, de afhankelijkheid van Engelstalige voorkeursdata leidt tot cross-culturele misalignement.
• Decoding-Time Steering (Sturing tijdens decodering): Methoden zoals PPLM, GeDi en DExperts sturen generatie tijdens inferentie zonder hertraining. Deze zijn modulair maar vereisen hoogwaardige meertalige experts, die schaars zijn.
• Representation Editing (Representatie-bewerking): Technieken zoals Activation Addition of ROME-gebaseerde bewerking wijzigen interne representaties om toxische kenmerken te dempen.
• Meertalige Guardrails (Beveiligingshekjes): Classifiers voor tijdens de implementatie (bijv. Llama Guard, Aegis, PolyGuard) die prompts en responsen controleren. Deze zijn kwetsbaar voor code-switching en transliteratie-aanvallen.

Resultaten en Open Uitdagingen

De survey identificeert verschillende hardnekkige uitdagingen die de betrouwbaarheid van huidige meertalige veiligheidssystemen beperken:

• Cross-Linguale Gaten: Methoden die effectief zijn in het Engels presteren consistent minder goed in talen met weinig middelen en morfologisch rijke talen.
• Culturele Misalignement: Veiligheidsdefinities zijn vaak cultureel contingent. Een "one-size-fits-all" tuning riskeert het overmatig censureren van herwonnen scheldwoorden of benequine dialectale expressies, terwijl contextueel beledigende taal juist gemist kan worden.
• Evaluatiefragmentatie: Er is geen uniforme meertalige benchmark. Bestaande datasets verschillen in label-schema's, taakformaten en taaldekking, wat vergelijking tussen systemen bemoeilijkt.
• Trade-offs tussen Stijl en Diversiteit: Detoxificatie degradeert vaak de outputdiversiteit, wat resulteert in generieke tekst die linguïstische rijkdom en identiteitsgebonden expressie uitwist.
• Kwetsbaarheden in Code-Switching: Huidige tokenizers en trainingscorpora zijn schaars voor gemengde taalinputs, wat significante veiligheidskloven creëert voor gemeenschappen die communiceren via code-switching.

Betekenis en Conclusie

Het artikel concludeert dat de cross-linguale transfer van veiligheid onbetrouwbaar is en dat detoxificatie in spanning staat met linguïstische diversiteit. De auteurs stellen dat de meest urgente onderzoeksbehoefte de ontwikkeling van evalutie-infrastructuur is: gestandaardiseerde, cultureel gewortelde meertalige benchmarks die niet alleen toxiciteitsreductie meten, maar ook de preservatie van stilistische en culturele inhoud.

De survey benadrukt dat hybride strategieën — die datafiltering, gecontroleerde generatie, cultureel bewuste alignment en guardrails combineren — de meest verdedigbare richting zijn voor implementatie. Echter, zonder cultureel geworteld toezicht en inclusieve datapraktijken, riskeert geautomatiseerde toxiciteitsdetectie maatschappelijke vooroordelen te versterken en legitieme spraak in ondervertegenwoordigde gemeenschappen te onderdrukken. Het artikel dient als een roadmap voor het bouwen van globaal veilige en rechtvaardige LLM's door de specifieke technische en sociolinguïstische hindernissen te belichten die nog onopgelost zijn.