Decoding Islamophobic Discourse: Using LLMs to Identify Tropes and Semi-Coded Hate Speech
Dit artikel maakt gebruik van Large Language Models en topic modeling om grootschalige data van extremistische platforms te analyseren, waarbij wordt aangetoond dat LLMs effectief semi-gecodeerde islamofobe scheldwoorden kunnen identificeren, terwijl tegelijkertijd wordt geopenbaard dat dergelijke haatzaaiende taal wijdverbreid is in uiteenlopende politieke bewegingen en vaak hogere toxiciteitsscores behaalt dan andere vormen van haatzaaiende taal.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een groot, luidruchtig stadsplein. In de afgelopen jaren heeft een groep mensen op dit plein begonnen om beledigingen naar moslims te schreeuwen, maar ze hebben een lastige nieuwe truc geleerd: in plaats van voor de hand liggende scheldwoorden te schreeuwen, gebruiken ze "geheime codewoorden".
Dit artikel is als een team detectives dat probeert uit te vinden of moderne AI (met name Large Language Models, of LLM's) deze code kan kraken en de haat kan stoppen voordat deze zich verspreidt.
Hier is de uiteenzetting van hun onderzoek, met gebruikmaking van eenvoudige analogieën:
1. Het Probleem: De "Camouflage" van Haat
In het verleden was haatzaaiende taal als een persoon die een felrood shirt droeg met "IK HAT JE" erop geschreven. Het was makkelijk te herkennen.
Nu dragen de haters camouflage. Ze gebruiken woorden die onschuldig lijken of klinken als normale namen, maar in de context van extremistische forums (zoals 4Chan of Gab) betekenen ze iets vreselijks.
- De "Mudslime"-truc: Stel je voor dat je het woord "Muslim" neemt en de "M" vervangt door "Mud" en "slime" toevoegt. Het klinkt walgelijk en ontmenschend, maar als je het woord zonder context voorleest, lijkt het op een vreemde, zelfgemaakte naam.
- De "Abdul"-valstrik: "Abdul" is een gebruikelijke, normale moslimnaam. Maar op deze platforms gebruiken haters het als een generieke belediging, vergelijkbaar met hoe iemand een generieke naam zou gebruiken om een hele groep te bespotten.
- De "Muzrat"-mix: Dit is een samenvoeging van "Muzz" (een dating-app) en "Rat". Het is ontworpen om moslims als ongedierte te laten lijken, maar het is zo geschreven dat het probeert langs geautomatiseerde filters te sluipen.
De onderzoekers noemen deze "Out-of-Vocabulary" (OOV) of "semi-gecodeerde" termen. Ze zijn het digitale equivalent van een wolf in een schaapskleren.
2. Het Onderzoek: Kan de AI de Camouflage Doorzien?
De onderzoekers vroegen een zeer slimme AI (GPT-4) om deze berichten te lezen en te beslissen: "Is dit haatzaaiende taal?"
- Het goede nieuws: De AI is verrassend goed in het opsporen van de "wolf in schaapskleren". Toen de onderzoekers berichten met woorden als mudslime, pislam of muzrat aan de AI voerden, identificeerde de AI ze in de meeste gevallen correct als hatelijk. Het begreep dat, zelfs als de woorden vreemd of neutraal lijken, de intentie kwaadaardig is.
- Het slechte nieuws: De AI raakt soms in de war door de context. Als een bericht de naam "Abdul" gebruikt zonder andere hatelijke woorden, denkt de AI misschien: "Oh, dat is gewoon een naam", en mist de haat. Het heeft meer aanwijzingen nodig om zeker te zijn.
3. De Toxiciteitstest: Hoe "Giftig" is de Haat?
De onderzoekers vergeleken haatzaaiende taal tegen moslims met haatzaaiende taal tegen joden (antisemitisme). Ze gebruikten een tool genaamd de Google Perspective API, die fungeert als een "toxiciteitsmeter".
- Het resultaat: De meter toonde aan dat haatzaaiende taal tegen moslims aanzienlijk toxischer is (meer grof, agressief en misbruikend) dan haatzaaiende taal tegen joden.
- De analogie: Als antisemitisme als een scherp mes is, was de haatzaaiende taal tegen moslims in deze studie als een sloopkogel. Het was zwaarder, luider en gewelddadiger in zijn taalgebruik.
4. De "Trope"-puzzel: Kan de AI het Verhaal begrijpen?
Haatzaaiende taal is vaak gebaseerd op oude, gerecycleerde verhalen of "tropen" (stereotypen). De onderzoekers vroegen de AI om de haatzaaiende taal in vijf specifieke categorieën in te delen:
- Racisme: Mensen aanvallen op basis van hun huid of etniciteit.
- Immigratie: Beweren dat moslims het land "stelen".
- Religie: Islam aanvallen als een geloofssysteem.
- De Profeet: De Profeet Mohammed beledigen.
- Onderdrukking: Beweren dat moslimvrouwen onderdrukt of slecht behandeld worden.
- Het resultaat: De AI was een meester in het opsporen van beledigingen tegen de Profeet (omdat de woorden zeer specifiek en voor de hand liggend waren) en aanvallen op Religie.
- De strijd: De AI had moeite om onderscheid te maken tussen Racisme, Immigratie en Onderdrukking. Het verwisselde deze vaak. Het is als een detective die makkelijk een moordwapen kan opsporen, maar moeite heeft om uit te vinden waarom het misdrijf is gebeurd of welk specifiek motief er is gebruikt.
5. De Conclusie: Een Werk in Uitvoering
Het artikel concludeert dat hoewel AI steeds beter wordt in het herkennen van deze "geheime codewoorden", het nog niet perfect is.
- Wat werkt: AI kan zeggen dat mudslime een slecht woord is.
- Wat niet werkt: AI mist soms de diepere betekenis wanneer de haat subtiel is, of wanneer het probeert uit te vinden welk specifiek stereotype er wordt gebruikt.
De Kernboodschap:
De onderzoekers vertellen socialemediaplatforms: "Je kunt niet meer alleen zoeken naar de voor de hand liggende slechte woorden. Je moet je AI leren deze nieuwe, vreemde, gecodeerde woorden te begrijpen, anders zal de haatzaaiende taal blijven sluipen door de kieren." Ze suggereren ook dat, omdat deze haat zo toxisch is, er dringend aandacht voor nodig is om het online stadsplein veilig te houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.