'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
Dit artikel onthult dat grote taalmodellen significante veiligheidsinconsistenties en "gemist-in-Urdu"-percentages vertonen bij het detecteren van haatspraak in het Urdu over diverse schriften heen, wat een kritieke kloof in de betrouwbaarheid van contentmoderatie benadrukt die wordt veroorzaakt door de volledige afwezigheid van Urdu in negen jaar aan belangrijke AI-veiligheidsonderzoeksverslagen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het internet is een enorme, luidruchtige marktplaats waar miljarden mensen elke seconde gedachten, grappen en klachten delen. Om deze ruimte veilig te houden, vertrouwen technologiebedrijven op geautomatiseerde systemen die fungeren als digitale poortwachters, die berichten scannen om haatzaaiende taal en dreigingen te identificeren voordat ze echte schade in de fysieke wereld kunnen aanrichten. Deze systemen worden getraind op enorme hoeveelheden tekst, waarbij ze patronen van misbruik leren herkennen in de talen die ze het beste beheersen. De wereld spreekt echter vele talen, en het vermogen van deze digitale poortwachters om deze te begrijpen is niet gelijkwaardig. Sommige talen, zoals het Engels, zijn goed vertegenwoordigd in de data waarvan deze systemen leren, terwijl andere vaak worden over het hoofd gezien. Wanneer een systeem er niet in slaagt om haatzaaiende taal in een specifieke taal te herkennen, creëert dit een blinde vlek waar schade ongecontroleerd kan verspreiden, zelfs als hetzelfde systeem diezelfde schade zou blokkeren als het in een andere taal geschreven zou zijn. Deze kloof is niet slechts een technische fout; het is een veiligheidsfalen dat miljoenen sprekers kwetsbaar laat.
Een recente studie door onderzoekers van Brunel University London en het Hasso Plattner Institute in Duitsland werpt licht op een van de meest significante van deze blinde vlekken: het Urdu. Urdu is de tiende meest gesproken taal ter wereld, met 246 miljoen sprekers in Pakistan, India en grote gemeenschappen in het Verenigd Koninkrijk en de Verenigde Staten. Ondanks de omvang en het hoge volume aan online misbruik dat gedocumenteerd is in de Urdu-sprekende gemeenschappen, ontdekten de onderzoekers dat het veld van online veiligheidsonderzoek het bijna volledig heeft genegeerd. In een uitgebreide review van negen jaar aan belangrijke academische conferenties gewijd aan online misbruik, ontdekte het team dat niet één enkel artikel aan het Urdu was gewijd. Deze afwezigheid is opvallend, zeker omdat een belangrijke workshop in 2022 expliciet had opgeroepen tot meer werk aan de taal. De onderzoekers wilden zien of dit gebrek aan aandacht meetbare gevolgen had voor de veiligheidstools die momenteel in gebruik zijn.
Om dit te testen, onderzochten het team vijf van de meest geavanceerde kunstmatige intelligentiemodellen die vandaag de dag beschikbaar zijn. Ze voerden deze modellen een grote collectie tekst bestaande uit haatzaaiende taal, dreigementen en normale gesprekken, maar ze presenteerden de inhoud op verschillende manieren. Sommige tekst was in het oorspronkelijke Urdu-schrift, bekend als Nastaliq, dat van rechts naar links stroomt. Andere tekst werd geschreven in het Roman-Urdu, waarbij Urdu-woorden worden gespeld met behulp van Engelse letters, een veelvoorkomende praktijk op sociale media. De onderzoekers voorzagen ook Engelse vertalingen van dezelfde berichten. Door te vergelijken hoe de modellen reageerden op dezelfde boodschap in deze verschillende formaten, konden ze zien of de veiligheidssystemen de inhoud werkelijk begrepen of dat ze simpelweg reageerden op de vorm van de letters.
De resultaten toonden een verontrustende inconsistentie aan. Wanneer de modellen de schadelijke inhoud in het Engels lazen, identificeerden ze deze correct als abusief. Echter, wanneer exact dezelfde boodschap in het oorspronkelijke Urdu-schrift werd gepresenteerd, faalden de modellen er vaak in om het als gevaarlijk te markeren. Gemiddeld, over de verschillende geteste modellen heen, werd ongeveer 18 procent van de schadelijke berichten anders gelabeld afhankelijk van of ze in het Urdu of het Engels waren. In simpelere termen: als iemand een dreiging in het Urdu plaatste, kon het systeem dit als een normale post doorlaten, maar als diezelfde dreiging naar het Engels zou worden vertaald, zou het systeem deze onmiddellijk blokkeren. Dit "gemist-in-Urdu"-percentage, waarbij schadelijke inhoud door de mazen van het net glipt enkel vanwege het schrift waarin het geschreven is, varieerde afhankelijk van het specifieke model dat werd gebruikt, van ongeveer 2 procent tot bijna 10 procent.
De studie benadrukte ook dat niet alle kunstmatige intelligentiemodellen even kwetsbaar zijn voor dit probleem. De meest geavanceerde, grootschalige modellen, vaak frontier-modellen genoemd, vertoonden een betere consistentie met minder fouten. Kleinere, open-source modellen vertoonden echter veel hogere foutpercentages en misten bijna een derde van de schadelijke inhoud wanneer deze in het Urdu was. Dit suggereert dat de veiligheidsfuncties van deze systemen niet uniform zijn; ze zijn ongelijk verdeeld, waarbij ze een sterkere bescherming bieden aan sprekers van sommige talen terwijl anderen blootgesteld blijven. De onderzoekers merkten ook een structurele kloof op in de beschikbare data: er is geen speciale dataset voor haatzaaiende taal die Urdu en Engels mengt, een veelvoorkomende manier waarop mensen online communiceren. Zonder dit specifieke type data is het onmogelijk om volledig te testen hoe goed deze systemen omgaan met de complexe, meertalige realiteit van moderne sociale media.
Uiteindelijk demonstreert het werk dat huidige veiligheidstools een ongelijkmatig schild bieden. Een systeem dat haatzaaiende taal in het Engels betrouwbaar kan detecteren, maar faalt in het herkennen van dezelfde taal in het Urdu, is niet werkelijk veilig voor de miljoenen mensen die die taal spreken. De bevindingen bevestigen dat de afwezigheid van Urdu in veiligheidsonderzoek niet slechts een academische tekortkoming is; het heeft reële, meetbare gevolgen voor contentmoderatie. Totdat deze gaten worden opgevuld met betere data en strengere tests over verschillende schriften heen, zal een aanzienlijk deel van de wereldwijde online populatie kwetsbaar blijven voor schade die de systemen die bedoeld zijn om hen te beschermen, simpelweg niet kunnen zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.