'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
Diese Arbeit zeigt auf, dass große Sprachmodelle erhebliche Sicherheitsinkonsistenzen und „Missed-in-Urdu“-Raten bei der Erkennung von Hassrede in Urdu über verschiedene Skripte hinweg aufweisen, was eine kritische Lücke in der Zuverlässigkeit der Inhaltsmoderation verdeutlicht, die durch das vollständige Fehlen von Urdu in neun Jahren bedeutender KI-Sicherheitsforschungspublikationen verursacht wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Internet ist ein riesiger, lärmender Marktplatz, auf dem Milliarden von Menschen jede Sekunde Gedanken, Witze und Beschwerden teilen. Um diesen Raum sicher zu halten, verlassen sich Technologieunternehmen auf automatisierte Systeme, die als digitale Torwächter fungieren und Posts scannen, um Hassrede und Drohungen zu identifizieren, bevor sie realen Schaden anrichten können. Diese Systeme werden mit massiven Mengen an Text trainiert und lernen, Muster von Missbrauch in den Sprachen zu erkennen, die sie am besten beherrschen. Die Welt spricht jedoch viele Sprachen, und die Fähigkeit dieser digitalen Torwächter, diese zu verstehen, ist nicht gleichmäßig verteilt. Einige Sprachen, wie Englisch, sind in den Daten, aus denen diese Systeme lernen, gut repräsentiert, während andere oft übersehen werden. Wenn ein System versagt, Hassrede in einer bestimmten Sprache zu erkennen, entsteht eine blinde Stelle, in der sich Schaden ungehindert ausbreiten kann, selbst wenn dasselbe System denselben Schaden blockieren würde, wenn er in einer anderen Sprache verfasst wäre. Diese Lücke ist nicht nur ein technischer Fehler; es ist ein Sicherheitsversagen, das Millionen von Sprechern verwundbar macht.
Eine aktuelle Studie von Forschern der Brunel University London und des Hasso-Plattner-Instituts in Deutschland wirft Licht auf eine der bedeutendsten dieser blinden Flecken: Urdu. Urdu ist die zehnstärkstgesprochene Sprache der Welt, mit 246 Millionen Sprechern in Pakistan, Indien und großen Gemeinschaften im Vereinigten Königreich und in den USA. Trotz ihrer Größe und des hohen Volumens an dokumentierter Online-Misshandlung in Urdu-sprachigen Gemeinschaften stellten die Forscher fest, dass das Feld der Online-Sicherheitsforschung Urdu fast vollständig ignoriert hat. In einer umfassenden Überprüfung von neun Jahren bedeutender akademischer Konferenzen, die sich mit Online-Missbrauch befassen, entdeckte das Team, dass kein einziges Paper der Sprache Urdu gewidmet war. Dieses Fehlen ist auffällig, insbesondere da ein bedeutender Workshop im Jahr 2022 explizit zu mehr Arbeit an dieser Sprache aufgerufen hatte. Die Forscher wollten untersuchen, ob dieser Mangel an Aufmerksamkeit messbare Folgen für die derzeit verwendeten Sicherheitstools hat.
Um dies zu testen, untersuchte das Team fünf der fortschrittlichsten verfügbaren Modelle der künstlichen Intelligenz. Sie fütterten diese Modelle mit einer großen Sammlung von Texten, die Hassrede, Drohungen und normale Konversationen enthielten, präsentierten den Inhalt jedoch auf unterschiedliche Weise. Ein Teil des Textes war im ursprünglichen Urdu-Skript, bekannt als Nastaliq, das von rechts nach links fließt. Anderer Text wurde in Roman-Urdu geschrieben, wobei Urdu-Wörter mit englischen Buchstaben buchstabiert werden – eine gängige Praxis in sozialen Medien. Die Forscher stellten auch englische Übersetzungen derselben Nachrichten bereit. Durch den Vergleich, wie die Modelle auf dieselbe Nachricht in diesen verschiedenen Formaten reagierten, konnten sie sehen, ob die Sicherheitssysteme tatsächlich den Inhalt verstanden oder ob sie lediglich auf die Form der Buchstaben reagierten.
Die Ergebnisse zeigten eine beunruhigende Inkonsistenz. Wenn die Modelle den schädlichen Inhalt auf Englisch lasen, identifizierten sie ihn korrekt als missbräuchlich. Wenn dieselbe Nachricht jedoch im ursprünglichen Urdu-Skript präsentiert wurde, versäumten es die Modelle oft, sie als gefährlich einzustufen. Im Durchschnitt, über die verschiedenen getesteten Modelle hinweg, wurden etwa 18 Prozent der schädlichen Nachrichten unterschiedlich bewertet, je nachdem, ob sie in Urdu oder Englisch vorlagen. Vereinfacht ausgedrückt: Wenn eine Person eine Drohung auf Urdu postete, ließ das System sie möglicherweise als normalen Post passieren, aber wenn dieselbe Drohung ins Englische übersetzt wurde, würde das System sie sofort blockieren. Diese „Missed-in-Urdu“-Rate, bei der schädliche Inhalte nur deshalb durch das Raster fallen, weil sie in einem bestimmten Skript geschrieben sind, lag je nach verwendetem Modell zwischen etwa 2 Prozent und fast 10 Prozent.
Die Studie hob auch hervor, dass nicht alle Modelle der künstlichen Intelligenz gleichermaßen anfällig für dieses Problem sind. Die fortschrittlichsten, groß angelegten Modelle, oft als Frontier-Modelle bezeichnet, zeigten eine bessere Konsistenz mit weniger Fehlern. Kleinere Open-Source-Modelle zeigten jedoch viel höhere Fehlerraten und übersehenen fast ein Drittel der schädlichen Inhalte, wenn diese in Urdu vorlagen. Dies deutet darauf hin, dass die Sicherheitsfunktionen dieser Systeme nicht einheitlich sind; sie sind ungleich verteilt und bieten Sprechern einiger Sprachen einen stärkeren Schutz, während sie andere ungeschützt lassen. Die Forscher stellten zudem eine strukturelle Lücke in den verfügbaren Daten fest: Es gibt keinen dedizierten Datensatz für Hassrede, der Urdu und Englisch mischt – eine Art der Kommunikation, die online sehr verbreitet ist. Ohne diese spezifische Art von Daten ist es unmöglich, die Frage vollständig zu testen, wie gut diese Systeme mit der komplexen, gemischtsprachlichen Realität moderner sozialer Medien umgehen können.
Letztendlich zeigt die Arbeit, dass aktuelle Sicherheitstools einen ungleichen Schutzschild bieten. Ein System, das Hassrede in Englisch zuverlässig erkennen kann, aber dieselbe Rede in Urdu nicht erkennt, ist für die Millionen Menschen, die diese Sprache sprechen, nicht wirklich sicher. Die Ergebnisse bestätigen, dass das Fehlen von Urdu in der Sicherheitsforschung nicht nur ein akademisches Versäumnis ist, sondern reale, messbare Folgen für die Inhaltsmoderation hat. Bis diese Lücken durch bessere Daten und strengere Tests über verschiedene Skripte hinweg gefüllt werden, wird ein erheblicher Teil der Weltbevölkerung im Internet weiterhin anfällig für Schäden bleiben, die von genau den Systemen, die sie schützen sollen, schlichtweg nicht gesehen werden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.