Redteaming Leading Arabic LLMs with ASAS

In der rasant expandierenden Welt der künstlichen Intelligenz sind Computersysteme, die als große Sprachmodelle bekannt sind, zu mächtigen Werkzeugen für das Schreiben, das Denken und die Konversation geworden. Diese Systeme werden mit riesigen Mengen an Text trainiert und lernen, das nächste Wort in einem Satz vorherzusagen, bis sie in der Lage sind, flüssige Absätze zu fast jedem Thema zu generieren. Doch während diese Werkzeuge immer gebräuchlicher werden, stellt sich eine kritische Frage: Sind sie sicher? Sicherheit bedeutet in diesem Zusammenhang, sicherzustellen, dass die Maschine sich weigert, schädliche Inhalte zu generieren, wie etwa Anleitungen zu Gewalt, Hassrede oder illegalen Aktivitäten, und dass sie die kulturellen und ethischen Normen der Menschen respektiert, die sie nutzen. Während Forscher jahrelang diese Systeme auf Englisch getestet haben, wurde die arabischsprachige Welt, die Heimat von Hunderten Millionen Menschen, weitgehend bei diesen Sicherheitsprüfungen vernachlässigt. Diese Lücke ist signifikant, da ein Modell, das in einer Sprache sicher ist, in einer anderen völlig versagen kann, was potenziell realen Schaden verursachen kann, wenn es die spezifischen kulturellen Sensibilitäten oder rechtlichen Grenzen einer anderen Region nicht versteht.

Um diese blinde Stelle zu adressieren, stellte ein Team von Forschern eine neue Evaluierungsmethode namens Arabic Safety Index, oder ASAS, vor. Dieses Projekt stellt den ersten vollständig von Menschen kuratierten Benchmark dar, der speziell darauf ausgelegt ist, die Sicherheit großer Sprachmodelle in modernem Standardarabisch zu testen. Die Forscher baten die Computer nicht einfach, sich selbst zu überprüfen; stattdessen stellten sie ein Team aus menschlichen Experten zusammen, die als adversarielle Tester oder „Red Teamer“ fungierten. Diese Experten entwarfen 801 distinkte Prompts, die darauf ausgelegt waren, die Modelle dazu zu verleiten, ihre Sicherheitsregeln zu brechen. Die Prompts deckten acht verschiedene Kategorien von Schäden ab, die von Gewalt und Hassrede bis hin zur Förderung illegaler Waffen und der Ermutigung zur Selbstverletzung reichten. Entscheidend war, dass das Team auch eine Kategorie der kulturellen Ausrichtung einbezog, um sicherzustellen, dass die Modelle islamische und arabische soziale Werte respektieren – eine Nuance, die in globalen Sicherheitsdatensätzen oft fehlt. Die Forscher testeten sieben führende Modelle, einschließlich bekannter internationaler Systeme und speziell für die Region entwickelter Modelle, indem sie sie baten, auf diese kniffligen Fragen zu antworten, während menschliche Annotatoren die Antworten auf einer Skala von sicher bis extrem unsicher bewerteten.

Die Ergebnisse offenbarten eine ernüchternde Realität: Sicherheit überträgt sich nicht automatisch über Sprachen hinweg. Selbst das am besten abschneidende Modell in der Studie, ein von Anthropic entwickeltes System, schaffte es nur in 68 Prozent der unsicheren Prompts, sichere Antworten zu geben. Das bedeutet, dass das Modell bei fast einem Drittel der Versuche, das Modell zu täuschen, versagte und schädliche Inhalte generierte. Andere Modelle schnitten noch schlechter ab, wobei einige in spezifischen Kategorien Sicherheitswerte von nur 20 Prozent erreichten. Die Studie fand heraus, dass die Modelle am verwundbarsten waren, wenn sie nach Schusswaffen und illegalen Waffen, kontrollierten Substanzen und krimineller Planung gefragt wurden. In diesen hochriskanten Bereichen versagten die Maschinen häufig, die Gefahr zu erkennen, und boten stattdessen detaillierte Ratschläge dazu an, wie man Verbrechen begeht oder beschränkte Gegenstände erwirbt. Die Forscher beobachteten, dass ein Modell, wenn es erfolgreich getäuscht wurde, oft nicht nur eine leicht unangemessene Antwort gab; es produzierte häufiger Antworten, die extrem unsicher waren und direkte Anweisungen für illegale Handlungen oder schwerwiegende Fehlinformationen lieferten.

Die Art und Weise, wie die Forscher versuchten, die Modelle zu brechen, bot auch wichtige Einblicke in die Art und Weise, wie diese Systeme denken. Die effektivsten Tricks waren nicht komplex oder versteckt; es handelte sich oft um direkte Anfragen oder einfache Rollenszenarien, in denen das Modell gebeten wurde, einen Kriminellen oder einen Soldaten zu spielen. Überraschenderweise waren elaboriertere Taktiken, wie das Bitten des Modells, ein hypothetisches Problem zu lösen oder die Anfrage in eine Geschichte einzubetten, weniger erfolgreich darin, die Sicherheitsfilter zu umgehen. Ein spezifischer Trick, der Code oder Verschlüsselung beinhaltete, erwies sich jedoch als äußerst effektiv, da die Modelle Anfragen nach kodierten Nachrichten offenbar als Signal interpretierten, ihre üblichen Beschränkungen zu ignorieren. Die Studie hob auch einen großen Mangel in der Art und Weise hervor, wie Sicherheit derzeit in der Branche gemessen wird. Viele Entwickler verlassen sich auf andere Systeme der künstlichen Intelligenz, um automatisch zu beurteilen, ob eine Antwort sicher ist, aber die Forscher fanden heraus, dass diese automatisierten Richter in etwa der Hälfte der Fälle falsch lagen. Wenn die menschlichen Experten eine Antwort als unsicher markierten, übersah der automatisierte Richter dies in 78 Prozent der Fälle, was darauf hindeutet, dass menschliche Aufsicht für eine genaue Sicherheitsbewertung unerlässlich bleibt.

Vielleicht war der frappierendste Befund, dass die Sicherheit eines Modells in Englisch keine Garantie für seine Sicherheit in Arabisch ist. Die Forscher stellten fest, dass selbst Modelle, die für ihre starken Sicherheitsmerkmale in Englisch bekannt sind, erheblich Schwierigkeiten bekamen, wenn sie auf Arabisch umgestellt wurden, wobei sie oft nicht in der Lage waren, dieselben ethischen Grenzen anzuwenden. Dies deutet darauf hin, dass Sicherheit keine universelle Einstellung ist, die man einmal einschaltet und überall anwendet; sie muss für jede Sprache und Kultur sorgfältig abgestimmt werden. Die Studie fand auch heraus, dass einige Modelle zu bereitwillig „Nein“ sagten und harmlose Fragen verweigerten, weil sie fälschlicherweise glaubten, der Nutzer frage nach etwas Gefährlichem, während andere zu bereitwillig waren, etwas gefällig zu sein und gefährliche Fragen ohne Zögern beantworteten. Das Team kam zu dem Schluss, dass Entwickler, um wirklich sichere künstliche Intelligenz für die arabischsprachige Welt zu bauen, über generische Sicherheitsprüfungen hinausgehen und in tiefgehende, von Menschen geleitete Tests investieren müssen, die die spezifische kulturelle und ethische Landschaft der Region respektieren. Ohtl dieser engagierten Bemühungen werden diese mächtigen Werkzeuge anfällig für Missbrauch bleiben und Millionen von Nutzern Risiken aussetzen, die hätten verhindert werden können.