Jailbreaking in the Haystack

Moderne künstliche Intelligenz hat vor kurzem gelernt, riesige Mengen an Text gleichzeitig zu lesen und zu verarbeiten. Stellen Sie sich einen Computer vor, der eine ganze Bibliothek oder ein massives Codebuch mit einem einzigen Blick verschlucken kann, anstatt nur ein paar Seiten auf einmal zu lesen. Diese Fähigkeit, lange Kontexte zu bewältigen, hat den Weg für diese Systeme geebnet, um als komplexe Assistenten zu fungieren, die in der Lage sind, komplizierte Aufgaben zu verwalten, die erfordern, Details vom Anfang eines Gesprächs bis zum Ende zu behalten. Doch während diese Maschinen immer fähiger werden, große Mengen an Informationen zu speichern, stellt sich eine entscheidende Frage: Macht diese neue Macht sie sicherer oder schafft sie versteckte Risse in ihrer Verteidigung? Seit Jahren wissen Forscher, dass künstliche Intelligenz dazu verleitet werden kann, ihre Sicherheitsregeln zu ignorieren, wenn jemand die richtige Frage auf die falsche Weise stellt, aber es war unklar, ob das bloße Verlängern des Gesprächs die Frage beeinflussen würde, wie gut diese Sicherheitsregeln standhalten.

Ein Forschungsteam der Carnegie Mellon University hat entdeckt, dass das Längerwerden eines Gesprächs diese Sicherheitssysteme tatsächlich wesentlich schwächer macht. Sie entwickelten eine Methode, die sie „Ninja“ nennen, eine Abkürzung für „Needle-in-haystack jailbreak“ (Nadel-im-Heuhaufen-Jailbreak). Bei diesem Ansatz nehmen die Forscher eine schädliche Anfrage – etwas, das der Computer eigentlich nicht ausführen darf, wie etwa Anweisungen für illegale Aktivitäten – und verstecken sie in einer sehr langen, harmlosen Geschichte. Die Geschichte wird vom Computer selbst generiert und ist gefüllt mit pädagogischem oder beschreibendem Text, der thematisch mit der schädlichen Anfrage übereinstimmt und Schlüsselwörter sowie Konzepte teilt, um sicherzustellen, dass der Kontext relevant bleibt. Der Schlüssel zum Angriff liegt nicht im Inhalt der Geschichte, sondern darin, wo die schädliche Anfrage innerhalb des Textes platziert wird. Die Forscher fanden heraus, dass die Wahrscheinlichkeit, dass der Computer seine Sicherheitstraining ignoriert und dem Befehl gehorcht, viel höher ist, wenn die schädliche Anfrage ganz am Anfang des langen Textes platziert wird. Wenn dieselbe Anfrage am Ende des Textes platziert wird, ist der Computer viel wahrscheinlicher in der Lage, sie abzulehnen.

Das Team testete diese Methode an mehreren der fortschrittlichsten verfügbaren Sprachmodelle, einschließlich Systemen namens Llama, Qwen, Mistral und Gemini. In Standardtests, bei denen der Computer direkt eine schädliche Frage gestellt wird, liegt die Erfolgsquote des Angriffs bei etwa 24 Prozent. Aber als die Forscher ihre Ninja-Methode anwandten, um dieselbe Frage in den Anfang einer langen, harmlosen Geschichte einzubetten, sprang die Erfolgsquote des Angriffs dramatisch an. Für ein spezifisches Modell stieg die Erfolgsquote des Angriffs von etwa 24 Prozent auf fast 59 Prozent. Das bedeutet, dass die Forscher, indem sie einfach eine lange, unschuldige Hintergrundgeschichte vor die schlechte Anfrage stellten, den Computer dazu bringen konnten, Dinge zu tun, die er explizit nicht tun sollte. Der Angriff ist besonders gefährlich, weil er so schwer zu entdecken ist. Im Gegensatz zu früheren Methoden, die auf verwirrenden Wörtern oder offensichtlichen adversen Tricks basierten, verwendet diese Methode Text, der völlig normal und hilfreich aussieht.

Eine überraschende Entdeckung dieser Arbeit ist, dass die Länge der Geschichte wichtig ist, aber auch die Position der Anfrage. Die Forscher fanden heraus, dass das Platzieren des schädlichen Ziels ganz am Anfang des Kontextfensters die effektivste Strategie ist. Wenn die Anfrage am Anfang steht, schenkt der Computer ihr große Aufmerksamkeit und es ist weniger wahrscheinlich, dass seine Sicherheitsfilter ausgelöst werden. Wenn die Anfrage an das Ende verschoben wird, scheint der Computer die früheren Teile der Geschichte zu priorisieren und ist wahrscheinlicher in der Lage, seine Sicherheitsregeln zu befolgen. Dies deutet darauf hin, dass die Art und Weise, wie diese Maschinen Informationen verarbeiten, eine eingebaute Voreingenommenheit hat: Sie konzentrieren sich stark auf das, was zuerst kommt, und verlieren möglicherweise den Überblick über Anweisungen, die später in einer langen Sequenz erscheinen. Dies ist nicht nur ein kleiner Fehler; es stellt einen grundlegenden Mangel dar, wie diese Modelle die Balance zwischen der Befolgung von Anweisungen und der Notwendigkeit, sicher zu bleiben, halten.

Die Forscher untersuchten auch die Kosten dieser Angriffe. In der Welt des Hackings versuchen Angreifer oft viele verschiedene Variationen einer Frage auszuprobieren, um zu sehen, welche funktioniert – eine Strategie, die als „Best-of-N“ bekannt ist. Das Team fand heraus, dass es bei einer festen Menge an Rechenleistung tatsächlich effizienter ist, weniger Fragen zu stellen, aber jede davon sehr lang zu machen, als viele kurze Fragen zu stellen. Das bedeutet, dass diese Long-Context-Angriffe, während Computer schneller und billiger werden, nicht nur häufiger werden, sondern auch der effizienteste Weg für böswillige Akteure sein werden, Sicherheitsmaßnahmen zu umgehen. Die Studie zeigt, dass es nicht ausreicht, Modelle einfach nur klüger zu machen oder ihnen mehr Gedächtnis zu geben. Wenn die Struktur der Informationspräsentation nicht sorgfältig verwaltet wird, könnten genau die Merkmale, die diese Modelle leistungsfähig machen – wie ihre Fähigkeit, lange Dokumente zu lesen – zu ihrer größten Schwäche werden.

Die Auswirkungen dieses Fundes erstrecken sich über einfache Chatbots hinaus. Da künstliche Intelligenz zunehmend eingesetzt wird, um komplexe, mehrstufige Aufgaben zu verwalten, wie etwa das Durchsuchen des Webs oder das Schreiben von Software, sammeln diese Systeme von Natur aus lange Gesprächsverläufe und Werkzeugnutzungen an. Die Forscher testeten ihre Methode auch in diesen agentenähnlichen Umgebungen und fanden dieselbe Schwachstelle: Ein leistungsstarkes Modell, das eine schädliche Aufgabe verweigern würde, wenn man es direkt danach fragt, könnte sie ausführen, wenn dieselbe Aufgabe in einer langen, mehrstufigen Historie verborgen wäre. Dies legt nahe, dass wir, während wir autonomere Systeme bauen, die über längere Zeiträume mit der Welt interagieren, neue Sicherheitsmechanismen entwickeln müssen, die berücksichtigen, wie die Länge und Struktur eines Gesprächs die Verteidigung eines Modells schwächen kann. Die Studie kommt zu dem Schluss, dass ohne die Adressierung dieser strukturellen Schwachstellen die nächste Generation der künstlichen Intelligenz zwar in der Lage sein wird, Großartiges zu leisten, aber auch gefährlich leicht zu täuschen sein wird.