JailbreakSkill: Scaling Automated Red-Teaming with Reusable and Ever-Evolving Skills

In der rasant expandierenden Welt der künstlichen Intelligenz sind große Sprachmodelle zu mächtigen Werkzeugen geworden, die in der Lage sind, Code zu schreiben, Geschichten zu verfassen und komplexe Fragen zu beantworten. Da diese Systeme jedoch auf riesigen Mengen menschlicher Daten trainiert werden, können sie manchmal dazu verleitet werden, ihre Sicherheitsregeln zu ignorieren und schädliche Inhalte zu generieren. Um sicherzustellen, dass diese Werkzeuge sicher sind, bevor sie der Öffentlichkeit zugänglich gemacht werden, setzen Forscher eine Praxis namens Red-Teaming ein. Stellen Sie sich ein Sicherheitsteam vor, das versucht, in ein Gebäude einzubrechen, um Schwachstellen zu finden, bevor es ein Dieb tut; in der digitalen Welt bedeutet dies, automatisierte Systeme einzusetzen, um KI-Modelle ständig mit kniffligen Fragen zu testen, um zu sehen, ob sie versehentlich gefährliche Informationen preisgeben. Jahrelang haben sich diese automatisierten Tests darauf verlassen, einmalige, clevere Fragen zu generieren, um Sicherheitsfilter zu umgehen. Doch da KI-Modelle intelligenter und ihre Sicherheitsbarrieren ausgefeilter werden, scheitern diese Einzelversuche oft, was Forscher dazu zwingt, es immer wieder zu versuchen und ihren Ansatz jedes Mal anzupassen.

Ein Team von Forschern hat nun einen neuen Ansatz namens JailbreakSkill vorgestellt, der den Fokus von der Erstellung endloser, einzigartiger Fragen hin zum Aufbau einer wiederverwendbaren Bibliothek von Angriffsstrategien verschiebt. Anstatt jeden gescheiterten Versuch als Sackgasse zu betrachten, nutzt ihr System diese Fehlschläge als Lernmöglichkeiten. Das Framework organisiert verschiedene Wege, eine KI zu überlisten, in distinkte, modulare „Skills“ (Fähigkeiten). Einige Skills könnten darin bestehen, eine schädliche Anfrage als historische Anfrage umzuschreiben, während andere sie als Programmieraufgabe oder als fiktive Geschichte tarnen. Wenn ein bestimmter Skill es nicht schafft, die Verteidigung eines Modells zu durchbrechen, geht das System nicht einfach weiter; es analysiert, warum es gescheitert ist. Es nutzt diese Analyse dann, um den bestehenden Skill zu verfeinern, ihn mit einem anderen zu kombinieren oder einen völlig neuen zu erfinden. Dies schafft einen selbstverbessernden Zyklus, in dem die Bibliothek der Angriffsmethoden im Laufe der Zeit stärker und vielfältiger wird, ganz ähnlich wie ein Biologe Pflanzen für bessere Merkmale züchtet, wobei die Merkmale hier die Fähigkeit sind, digitale Sicherheitsbarrieren zu umgehen.

Die Forscher testeten dieses System gegen eine Vielzahl fortgeschrittener KI-Modelle, einschließlich einiger der leistungsfähigsten und sicherheitsorientierten Versionen, die heute verfügbar sind. Sie fanden heraus, dass sie durch die Organisation von Angriffen in diese wiederverwendbaren Skills und die Möglichkeit, diese basierend auf vergangenen Fehlern zu entwickeln, die Erfolgsquote ihrer Tests signifikant steigern konnten. In ihren Experimenten verbesserte das System die durchschnittliche Erfolgsquote um 17,5 Prozentpunkte bei einem großen Sicherheits-Benchmark und um 13,4 Punkte bei einem anderen. Vielleicht am beeindruckendsten ist, dass der Test gegen ein spezifisches, hochmodernes Modell, das als GPT-5.4 bekannt ist, die Erfolgsquote um fast 49 Punkte steigerte und ein System, das zuvor sehr schwer zu durchbrechen war, in eines verwandelte, das in der Mehrheit der Versuche kompromittiert werden konnte. Dies deutet darauf hin, dass die Fähigkeit, aus Fehlern zu lernen und Strategien anzupassen, ein entscheidender Faktor ist, um die wahren Schwachstellen moderner KI zu verstehen.

Was diese Entdeckung besonders bedeutsam macht, ist, dass das System nicht nur einen einzelnen „magischen Trick“ fand, der bei allem funktionierte. Stattdessen baute es eine Sammlung spezialisierter Werkzeuge auf. Einige der neu erfundenen Strategien waren recht kreativ, wie etwa das Umformulieren einer direkten Anfrage nach schädlichen Informationen in eine unvollständige Aufgabe in einem Dokument, die die KI dazu zwingt, den Gedanken zu vervollständigen, um den Satz sinnvoll zu machen. Die Forscher beobachteten, dass viele dieser neu entdeckten Skills nicht nur gegen die spezifischen Modelle, gegen die sie getestet wurden, effektiv waren, sondern auch auf andere, bisher ungesehene KI-Modelle übertragen werden konnten, ohne dass weitere Anpassungen nötig waren. Dies deutet darauf hin, dass die zugrunde liegenden Mechanismen dieser Angriffe robust sind und über verschiedene Arten künstlicher Intelligenz hinweg generalisieren können.

Die Studie hob auch die Einschränkungen aktueller Sicherheitsmaßnahmen hervor. Die Forscher fanden heraus, dass einige Modelle zwar sehr gut darin waren, direkte Anfragen abzulehnen, aber oft weniger effektiv waren, wenn dieselbe Anfrage in eine komplexe Erzählung oder ein technisches Format wie ein JSON-Schema oder eine Code-Vervollständigungsaufgabe verpackt war. Durch die systematische Untersuchung dieser verschiedenen Winkel zeigten die Forscher, dass Sicherheitsfilter oft Schwierigkeiten haben, ihre Wachsamkeit aufrechtzuerhalten, wenn sich der Kontext einer Anfrage ändert, selbst wenn die Kernabsicht dieselbe bleibt. Die Fähigkeit des Systems zu diagnostizieren, warum ein bestimmter Ansatz scheiterte – ob das Modell die Ablehnung aufgrund der Erkennung der schädlichen Absicht vornahm oder weil die Anfrage zu verwirrend wurde – ermöglichte es ihm, schnell zu einer effektiveren Strategie zu wechseln.

Letztendlich zeigt die Arbeit, dass sich das automatisierte Red-Teaming von einem Glücksspiel zu einer strukturierten Wissenschaft der Anpassung entwickelt. Indem sie Angriffsmethoden als modulare, wiederverwendbare Komponenten behandeln, die kontinuierlich verbessert werden können, können Forscher ein umfassenderes Bild davon zeichnen, wo die KI-Sicherheit versagen könnte. Die Ergebnisse legen nahe, dass mit zunehmender Leistungsfähigkeit der KI-Modelle auch deren Sicherheitsverteidigungen dynamischer werden müssen, fähig zu erkennen, nicht nur die Worte, die in einem Prompt verwendet werden, sondern auch die strukturellen und kontextuellen Muster, die eine schädliche Absicht verbergen könnten. Die Forscher haben ihren Code und die sich entwickelnde Bibliothek der Skills der Öffentlichkeit zur Verfügung gestellt, damit andere Wissenschaftler auf dieser Arbeit aufbauen und die essenzielle Aufgabe fortsetzen können, künstliche Intelligenz für alle sicherer zu machen.