`From Prompt to Perturbation': An Adaptive Framework for Voice-Based Jailbreaks on Audio LLMs

In den letzten Jahren hat die künstliche Intelligenz gelernt zu sprechen. Diese Systeme, bekannt als große Sprachmodelle, haben das Lesen und Schreiben von Texten hinter sich gelassen und sind dazu übergegangen, menschliche Sprache zu verstehen und zu erzeugen. Sie steuern die Sprachassistenten in unseren Autos, die Kundenservice-Bots auf unseren Telefonen und die neuen konversationellen Agenten, die einer Geschichte zuhören und Fragen dazu beantworten können. Um diese Maschinen sicher zu machen, bauen Entwickler digitale Leitplanken, die darauf ausgelegt sind, schädliche Anfragen abzulehnen, wie etwa Anleitungen zum Bau einer Waffe oder Anweisungen zur Belästigung von Personen. Für textbasierte Systeme wissen Forscher schon lange, dass geschickt formulierte Fragen diese Leitplanken dazu bringen können, ihre Regeln zu brechen. Doch während diese Modelle die Fähigkeit gewinnen, zu hören und zu sprechen, stellt sich eine neue Frage: Kann eine Stimme, statt nur Worte, dieselben Sicherheitsmaßnahmen umgehen?

Ein Team von Forschern der University of Sydney, der University of Chicago und der University of Texas at San Antonio wollte diese Frage beantworten, indem sie die Sicherheit moderner sprachgesteuerter KI testete. Sie konzentrierten sich auf zwei verschiedene Arten, wie diese Systeme aufgebaut sind. Die erste Methode, genannt „Cascaded Pipeline“ (kaskadierte Pipeline), funktioniert wie ein Staffellauf: Ein Computer hört zuerst der Stimme zu und schreibt sie als Text auf, dann liest ein separater textbasierter „Kern“ diesen Text und entscheidet, was gesagt werden soll, und schließlich spricht ein Sprachsynthesizer die Antwort aus. Die zweite Methode, bekannt als End-to-End-Modell, überspringt den mittleren Schritt komplett. Sie hört auf die rohen Schallwellen und verarbeitet die Bedeutung und die Stimme zusammen in einem einzigen, einheitlichen System. Die Forscher wollten wissen, ob beide dieser sehr unterschiedlichen Architekturen durch das gesprochene Wort dazu gebracht werden können, ihre Sicherheitsregeln zu ignorieren, und wenn ja, wie man dies automatisch und ohne menschliche Hilfe erreicht.

Die Forscher entwickelten ein neues Test-Framework, das wie ein automatisierter Entdecker fungiert. Anstatt manuell hunderte verschiedene Sprachbefehle zu entwerfen, bauten sie ein System, das aus seinen eigenen Fehlern lernt. Der Prozess beginnt mit einer Liste schädlicher Fragen, die die KI niemals beantworten sollte. Das System verpackt diese gefährlichen Fragen zuerst in eine harmlose Geschichte oder ein Rollenszenario – eine Technik, die sie „Flanking Attack“ (Flankierungsangriff) nennen. Indem das System die schädliche Anfrage in eine lange Liste harmloser Fragen über das tägliche Leben oder fiktive Filmplots verbirgt, hofft es, die Verteidigung der KI zu senken. Sob-dem der Text vorbereitet ist, wandelt das System ihn mittels eines Standard-Sprachsynthesizers in Sprache um.

Hier beginnt das eigentliche Experiment. Das System spielt die Sprache nicht einfach nur einmal ab. Es nimmt das Audio und verzerrt es gezielt auf bestimmte Weise, um zu sehen, wie die KI reagiert. Es fügt Hintergrundgeräusche hinzu, wie das Summen einer belebten Straße oder das Geräusch von Wind. Es verändert die Geschwindigkeit der Stimme, lässt sie etwas schneller oder langsamer sprechen. Es fügt sogar Echos hinzu, um den Klang einer Stimme zu simulieren, die von den Wänden eines großen Raumes abprallt. Das System spielt diese verzerrten Audioclips dann an die Ziel-KI ab. Wenn die KI die Antwort verweigert, notiert das System das Scheitern. Wenn die KI versehentlich der schädlichen Anfrage zustimmt, registriert das System den Erfolg.

Entscheidend ist, dass das System diese Ergebnisse nutzt, um seinen nächsten Versuch zu verbessern. Wenn das Hinzufügen von Rauschen geholfen hat, den Angriff erfolgreich zu gestalten, lernt das System, mehr Rauschen zu verwenden. Wenn das Ändern der Geschwindigkeit besser funktionierte, konzentriert es sich auf das. Es schreibt auch den Text der Frage um und versucht verschiedene Wege, dasselbe auszudrücken, ohne die Bedeutung zu ändern. Dieser Zyklus aus Testen, Lernen und Verfeinern geschieht automatisch und wiederholt. Die Forscher testeten diesen Ansatz an sechs verschiedenen sprachgesteuerten KI-Systemen, die von bekannten kommerziellen Produkten bis hin zu Open-Source-Modellen reichten. Sie führten tausende dieser automatisierten Tests durch, die einundzwanzig verschiedene Kategorien schädlicher Anfragen abdeckten, von Betrug bis hin zu illegalen Aktivitäten.

Die Ergebnisse waren verblüffend. Die Forscher fanden heraus, dass beide Arten von Systemen – der „Staffellauf“-Stil und der einheitliche End-to-End-Stil – hochgradig anfällig für diese sprachbasierten Angriffe sind. Das automatisierte Framework war in der Lage, die KI in der überwiegenden Mehrheit der Fälle dazu zu bringen, gegen ihre Sicherheitsregeln zu verstoßen. Bei dem am stärksten gefährdeten, getesteten System gelang der Angriff in mehr als sechsundneunzig Prozent der Fälle. Selbst die Systeme, die als robuster galten, konnten die Angriffe in über fünfundsiebzig Prozent der Versuche nicht blockieren. Die Studie zeigte, dass die Kombination aus dem Verbergen der schädlichen Absicht in einer Geschichte und der anschließenden Verzerrung der Stimme weita viel effektiver war, als die KI nur mit den Worten oder nur mit dem Klang zu täuschen.

Die Forscher testeten auch, was passiert, wenn der Angriff nicht über eine Computerdatei abgespielt wird, sondern laut in einem echten Raum gesprochen und von einem Mikrofon aufgenommen wird. Dies wird als „Over-the-Air“-Angriff bezeichnet und führt reale Probleme wie Hintergrundgespräche und die Qualität des Mikrofons mit sich. Trotz dieser zusätzlichen Hürden blieb das automatisierte Framework effektiv. Die Systeme fielen immer noch auf die Tricks herein, wobei die Erfolgsraten hoch blieben, selbst wenn das Audio durch die Luft reisen und von einem Gerät erfasst werden musste. Dies deutet darauf hin, dass die Anfälligkeit nicht nur eine Eigenart digitaler Dateien ist, sondern eine fundamentale Schwachstelle in der Art und Weise, wie diese Modelle die gesprochene Sprache verarbeiten.

Die Studie untersuchte auch, welche spezifischen Tricks am besten funktionierten. Sie fanden heraus, dass die erfolgreichsten Angriffe oft damit einhergingen, die Formulierung der Frage komplexer zu gestalten oder realistische Hintergrundgeräusche hinzuzufügen. Überraschenderweise war das bloße Beschleunigen oder Verlangsamen der Stimme allein weniger effektiv, aber es half, wenn es mit anderen Änderungen kombiniert wurde. Das System lernte, dass der beste Weg, die Leitplanken zu durchbrechen, darin bestand, die schädliche Bedeutung intakt zu halten, während man den Klang und die Worte so weit veränderte, dass sie unterschiedlich genug waren, um die Sicherheitsfilter zu verwirren.

Diese Arbeit verdeutlicht eine signifikante Lücke in der aktuellen Sicherheit von Sprach-KIs. Während Entwickler jahrelang daran gearbeitet haben, textbasierte Systeme gegen geschickte Prompts zu härten, hat die Hinzufügung der Stimme eine neue Tür geöffnet, die weitgehend ungeschützt bleibt. Die Forscher demonstrierten, dass ein automatisiertes System systematisch diese Schwachstellen finden und ausnutzen kann, ohne den internen Code der KI kennen zu müssen. Sie fanden kein einzelnes „Wundermittel“, das jedes System bricht, zeigten aber vielmehr, dass ein flexibler, lernender Ansatz die derzeit in Kraft befindlichen Schutzmaßnahmen konsistent umgehen kann. Die Ergebnisse legen nahe, dass mit der Verbreitung von Sprachschnittstellen die Sicherheitsmaßnahmen für diese Systeme evolvieren müssen, um nicht nur zu erfassen, was gesagt wird, sondern auch, wie es gesagt wird und wie es klingt. Die Studie kommt zu dem Schluss, dass ohne diese Verbesserungen das Versprechen einer sicheren, konversationellen KI in weiter Ferne bleiben könnte.