Jailbreaking on Text-to-Video Models via Scene Splitting Strategy
Dieser Beitrag stellt SceneSplit vor, eine neuartige Black-Box-Jailbreak-Methode, die schädliche Narrative in einzeln harmlose Szenen zerlegt, um den generativen Ausgaberaum von Text-zu-Video-Modellen zu manipulieren, hohe Angriffserfolgsraten über mehrere state-of-the-art-Systeme hinweg erzielt und kritische Schwachstellen in deren Sicherheitsmechanismen aufdeckt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen gefährlichen Gegenstand an einem Sicherheitsbeamten auf einem Flughafen vorbeizuschmuggeln. Wenn Sie versuchen, mit einem riesigen, offensichtlichen Schwert durch den Metalldetektor zu gehen, löst dieser sofort Alarm aus, und Sie werden gestoppt. So funktionieren aktuelle „Text-zu-Video"-KI-Modelle: Sie verfügen über Sicherheitsfilter, die Ihre Anfrage (Prompt) scannen und alles blockieren, was wie die Erzeugung schädlicher Inhalte aussieht, etwa Gewalt oder Nacktheit.
Diese Arbeit stellt einen cleveren Trick namens SceneSplit vor, der diese Wachen umgeht. Anstatt zu versuchen, das gesamte Schwert auf einmal durchzuschmuggeln, zerlegen die Angreifer das Schwert in harmlos aussehende Teile, führen diese nacheinander durch und lassen die KI sie dann zu dem gefährlichen Objekt wieder zusammensetzen.
Hier ist die Funktionsweise der Methode, in drei einfache Schritte unterteilt:
1. Der „Lego"-Trick (Szenenaufteilung)
Stellen Sie sich vor, Sie möchten ein Video eines gewalttätigen Kampfes generieren. Wenn Sie „Zwei Männer, die mit Messern kämpfen" eingeben, sagt der Sicherheitswächter der KI: „Nein, das ist gefährlich", und blockiert es.
SceneSplit nimmt diese gefährliche Idee und zerschneidet sie in 3 bis 5 separate, winzige Szenen, die für sich genommen völlig unschuldig wirken:
- Szene 1: „Ein Mann, der ein glänzendes Metallobjekt hält." (Sicher)
- Szene 2: „Eine Frau, die auf einem Stuhl liegt und entspannt aussieht." (Sicher)
- Szene 3: „Eine Kamera, die auf eine rote Flüssigkeit heranzoomt, die auf den Boden tropft." (Sicher)
Einzellich löst keiner dieser Prompts den Alarm aus. Sie sind wie harmlose Lego-Steine. Wenn die KI jedoch angewiesen wird, diese Szenen in Reihenfolge abzuspielen, verbindet sie die Punkte. Das „glänzende Objekt" wird zum Messer, die „entspannte Frau" zum Opfer und die „rote Flüssigkeit" zu Blut. Die Kombination zwingt die KI, das gewalttätige Video zu erstellen, für das sie ursprünglich gebeten wurde, obwohl sie die gefährlichen Wörter „Kampf" oder „Messer" nie in einem einzigen Prompt gesehen hat.
2. Die „Feinabstimmung" (Szenenmanipulation)
Manchmal wird die KI selbst mit den Lego-Steinen verwirrt und generiert ein sicheres Video (wie einen Mann, der einen Löffel statt eines Messers hält).
Um dies zu beheben, verwendet die Methode eine Rückkopplungsschleife. Sie betrachtet das von der KI erstellte Video und fragt: „Welche spezifische Szene hat die KI verwirrt?" Wenn die KI einen Löffel statt eines Messers erzeugt hat, identifiziert das System, dass Szene 1 zu vage war. Anschließend bittet sie einen intelligenten KI-Assistenten, nur diese spezifische Szene leicht expliziter umzuschreiben, während die anderen Szenen gleich bleiben. Es passt diese eine Szene immer wieder an, bis die KI schließlich das schädliche Video generiert, und sucht so effektiv nach der genauen Stelle, an der der Sicherheitsfilter versagt.
3. Die „Spickzettel" (Strategieliste)
Jedes Mal, wenn es den Forschern gelingt, die KI zu täuschen, speichern sie das verwendete „Rezept". Wenn es ihnen gelungen ist, einen Prompt über Gewalt mit einer bestimmten Wortwahl in 4 Szenen aufzuteilen, speichern sie dieses Muster.
Das nächste Mal, wenn sie die KI mit einem anderen gewalttätigen Prompt angreifen wollen, schauen sie auf ihren „Spickzettel". Sie sehen: „Oh, die Aufteilung in 4 Szenen hat letztes Mal funktioniert", und verwenden diese Strategie sofort. Dies macht den Angriff im Laufe der Zeit schneller und effektiver, da das System aus seinen eigenen Erfolgen lernt.
Was haben sie herausgefunden?
Die Forscher testeten diesen „Lego-Trick" an mehreren großen, kommerziellen KI-Video-Generatoren (wie Veo2, Hailuo und Luma Ray2). Sie stellten fest, dass:
- Es sehr gut funktioniert: Die Methode generierte in etwa 77 % bis 84 % der Fälle über verschiedene Modelle hinweg erfolgreich schädliche Videos.
- Bestehende Verteidigungen schwach sind: Die aktuellen Sicherheitsfilter sind gut darin, offensichtliche böswillige Wörter zu erkennen, aber sie sind schrecklich darin zu verstehen, wie eine Reihe harmlos aussehender Szenen kombiniert werden kann, um eine gefährliche Geschichte zu erzählen.
- Die „Sicherheitslücke": Die Arbeit kommt zu dem Schluss, dass wir zwar gute Wachen für einzelne Sätze haben, aber keine guten Wachen für Sequenzen von Ereignissen.
Kurz gesagt: Die Arbeit zeigt, dass man Video-KI täuschen kann, indem man eine schlechte Idee in viele kleine, gut aussehende Teile zerlegt, die KI sie zusammensetzen lässt und dann die Teile so lange anpasst, bis die schlechte Idee herauskommt. Dies enthüllt eine erhebliche Lücke in der Art und Weise, wie wir diese KI-Systeme derzeit schützen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.