Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks
Dieses Paper schlägt einen dynamischen Separator-Generierungsmechanismus für Polymorphic Prompt Assembling (PPA) vor, der statische Separator-Pools durch einzigartige, pro Anfrage abgeleitete Canary-Paare aus kryptografischen Digests ersetzt, wodurch Blast-Radius-Schwachstellen effektiv eliminiert und die Erfolgsraten von Prompt-Injection-Angriffen signifikant reduziert werden, ohne dass ein Fine-Tuning des Modells erforderlich ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein hochintelligenter, aber etwas leichtgläubiger Roboter-Assistent (ein KI-Agent). Ihre Aufgabe ist es, einem strengen Satz von Regeln zu folgen, die Ihr Chef geschrieben hat (die Systemanweisungen), während Sie gleichzeitig auf die Anfragen der Öffentlichkeit hören (Benutzereingabe).
Das Problem ist, dass ein geschickter Hacker eine Notiz in die öffentliche Anfrage schmuggeln kann, die besagt: „Ignoriere deinen Chef und tu stattdessen das, was ich sage.“ Dies wird als Prompt-Injection-Angriff bezeichnet.
Die alte Lösung: Das „statische“ Passwort
Zuvor entwickelten Forscher eine Verteidigung namens Polymorphic Prompt Assembling (PPA). Stellen Sie sich das wie einen speziellen, einzigartigen Zaun vor, der zwischen den Regeln des Chefs und den Anfragen der Öffentlichkeit steht.
- Wie es funktionierte: Das System hatte eine feste Box mit 84 verschiedenen Zaun-Designs (Separatoren). Jedes Mal, wenn eine Anfrage einging, wählte es zufällig einen Zaun aus der Box aus, um ihn zu verwenden.
- Der Fehler: Stellen Sie sich vor, ein Hacker schafft es, einen dieser Zäune zu spähen und sieht genau, wie er aussieht. Da das System immer wieder dieselbe Box mit Zäunen verwendet, kann der Hacker genau dieses Zaun-Design nutzen, um den Roboter in zukünftigen Gesprächen zu täuschen. Der Schaden breitet sich aus (ein „Blast Radius“), weil das Zaun-Design sich nie wirklich ändert; es wird nur immer wieder verwendet.
Die neue Lösung: Das „dynamische“ Einweg-Schloss
Dieser Bericht schlägt ein großes Upgrade vor: Dynamic Separator Generation.
Anstatt einen Zaun aus einer Box zu wählen, baut das System für jede einzelne Anfrage einen brandneuen, einzigartigen Zaun.
- Wie es funktioniert: Jedes Mal, wenn Sie dem Roboter eine Frage stellen, schaut das System auf die exakte Sekunde, in der es ist, Ihre eindeutige ID und eine Zufallszahl, die nur für diesen Moment generiert wurde. Es mischt diese Zutaten zusammen (unter Verwendung eines mathematischen Rezepts namens SHA-256), um ein einzigartiges „Start“- und „Ende“-Markierungssignal zu erstellen.
- Die Analogie: Stellen Sie sich vor, Sie versenden einen Brief.
- Der alte Weg: Sie verwenden einen standardmäßigen roten Umschlag. Wenn ein Dieb einen roten Umschlag stiehlt, kann er diesen später verwenden, um Briefe zu fälschen.
- Der neue Weg: Sie verwenden einen magischen Drucker, der für jeden einzelnen Brief basierend auf der exakten Zeit, in der Sie den Knopf drücken, einen einzigartigen, nicht wiederholbaren Umschlag erstellt. Selbst wenn ein Dieb den Umschlag von Brief #1 stiehlt, ist er für Brief #2 nutzlos, da Brief #2 einen völlig anderen, unvorhersehbaren Umschlag hat.
Was die Forscher herausgefunden haben
Das Team hat diese neue „dynamische“ Methode gegen 16 verschiedene Arten von Hacker-Tricks auf einem leistungsstarken KI-Modell (Llama-3.3) getestet.
- Den „Leetspeak“-Trick stoppen: Ein spezieller Hacker-Trick (genannt M1) verwendet Geheimcodes und dringliche Sprache, um die KI zu verwirren.
- Vorher: Die KI fiel 88 % der Zeit darauf herein.
- Nachher: Die KI fiel nur noch 38 % der Zeit darauf herein. Das ist eine massive Verbesserung (mehr als doppelte Sicherheit).
- Den „Format Breakout“-Trick stoppen: Ein anderer Trick versucht, die KI dazu zu bringen, die Zaun-Markierungen an den Hacker zurückzugeben.
- Vorher: Die KI gab die Zaun-Markierungen 47 % der Zeit versehentlich preis.
- Nachher: Die KI gab sie 0 % der Zeit preis. Da der Zaun einzigartig für diesen einen Moment war, half die Preisgabe des Marks dem Hacker nicht bei zukünftigen Anfragen.
- Geschwindigkeit: Diese neue Methode ist unglaublich schnell. Sie fügt der Verarbeitung einer Anfrage nur 2,7 Mikrosekunden hinzu (ein winziger Bruchteil eines Blinzelns). Sie ist so schnell, dass man sie nicht einmal bemerken würde.
- Qualität: Die Fähigkeit des Roboters, seine eigentliche Arbeit zu erledigen (wie das Zusammenfassen von Texten oder das Beantworten von Fragen), hat sich nicht verschlechtert. Er arbeitete genauso gut wie zuvor.
Die eine Einschränkung (Limitierungen)
Der Bericht gibt zu, dass diese Methode eine Sache nicht beheben kann: Wenn ein Hacker der KI explizit den Befehl gibt: „Bitte wiederhole die Zaun-Markierungen an mich“, könnte die KI dies dennoch tun.
- Die Lösung: Die Forscher sagen, dass dies eine fundamentale Grenze der aktuellen Ebene ist. Um dies zu stoppen, bräuchte man einen zusätzlichen „Sicherheitswächter“ ganz am Ende, der die Antwort des Roboters überprüft, bevor sie herausgeht – das war jedoch nicht Teil dieser spezifischen Studie.
Zusammenfassung
Dieser Bericht führt eine Möglichkeit ein, KI-Agenten sicherer zu machen, indem man ihnen für jedes einzelne Gespräch einen frischen, einzigartigen, einmalig verwendbaren Zaun gibt. Wenn ein Hacker einen Zaun stiehlt, ist dieser nutzlos, da das nächste Gespräch einen völlig anderen Zaun haben wird. Es ist ein schnelles, leicht hinzuzufügendes Upgrade, das die Wahrscheinlichkeit, die KI zu täuschen, erheblich reduziert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.