Hiding in Plain Floats: Steganographic Carriers for Indirect Prompt and Content Injection
Diese Arbeit zeigt auf, dass indirekte Prompt-Injection-Angriffe textbasierte Abwehrmechanismen umgehen können, indem sie bösartige Payloads als strukturierte Fließkomma-Parameter kodieren, wodurch eine kritische Versagensgrenze in aktuellen LLM-Sicherheits-Pipelines offengelegt wird, die sich ausschließlich auf Textinspektion verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Kernproblem: Der „Text-nur“-Blinde Fleck
Stellen Sie sich vor, Sie sind ein Sicherheitswachmann in einer Hightech-Fabrik. Ihre Aufgabe ist es, böswillige Akteure daran zu hindern, gefährliche Anweisungen in den Hauptcomputer der Fabrik (das Large Language Model oder LLM) zu schmuggeln.
Derzeit funktionieren die meisten Sicherheitssysteme wie eine Rechtschreibprüfung. Sie scannen jedes Dokument, jede E-Mail oder jede Nachricht nach verdächtigen Wörtern wie „Ignoriere vorherige Anweisungen“ oder „Lösche alle Dateien“. Wenn sie diese Wörter finden, blockieren sie die Nachricht. Das funktioniert hervorragend, wenn der Bösewicht seine bösartige Anweisung in klarem Englisch schreibt.
Aber was ist, wenn der Bösewicht die Anweisung nicht in Worten schreibt? Was ist, wenn er sie in einer Liste von Zahlen versteckt, die wie harmlose technische Daten aussieht? Die Rechtschreibprüfung scannt die Zahlen, findet keine verdächtigen Wörter und lässt die Daten passieren. Bis der Computer diese Zahlen verarbeitet, ist die versteckte Nachricht enthüllt und der Schaden ist bereits angerichtet.
Diese Arbeit untersucht genau diese Sicherheitslücke. Die Autoren nennen dies „Indirect Prompt Injection“ (Indirekte Prompt-Injektion).
Die Analogie: Die unsichtbare Tinte im Tabellenblatt
Stellen Sie sich das LLM als einen Koch vor, der Rezepte erhält.
- Normaler Angriff: Jemand reicht dem Koch einen Zettel, auf dem steht: „Verbrenne die Suppe.“ Der Sicherheitswachmann sieht den Zettel, liest „Verbrenne die Suppe“ und stoppt ihn.
- Der Angriff aus dieser Arbeit: Der Angreifer reicht dem Koch ein Tabellenblatt mit Zutengewichten (z. B. 0,45 kg Salz, 0,82 kg Pfeffer). Für den Sicherheitswachmann sieht das nach langweiliger Mathematik aus. Es gibt keine Wörter wie „verbrennen“ oder „zerstören“. Also lässt der Wachmann es passieren.
Der Koch hat jedoch eine spezielle Regel: „Wenn du dieses spezifische Muster von Gewichten siehst, bedeutet das eigentlich: ‚Verbrenne die Suppe‘.“ Der Koch liest die Zahlen, dekodiert die versteckte Nachricht und befolgt die böswillige Anweisung.
Die Arbeit zeigt, dass die aktuellen Sicherheitswachleute blind dafür sind, weil sie nur nach Wörtern suchen, nicht nach Mustern in Zahlen.
Wie sie die Nachricht versteckten (Die „Steganographie“)
Die Forscher entwickelten zwei Wege, um bösartigen Text in harmlos aussehende Zahlen zu verstecken. Sie nennen diese „Träger“ (Carriers).
- Träger T2 (Der Dezimal-Verstecker):
Stellen Sie sich vor, Sie möchten den Buchstaben „A“ (die Zahl 65 im Computercode) verstecken. Sie nehmen eine normale Zahl wie0,46und ändern sie in0,46065. Für einen Menschen sieht das immer noch wie eine normale Dezimalzahl aus. Aber wenn man weiß, dass man auf die letzten drei Stellen achten muss, findet man „65“ (A).
- Warum es scheiterte: Als der Computer diese Zahlen verarbeitete, wandelte er sie zurück in klaren Text. Die Rechtschreibprüfung sah den klaren Text, erkannte die Gefahr und blockierte ihn.
- Träger T3 (Die Fraktal-Karte – Der Gewinner):
Das ist der clevere Teil. Sie verwendeten ein mathematisches Konzept namens Iterated Function System (IFS). Denken Sie an das Zeichnen einer fraktalen Form (wie eine Schneeflocke), indem man einem Satz von Regeln folgt.
- Der Angreifer nimmt seine geheime Nachricht und wandelt sie in einen Pfad auf einem Graphen um.
- Er speichert die X- und Y-Koordinaten dieses Pfades als zwei Listen von Gleitkommazahlen (Dezimalzahlen).
- Um es noch harmloser aussehen zu lassen, fügt er „Rauschen“ (zufälliges Zittern) hinzu und mischt die Reihenfolge der Zahlen.
- Das Ergebnis: Die Zahlen sehen aus wie zufälliges Rauschen oder harmlose Sensordaten. Es gibt keine Wörter. Es gibt kein offensichtliches Muster. Es ist nicht einmal ersichtlich.
Das Experiment: Hat es funktioniert?
Die Forscher testeten dies gegen drei große KI-Modelle (von OpenAI, Google und Anthropic) und setzten starke Sicherheitsverteidigungen ein, darunter:
- Prompt Guard 2: Ein spezialisiertes KI-Schild, das darauf ausgelegt ist, schlechte Prompts abzufangen.
- TF-IDF & RoBERTa: Fortgeschrittene Textscanner, die auf die spezifischen schlechten Phrasen des Angriffs trainiert wurden.
Die Ergebnisse:
- Plain Text Attack (Angriff in Klartext): Zu 100 % blockiert. Die Scanner sahen die Wörter und stoppten den Angriff.
- Carrier T3 (Die Fraktal-Zahlen): 94,3 % Erfolgsrate.
- Die Sicherheitsscanner betrachteten die Rohzahlen und sahen nichts Verdächtiges.
- Die Scanner betrachteten den fertigen Bericht (der die dekodierte Nachricht als Hexadezimal-Dump zeigte, wie z. B.
41 42 43...) und stuften ihn dennoch nicht als „Prompt Injection“ ein, da er nicht wie ein Satz aussah. - Das KI-Modell erhielt die Daten, dekodierte die versteckte Nachricht und befolgte die bösartige Anweisung.
Warum das wichtig ist (Die „Versagensgrenze“)
Die Autoren sagen nicht, dass sie einen unknackbaren Hack gefunden haben. Sie sagen, dass sie einen blinden Fleck in der Art und Weise gefunden haben, wie wir aktuelle KI-Systeme schützen.
- Der blinde Fleck: Wir gehen davon aus, dass eine Nachricht bösartig ist, wenn sie bösartige Wörter enthält.
- Die Realität: Wenn das bösartige Signal in strukturierten Daten (wie Zahlen, Koordinaten oder Konfigurationen) versteckt ist, die erst nach der Sicherheitsprüfung in Text umgewandelt werden, wird der Wachmann umgangen.
Der Haken (Es ist nicht perfekt)
Die Arbeit gibt zu, dass diese spezifische Methode (T3) gestoppt werden kann, wenn man die Regeln ändert:
- Semantische Validierung: Wenn das System prüft: „Bilden diese Zahlen tatsächlich eine gültige Fraktalform?“, wird es den Angriff entdecken, da die gemischten Zahlen keine echte Form ergeben.
- Format-Erkennung: Wenn das System sagt: „Ich erlaube keine Hexadezimal-Dumps in diesem Bericht“, wird es den Output blockieren.
Der Punkt ist jedoch, dass Text-nur-Scanner (die häufigste Verteidigung) völlig versagten. Sie hatten keine Ahnung, dass der Angriff stattfand, weil die „bösen Wörter“ während der Inspektionsphase niemals als Wörter sichtbar waren.
Zusammenfassung in einem Satz
Die Arbeit zeigt, dass KI-Sicherheitssysteme, die sich nur auf das Scannen nach schlechten Wörtern konzentrieren, getäuscht werden können, indem man bösartige Anweisungen in harmlos aussehenden Zahlen versteckt, die erst nach der Sicherheitsprüfung in lesbaren Text dekodiert werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.