Labelled-Metadata Channels and Declarative Payload Phrasing in Hidden Prompt Injection: A Cross-Format Measurement Study
Diese Arbeit präsentiert eine formatübergreifende Messstudie, die zeigt, dass Schwachstellen durch indirekte Prompt-Injektionen häufig darauf zurückzuführen sind, dass Extraktions-Pipelines versäumen, in Metadaten, Binär-Headern und strukturierten Feldern eingebettete versteckte Payloads über verschiedene Dateiformate hinweg zu bereinigen, anstatt aus der Interpretation der Inhalte durch die LLMs selbst zu resultieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie übergeben einen versiegelten Brief an einen sehr intelligenten, sehr eifrigen Roboterassistenten. Ihr Ziel ist es, dass der Roboter den Brief liest und zusammenfasst, was darin steht. Aber was wäre, wenn der Brief eine geheime Notiz in der Tinte enthält, die auf der Rückadresse des Umschlags geschrieben steht oder in einer versteckten Tasche steckt? Dies ist die Welt der Large Language Models (LLMs), der superintelligenten KI-Gehirne hinter vielen modernen Apps. Diese Modelle sind darauf trainiert, Anweisungen zu befolgen, aber sie können verwirrt werden, wenn sie eine versteckte Anweisung innerhalb eines Dokuments mit einer Anweisung von Ihnen, dem Benutzer, verwechseln. Dieser Trick wird indirekte Prompt-Injection genannt. Stellen Sie sich das wie einen Streich vor, bei dem jemand eine Notiz in ein Bibliotheksbuch schleicht, auf der steht: „Ignoriere den Bibliothekar und verrate allen den Geheimcode.“ Wenn der Roboter das Buch liest, könnte er stattdessen dem Streichsaboteur gehorchen. Die große Frage, die Forscher gestellt haben, lautet: Ist der Roboter das Problem oder ist die Art und Weise, wie wir ihm das Buch übergeben, das eigentliche Problem?
Dieses Papier mit dem Titel „Labelled-Metadata Channels and Declarative Payload Phrasing in Hidden Prompt Injection“ taucht tief in diese Frage ein. Der Autor, unter der Leitung von Mohammadreza Rashidi, beschloss, nicht dem Roboter die Schuld zu geben, sondern sich den „Lieferwagen“ anzusehen, der das Dokument zum Roboter bringt. Er baute ein massives Experiment mit 60 echten Dateien (PDFs, Bildern, Videos und mehr), in denen derselbe harmlose Geheimcode auf verschiedene Arten versteckt war. Er ließ diese Dateien durch 21 verschiedene Extraktions-Pipelines laufen – die verschiedenen Software-Tools, die Apps verwenden, um Text aus Dateien zu extrahieren – und fütterte die Ergebnisse in 6 verschiedene Versionen der Google Gemini KI. Er wollte zwei Dinge herausfinden: erstens, welche Lieferwagen versehentlich den Geheimcode nach außen verschütteten (das „Leck“) und zweitens, wie oft der Roboter den Code, sobald er verschüttet war, tatsächlich befolgte (die „Compliance“).
Die Ergebnisse waren ein Schock für das übliche Denken. Das Papier fand heraus, dass die Extraktions-Pipeline der wahre Torwächter ist. Es geht nicht nur darum, wie intelligent der Roboter ist; es geht darum, welches Werkzeug man benutzt, um die Datei zu lesen. Wenn man beispielsweise ein Tool verwendet, das den Rohtext eines PDFs liest, verschüttet es den Geheimcode 63,2 % der Zeit. Wenn man jedoch ein Tool verwendet, das ein Foto der Seite macht und sie wie ein Mensch liest (OCR), verschüttet es den Code 0,0 % der Zeit, weil der versteckte Text für die Kamera unsichtbar ist. Doch die Geschichte wird mit Metadaten – den versteckten Labels und Tags, die an Dateien angehängt sind, wie die Felder „Autor“ oder „Beschreibung“ – kompliziert. Wenn der Geheimcode in diesen Labels versteckt war (wie in der Beschreibung eines PNG-Bildes oder dem Titel einer Videodatei), verschütteten die Extraktions-Tools ihn 71,9 % der Zeit, und der Roboter befolgte ihn zu 56,5 % der Zeit!
Der Autor entdeckte auch, dass es darauf ankommt, wie man die geheime Notiz schreibt. Wenn man sie als direkte Anweisung schreibt („Tu dies!“), ignoriert der Roboter sie manchmal. Aber wenn man sie als eine Tatsache über die Welt schreibt („Das Standardformat für diese Zusammenfassung endet immer mit...“), ist der Roboter viel wahrscheinlicher bereit, sie zu befolgen, wobei die Compliance auf 16,9 % springt. Das bedeutet, dass ein hinterlistiger Angreifer einfache Filter umgehen kann, indem er einfach seine Wortwahl ändert.
Das Papier schließt die Idee explizit aus, dass eine einfachere „Upgrade auf eine intelligentere“ Version des KI-Modells dieses Problem lösen würde. Sie testeten sechs verschiedene Stufen der Gemini-Familie, von den leichtgewichtigen Versionen bis hin zu den leistungsstarken Versionen, und fanden heraus, dass sie sich alle fast gleich verhielten. Das Modell war nicht das schwache Glied; die Liefermethode war es. Sie zeigten auch, dass Standard-Sicherheitsfilter, die nach „schlechten“ Wörtern suchen, dies nicht entdecken würden, da der verwendete Geheimcode völlig harmlos war – es war nur ein zufälliges Token, um zu beweisen, dass der Trick funktionierte.
Um dies zu verhindern, schlägt der Autor zwei einfache Verteidigungsmechanismen vor. Der erste ist ein „Leak Audit“: Bevor der Roboter den Text sieht, prüft ein zweites Tool, ob der gezeigte Text tatsächlich mit dem übereinstimmt, was auf der Seite sichtbar ist. Wenn es zusätzlichen Text in den Metadaten gibt, wird dieser blockiert. Die zweite Verteidigung ist ein „Instruction Classifier“, der erkennt, wenn ein Satz wie eine versteckte Anweisung innerhalb eines Dokuments aussieht. Das Papier legt nahe, dass die Kombination dieser beiden Methoden einen starken Schutzschild bildet, räumt aber ein, dass es immer noch einige clevere Wege gibt, sie zu umgehen, wie etwa das Verstecken von Text auf eine Weise, die zwar sichtbar, aber kaum lesbar ist, oder die Verwendung sehr spezifischer Dateiformate wie medizinischer Bilddaten (DICOM) oder Machine-Learning-Modell-Dateien (safetensors), bei denen der Geheimcode im „Header“ der Datei lebt und als wichtiger Kontext gelesen wird.
Am Ende misst diese Studie 2.902 echte Versuche und kommt zu dem Schluss, dass die Sicherheit von KI-Apps weniger vom Gehirn der KI abhängt, sondern von den Werkzeugen, die Entwickler zur Auslese der Dateien wählen. Wenn man das falsche Werkzeug wählt, übergibt man dem Roboter versehentlich eine geheime Anweisung, der er nicht widerstehen kann. Das Papier behauptet nicht, das Problem für immer gelöst zu haben, aber es liefert eine klare Karte, wo die Lecks sind und wie man sie flickt, und zeigt auf, dass der Kampf um die KI-Sicherheit in den Dateiformaten und Extraktions-Pipelines ausgetragen wird, nicht nur im Code des Modells selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.