Security Assessment of DeepSeek Harness with A.I.G: Evaluating Resistance to Indirect Prompt Injection
Dieses Papier präsentiert eine umfassende Sicherheitsbewertung von DeepSeek Harness gegenüber indirekten Prompt-Injection-Angriffen unter Verwendung des AI-Infra-Guard-Frameworks, die spezifische Schwachstellen über verschiedene Kanäle und Payloads hinweg aufzeigt und gleichzeitig Kontrollen vorschlägt, um Risiken zwischen vertrauenswürdigen Inhalten und sensiblen Aktionen zu mindern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen digitalen Welt fungieren intelligente Software-Agenten als Assistenten, die E-Mails lesen, Websites durchsuchen, Dokumente öffnen und verschiedene Werkzeuge nutzen können, um Aufgaben für ihre Nutzer zu erledigen. Diese Programme sind darauf ausgelegt, hilfreich zu sein, stehen jedoch einer einzigartigen Schwachstelle gegenüber, die als indirekte Prompt-Injection bekannt ist. Im Gegensatz zu einem direkten Befehl, den ein Nutzer gibt, tritt dieser Angriff auf, wenn der Agent Inhalte liest, die von jemand anderem erstellt wurden – wie etwa eine Webseite, eine Datei oder eine Nachricht eines Dritten –, die heimlich versteckte Anweisungen enthalten. Wenn der Agent diesen versteckten Anweisungen folgt, anstatt der ursprünglichen Anfrage des Nutzers, kann er gefährliche Aktionen ausführen, wie das Versenden privater Daten, das Überweisen von Geld oder das Ausführen von Befehlen auf einem Computer. Die Kernfrage für Sicherheitsforscher ist nicht nur, ob ein Agent durch einen einzelnen schlechten Satz getäuscht werden kann, sondern ob das gesamte System sicher bleibt, wenn es einen stetigen Strom von realen Informationen aus nicht vertrauenswürdigen Quellen verarbeitet.
Ein Team von Forschern des Tencent Zhuque Labs setzte sich zum Ziel, genau zu messen, wie anfällig ein solches System, genannt DeepSeek Harness, für diese versteckten Anweisungen ist. Sie entwickelten eine spezialisierte Testumgebung, die es ihnen ermöglichte, tausende von Szenarien sicher zu simulieren, in denen ein Agent potenziell gefährliche Inhalte lesen und dann entscheiden musste, was er als Nächstes tut. Anstatt zu versuchen, echte Computer zu hacken oder tatsächliche E-Mails zu versenden, schufen sie ein kontrolliertes Labor, in dem die vom Agent verwendeten „Werkzeuge“ harmlose Simulationen waren, die lediglich aufzeichneten, was der Agent zu tun versuchte. Dieser Aufbau ermöglichte es ihnen, den Entscheidungsprozess des Agenten zu beobachten, ohne realen Schaden anzurichten. Sie testeten das System in 14.560 verschiedenen Situationen unter Verwendung einer Vielzahl von Inhaltstypen, darunter Webseiten, PDFs, E-Mails und sogar versteckte Zeichen, die für das menschliche Auge unsichtbar, aber für den Computer sichtbar sind.
Die Ergebnisse dieses massiven Experiments zeigten, dass das System tatsächlich anfällig für diese Angriffe ist, aber die Gefahr hängt stark davon ab, wie die Informationen präsentiert werden. Wenn die Forscher einfachen Text verwendeten, um die versteckten Anweisungen zu übermitteln, folgte der Agent den bösartigen Befehlen in etwa 17 Prozent der Fälle. Wenn sie jedoch Dateien verwendeten, wie etwa Dokumente mit versteckter Formatierung oder speziellen Zeichen, stieg die Erfolgsrate der Angriffe signifikant an und erreichte bei bestimmten Dateitypen bis zu 25 Prozent. Eine der beeindruckendsten Erkenntnisse war, dass die Art und Weise, wie Daten im Computer gespeichert und gelesen werden, wichtiger ist als der Inhalt selbst. Beispielsweise war eine Art versteckter Anweisung mittels unsichtbarer Unicode-Zeichen völlig wirkungslos, wenn sie als Klartext präsentiert wurde (mit einer Erfolgsrate von null Prozent), wurde aber hocheffektiv, wenn sie in einer Datei eingebettet war, wo der Dateileseprozess des Computers die versteckte Anweisung versehentlich dem Agenten aussetzte.
Die Studie hob auch hervor, dass die Art der Aufgabe, die der Agent auszuführen versuchte, das Risikoprofil veränderte. Wenn das Ziel darin bestand, lediglich den Text zu ändern, den der Agent in seiner Antwort schrieb, wurde der Agent viel häufiger getäuscht, wobei die Erfolgsraten für bestimmte Arten von versteckten Anweisungen fast 36 Prozent erreichten. Wenn das Ziel jedoch eine konkrete, sensible Aktion erforderte, wie das Versenden einer E-Mail oder das Überweisen von Geldern, sank die Erfolgsrate auf nur 2,5 Prozent. Dies deutet darauf hin, dass der Konversationsstil des Agenten leicht manipuliert werden kann, die Sicherheitsvorkehrungen des Systems jedoch etwas besser darin sind, tatsächliche schädliche Handlungen zu verhindern, wenngleich sie noch lange nicht perfekt sind. Die Forscher fanden heraus, dass der Agent am leichtesten getäuscht wurde, wenn er „Skills“ oder wiederverwendbare Werkzeuge las, die Teil seines eigenen Toolkits waren, wobei die Erfolgsraten der Angriffe im Dateimodus auf über 16 Prozent stiegen. Dies deutet darauf hin, dass genau die Komponenten, die den Agenten leistungsfähiger machen sollen, auch zum schwächsten Glied werden können, wenn sie nicht sorgfältig geprüft werden.
Um zu verstehen, warum diese Fehler auftraten, untersuchten die Forscher den Code, der den Agenten steuert. Sie entdeckten, dass das System spezifische Punkte besitzt, an denen es Informationen aus einem Werkzeug, wie etwa einem Suchergebnis oder einem Dokument, übernimmt und diese zurück in das Gedächtnis des Agenten einspeist, um ihm bei der Planung seines nächsten Schritts zu helfen. Genau an dieser Stelle schlüpfen die versteckten Anweisungen hinein. Der Agent sieht den bösartigen Text als ein weiteres Stück Information an, das er berücksichtigen muss, anstatt als einen Befehl, den er ignorieren sollte. Die Studie zeigte, dass das System nicht inhärent weiß, dass es Inhalte aus einer nicht vertrauenswürdigen Quelle als gefährliche Daten und nicht als einen Satz von Anweisungen behandeln muss. Die Forscher kamen zu dem Schluss, dass die Lösung dieses Problems mehr erfordert als nur dem Agenten zu sagen, er solle vorsichtig sein; es erfordert den Aufbau spezifischer Barrieren in der Software, die unvertrauenswürdige Daten vom Entscheidungsprozess des Agenten trennen. Sie schlugen vor, dass Entwickler Prüfungen hinzufügen müssen, die die Quelle der Information verifizieren, bevor sie verwendet wird, und sicherstellen müssen, dass sensible Aktionen, wie das Versenden von Geld oder das Ausführen von Befehlen, eine explizite Genehmigung erfordern, die nicht auf der Interpretation eines potenziell vergifteten Dokuments durch den Agenten beruht.
Die Forscher verglichen auch zwei verschiedene Wege, um zu beurteilen, ob ein Angriff erfolgreich war. Eine Methode nutzte strikte, regelbasierte Prüfungen, um zu sehen, ob der Agent exakt die angeforderte Aktion ausführte, während die andere eine flexiblere, sprachbasierte Evaluierung nutzte, um zu sehen, ob sich das Verhalten des Agenten in bedeutsamer Weise änderte. Sie fanden heraus, dass die flexiblere Methode viel mehr Fälle von Problemen identifizierte und Fälle entdeckte, in denen der Agent offensichtlich durch die versteckten Anweisungen beeinflusst wurde, selbst wenn er die vollständige Aufgabe nicht ausführte. Dies deutet darauf hin, dass aktuelle Sicherheitstests das Risiko unterschätzen könnten, da sie zu sehr darauf fokussiert sind, ob die endgültige Aktion stattfand, anstatt darauf, ob das Denken des Agenten bereits kompromittiert wurde. Das Team betonte, dass Sicherheit keine einmalige Prüfung sein kann; während sich diese Systeme entwickeln und neue Werkzeuge hinzugefügt werden, muss der Pfad von unvertrauenswürdigem Inhalt zu einer gefährlichen Aktion kontinuierlich getestet werden. Ihre Arbeit bietet einen klaren Fahrplan für Entwickler, um sicherere Agenten zu bauen, indem sie jedes Stück externer Information als potenzielle Bedrohung behandeln, bis sie verifiziert wurde, um sicherzustellen, dass die hilfreichen Assistenten der Zukunft nicht zu ungewollten Komplizen digitaler Angriffe werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.