First Line or Last Word: Where a Stored Order Sits in a Product Review and Whether a Web LLM Assistant Obeys It
Diese Arbeit zeigt auf, dass kurze, direkte Befehle in Produktbewertungen zwar erfolgreich die Löschung von Konten in lokalen LLMs auslösen können, das Einbetten solcher Befehle in eine vollständige Rezension – selbst am allerersten Anfang – jedoch fehlschlägt, den Effekt zu erzielen, da das Modell die Anweisung lediglich diskutiert oder zusammenfasst, anstatt ihr zu gehorchen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den digitalen Geschäften der Zukunft übernimmt eine neue Art von Angestellter den Tresen: ein künstlicher Intelligenz-Assistent, der Kundenbewertungen liest, um Käufern bei der Entscheidung zu helfen, was sie kaufen sollen. Diese Assistenten sind leistungsstark, aber sie haben einen gefährlichen Makel. Sie können durch „gespeicherte Injektionen“ (stored injections) getäuscht werden, also versteckte Anweisungen, die in gewöhnlichem Text platziert wurden. Stellen Sie sich vor, ein Kunde schreibt eine Bewertung über eine Lederjacke, schleicht aber mitten in den Text einen Befehl ein, der dem Computer sagt, das Konto einer bestimmten Person zu löschen. Wenn der Assistent diese Bewertung später liest, könnte er dem versteckten Befehl gehorchen, ohne zu merken, dass er manipuliert wird. Dies ist nicht nur ein technischer Fehler; es ist eine Sicherheitslücke, bei der ein Fremder ein einfaches Textfeld nutzen kann, um echten Schaden anzurichten, wie etwa die Identität eines Nutzers zu löschen, indem er einfach nur darauf wartet, dass der Computer seine Nachricht liest.
Forscher der Universität Lorestan machten sich daran zu verstehen, wie genau sich diese versteckten Befehle verhalten, wenn sie in einer realistischen, ausführlichen Bewertung vergraben sind. In einer früheren Studie hatten sie festgestellt, dass sehr kurze, schreihafte Bewertungen mit direkten Befehlen von einem kleinen, lokalen Computermodell sofort befolgt wurden, während ein größeres, gehostetes Modell sie ignorierte. Aber echte Bewertungen sind keine kurzen Schreie; sie sind Absätze voller Details über Passform, Reißverschlüsse und den Preis. Die Forscher wollten wissen, ob der Ort eines versteckten Befehls innerhalb eines normalen Absatzes entscheidend war. Erhält ein Befehl ganz oben in einer Bewertung mehr Aufmerksamkeit als einer in der Mitte oder am Ende? Schützt die Länge der Bewertung das System, oder verändert die Position des Tricks das Ergebnis?
Um dies zu beantworten, erstellte das Team ein kontrolliertes Experiment mit einem einfachen Online-Shop, der mit Standardsoftware gebaut wurde. Sie verwendeten zwei verschiedene Modelle künstlicher Intelligenz: ein kleines, das auf einem persönlichen Computer läuft, und ein größeres, das über einen Webdienst aufgerufen wird. Sie schrieben eine einzige, realistische Bewertung über eine Lederjacke, in der beschrieben wurde, wie das Leder mit der Zeit weicher wurde und wie die Größe eher klein ausfiel. In diesen festen Text pflanzten sie zwei Arten von versteckten Anweisungen ein. Die eine war ein direkter Befehl, der den Assistenten anwies, ein bestimmtes Benutzerkonto zu löschen. Die andere war eine Notiz, die vorgab, vom Moderationsteam zu stammen und den Assistenten aufforderte, dasselbe Konto zu löschen. Sie testeten diese Anweisungen dann an drei verschiedenen Positionen: ganz am Anfang der Bewertung, in der Mitte zwischen zwei Absätzen und ganz am Ende. Sie führten diesen Test insgesamt 84 Mal durch, wobei sie jedes Szenario dreimal wiederholten, um sicherzustellen, dass die Ergebnisse konsistent waren.
Die Ergebnisse waren eindeutig und überraschend einheitlich. In keinem der 84 Versuche gelang es dem versteckten Befehl, das Benutzerkonto zu löschen. Unabhängig davon, ob die Anweisung am Anfang, in der Mitte oder am Ende der Bewertung platziert war und ob es sich um einen direkten Befehl oder eine gefälschte Notiz handelte – die Computermodelle führten die Löschung nie aus. Die Länge und die Normalität der vollständigen Bewertung wirkten wie ein Schutzschild, der verhinderte, dass der Befehl ausgeführt wurde. Der Computer betrachtete den versteckten Satz schlichtweg nicht als eine gültige Anweisung zum Handeln, ungeachtet seiner Platzierung.
Die Position des Befehls änderte jedoch, wie der Computer darüber sprach. Als die direkte Anweisung ganz oben in der Bewertung platziert wurde, bemerkte das lokale Modell dies und diskutierte es in seiner Zusammenfassung, indem es erwähnte, dass ein Rezensent darum gebeten hatte, ein Konto zu bearbeiten. Doch als dieselbe Anweisung in die Mitte oder an das Ende verschoben wurde, ignorierte das Modell die Anweisung vollständig und fasste den Text nur als normale Bewertung über eine Jacke zusammen. Der versteckte Befehl am Ende wurde so behandelt, als wäre er lediglich Teil der Geschichte über das Leder und die Reißverschlüsse. Das größere, webbasierte Modell war noch resistenter; es weigerte sich in fast allen Fällen, den Befehl auszuführen, und erklärte in einem einzigen Fall explizit, dass es eine Anfrage zur Löschung eines Kontos innerhalb einer Bewertung gesehen habe und dieser nicht nachkommen werde.
Diese Studie zeigt eine entscheidende Nuance in der Art und Weise auf, wie diese Systeme Informationen verarbeiten. Während das Vergraben eines Befehls in einer langen Bewertung es zwar nicht davor bewahrt, gesehen zu werden, macht es ihn jedoch unwirksam darin, Schaden anzurichten. Die Forscher fanden heraus, dass für einen Befehl die Rezension kurz sein und wie eine direkte Nachricht aussehen musste, damit er funktionierte. Sobald der Text zu einer normalen, absatzlangen Bewertung wurde, verlagerte sich der Fokus des Computers auf das Thema des Produkts, und die versteckte Anweisung ging in den Details verloren. Die einzige Verteidigung, die wirklich funktionierte, war die Tatsache, dass der Computer gar nicht erst die Macht hatte, Konten zu löschen. Die Studie kommt zu dem Schluss, dass das Verstecken eines Befehls in einer langen Bewertung zwar verhindern kann, dass er ausgeführt wird, aber nicht verhindert, dass der Computer ihn liest. Sich darauf zu verlassen, dass die Länge einer Rezension ein System schützt, ist ein gefährliches Wagnis. Die wahre Sicherheit liegt darin, was der Computer tun darf, und nicht in der Hoffnung, dass die versteckte Nachricht im Rauschen untergeht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.