In der modernen digitalen Welt sind leistungsstarke Systeme der künstlichen Intelligenz aus den Forschungslaboren in die alltäglichen Werkzeuge gewandert, die wir zum Schreiben, Programmieren und Erstellen von Bildern verwenden. Diese Systeme, die als Large Language und Vision-Language Models bekannt sind, werden oft durch ihr internes „Gehirn“ beschrieben – die massive Sammlung von Zahlen und Mustern, die sie während des Trainings gelernt haben. Jahrelang haben sich Sicherheitsexperten darauf konzentriert, dieses Gehirn zu schützen, indem sie sicherstellten, dass die Trainingsdaten nicht vergiftet wurden und das Modell selbst nicht heimlich verändert wurde. Sie haben starke Abwehrmechanismen aufgebaut, um die Gewichte des Modells zu verifizieren und gefährliche Anweisungen, die direkt an es gesendet werden, herauszufiltern. Diese Systeme operieren jedoch nicht im Vakuum. Bevor die Frage eines Nutzers das Modell erreicht und nachdem das Modell eine Antwort generiert hat, gibt es eine Softwareebene, die als Übersetzer und Verwalter fungiert. Diese Schicht, die oft als „Wrapper“ bezeichnet wird, nimmt die Eingabe des Nutzers entgegen, formatiert sie in eine spezifische Struktur, die das Modell versteht, und verarbeitet dann die Rohantwort in eine fertige, polierte Antwort. Neben dieser Software befinden sich Konfigurationsdateien, die wie Bedienungsanleitungen wirken und dem Wrapper sagen, wie er sich zu verhalten hat. Während das Gehirn des Modells streng bewacht wird, blieb diese umgebende Software und ihre Bedienungsanleitungen weitgehend ungeschützt und wurde eher als einfache, editierbare Textdatei denn als kritische Sicherheitskomponente behandelt.

Ein Team von Forschern der University of Central Florida hat eine verborgene Schwachstelle in dieser übersehenen Schicht aufgedeckt. Sie demonstrierten, dass ein böswilliger Entwickler ein täuschend echtes Paket erstellen könnte, bei dem das Modell selbst vollkommen sicher und unverändert ist, aber der Wrapper und seine Konfigurationsdateien manipuliert sind, um das Verhalten des Systems zu ändern. Die Forscher zeigten, dass man durch die Kombination eines harmlos aussehenden Software-Wrappers mit einer sorgfältig gestalteten Konfigurationsdatei das System dazu zwingen kann, seine Ausgabe in eine spezifische, vorhersehbare Weise zu ändern, ohne jemals den Kerncode des Modells zu berühren. Dieser Angriff beruht auf einem „konjunktiven“ Mechanismus, was bedeutet, dass zwei separate Bedingungen gleichzeitig erfüllt sein müssen, damit der Trick funktioniert. Eine Bedingung ist ein versteckter Marker, der unsichtbar in den Code des Wrappers eingebettet ist, und die andere ist eine kryptografische Signatur, die in der Konfigurationsdatei gespeichert ist. Keines der beiden Teile allein reicht aus, um die Änderung auszulösen; sie müssen zusammen vorliegen. Dieses Design macht den Angriff unglaublich schwer zu entdecken, da ein Sicherheitsscan, der nur nach dem Code sucht, nichts Verdächtiges finden würde, und ein Scan, der nur die Konfigurationsdatei betrachtet, nur eine Folge von zufällig aussehenden Zahlen sehen würde.

Um zu testen, wie weit verbreitet diese Schwachstelle sein könnte, bauten die Forscher ein kontrolliertes Experiment mit fünfzehn verschiedenen Systemen der künstlichen Intelligenz auf, die von Open-Source-Modellen, die jeder herunterladen kann, bis hin zu geschlossenen Systemen, die über kommerzielle APIs abgerufen werden, reichten. Sie setzten diese Modelle mit dem manipulierten Wrapper und den Konfigurationsdateien ein und beobachteten, was geschah, wenn Nutzer Fragen stellten. Die Ergebnisse waren konsistent und präzise: In jedem einzelnen Fall, wenn die beiden Bedingungen erfüllt waren, führte das System die versteckte Anweisung aus. Der Wrapper nahm die normale, korrekte Antwort des Modells und setzte einen Banner voran oder modifizierte den Text, bevor er dem Nutzer angezeigt wurde. Das Modell selbst hatte seine Meinung oder sein Wissen nicht geändert; es war lediglich vom Wrapper angewiesen worden, die Antwort anders anzuzeigen. Die Forscher fanden heraus, dass diese Manipulation bei textbasierten Aufgaben, komplexen Denkproblemen und sogar bei Vision-Language-Aufgaben, bei denen das Modell Bilder betrachtet, funktionierte. Der Angriff war so effektiv, dass er von Standard-Sicherheitstools, die nach bösartigem Code suchen oder bekannte schlechte Muster scannen, unentdeckt blieb, da der Auslöser kein Stück schlechter Code war, sondern eine logische Kombination aus einem versteckten Marker und einer passenden Datei-Signatur.

Die Studie untersuchte auch, wie gut aktuelle Abwehrmechanismen diesen Typ von Angriff stoppen könnten. Die Forscher testeten mehrere bestehende Sicherheitsmaßnahmen, darunter Tools, die Metadaten-Dateien scannen, Systeme, die Nutzer-Prompts filtern, und Methoden, die digitale Artefakte signieren, um deren Authentizität zu beweisen. Sie fanden heraus, dass die meisten dieser Abwehrmechanismen die konjunktive Vergiftung nicht erfassen konnten. Scanner, die nur die Konfigurationsdateien betrachteten, übersahen den versteckten Marker im Code, und Scanner, die nur den Code betrachteten, übersahen die kryptografische Signatur in den Dateien. Selbst Tools, die die Gewichte des Modells signieren, halfen nicht, da der Angriff im Wrapper und in den Konfigurationsdateien stattfand, die oft unsigniert waren oder als getrennt vom Hauptmodell-Paket behandelt wurden. Der einzige Weg, den Angriff in ihren Tests vollständig zu stoppen, bestand darin, das gesamte Bündel – das Modell, den Wrapper und die Konfigationsdateien zusammen – zu signieren und zu verifizieren, dass keines davon seit der Signierung verändert wurde. Ohne diese vollständige Verifizierung blieb das System anfällig für diese subtile Form der Manipulation.

Um diese Lücke zu schließen, schlugen die Forscher einen neuen Abwehrmechanismus vor, der „Template Integrity Filter with Behavioral Attestation Header“ genannt wird. Dieses System fungiert als Gatekeeper, der während des Betriebs neben dem Modell läuft. Bevor der Wrapper eine Antwort verarbeiten darf, prüft das System den Code des Wrappers gegen eine vertrauenswürdige, vorab genehmigte Version, um sicherzustellen, dass er nicht manipuliert wurde. Wenn der Code mit der vertrauenswürdigen Version übereinstimmt, erlaubt das System den Prozess fortzusetzen; wenn er nicht übereinstimmt, blockiert das System die Aktion und kehrt zu einer sicheren, unveränderten Ausgabe zurück. Zusätzlich zeichnet dieses System für jede Interaktion einen kleinen Log-Eintrag auf, der genau notiert, welche Version des Wrappers verwendet wurde und welche Entscheidung getroffen wurde. Dies schafft ein dauerhaftes Protokoll, das später geprüft werden kann, um zu sehen, ob unbefugte Änderungen vorgenommen wurden. Die Forscher fanden heraus, dass das Hinzufügen dieser Schutzschicht die Geschwindigkeit des Systems fast gar nicht beeinflusste und weniger als einen halben Prozentwert zur Generierungszeit einer Antwort hinzufügte, was sie zu einer praktischen Lösung für reale Anwendungen macht.

Die Implikationen dieser Arbeit gehen über das bloße Finden eines neuen Fehlers hinaus; sie verschiebt grundlegend die Art und Weise, wie wir über die Sicherung künstlicher Intelligenz denken sollten. Lange Zeit ging die Branche davon aus, dass das System sicher ist, wenn das Gehirn des Modells sicher ist. Diese Forschung zeigt, dass der „Körper“ des Systems – die Software, die das Modell umschließt, und die Dateien, die ihm sagen, wie es sich zu verhalten hat – ebenso kritisch ist. Ein Angreifer muss nicht in die Trainingsdaten des Modells einbrechen oder dessen interne Logik umschreiben. Er muss nur eine versteckte Anweisung in den Wrapper schmuggeln und einen passenden Schlüssel in die Konfigurationsdatei legen. Dies ist vergleichbar damit, wie ein vertrauenswürdiger Koch eine Rezeptur erhalten könnte, die völlig normal aussieht, aber eine geheime Anweisung enthält, eine bestimmte Gewürzmischung nur dann hinzuzufügen, wenn ein bestimmter Inhaltsstoff in der Speisekammer vorhanden ist; der Koch folgt dem Rezept perfekt, aber das fertige Gericht wird durch die Anweisungen verändert, nicht durch die eigenen Entscheidungen des Kochs. Die Forscher betonen, dass ihre Experimente zwar harmlose Änderungen wie das Hinzufügen eines Banners oder eines Disclaimers verwendeten, derselbe Mechanismus jedoch dazu genutzt werden könnte, gefährliche Anweisungen zu verbergen, Empfehlungen zu verändern oder Zitate auf eine Weise zu manipulieren, die für den Nutzer unsichtbar ist.

Die Studie kommt zu dem Schluss, dass die Templateschicht, in der Wrapper und Konfigurationsdateien existieren, ein kritischer, aber unterprotektiver Teil der Lieferkette der künstlichen Intelligenz ist. Da diese Systeme immer stärker in unser tägliches Leben integriert werden und wir uns auf sie für alles verlassen, vom Kundenservice bis hin zum medizinischen Rat, muss die Integrität des gesamten Deployment-Pakets verifiziert werden, nicht nur des Modells selbst. Die Forscher haben ihren Code und ihre Tools zur Verfügung gestellt, um anderen Entwicklern zu helfen, ihre eigenen Systeme auf diese Schwachstelle zu testen. Durch das Aufzeigen dieser spezifischen Schwäche hoffen sie, die Entwicklung neuer Standards anzuregen, die Wrapper-Code und Konfigurationsdateien mit der gleichen Sorgfalt und dem gleichen Schutz behandeln wie die Modellgewichte selbst, um sicherzustellen, dass das Verhalten, das die Nutzer sehen, tatsächlich das ist, was das Modell zu produzieren beabsichtigte.