Adversarial Entropy Inflation Against Gumbel-Based Inference Verification

In der rasant expandierenden Welt der künstlichen Intelligenz sind große Sprachmodelle zu wertvollem geistigem Eigentum geworden, ähnlich wie ein geheimes Rezept oder ein proprietärer Bauplan. Da diese Modelle so wertvoll sind, wächst die Angst, dass böswillige Akteure den zugrunde liegenden Code, bekannt als Gewichte (Weights), stehlen könnten, indem sie das System dazu verleiten, seine internen Berechnungen während des normalen Gebrauchs preiszugeben. Um dies zu verhindern, hat ein Forscher eine Methode der Verifizierung entwickelt, die wie ein Sicherheitskontrollpunkt fungiert. Dieses System prüft, ob die Entscheidungen, die ein Modell bei der Generierung von Text trifft, mit einem spezifischen, gemeinsamen geheimen Schlüssel übereinstimmen. Das System erlaubt ein kleines Maß an natürlichem Fehler und erkennt an, dass Computerhardware nicht perfekt präzise ist und manchmal winzige, zufällige Fehler macht, wenn sie sich zwischen zwei sehr ähnlichen Optionen entscheiden muss. Diese eingebaute Fehlertoleranz soll ein Sicherheitsmerkmal sein, um sicherzustellen, dass ehrliche Nutzer nicht fälschlicherweise beschuldigt werden, gegen Regeln zu verstoßen, nur weil ihr Computer kurz zögert.

Ein Forscher der Technischen Universität Delft testete kürzlich die Stärke dieses Sicherheitskontrollpunkts gegenüber einer raffinierteren Art von Angreifer. Er entdeckte, dass das Sicherheitsnetz des Systems, das darauf ausgelegt war, kleinere Hardwarefehler zu verzeihen, durch einen Angreifer, der weiß, wie man die gestellten Fragen an das Modell manipuliert, in eine massive Sicherheitslücke verwandelt werden kann. Der Forscher fand heraus, dass ein Angreifer, indem er dem Modell Prompts einspeist, die normale Sprachregeln brechen und Verwirrung stiften, das Modell dazu bringen kann, sich über das nächste Wort unsicher zu sein. Diese Unsicherheit erweitert die Liste der akzeptablen Antworten, die das Sicherheitssystem tolerieren wird, und verwandelt so einen schmalen, sicheren Pfad effektiv in eine breite Autobahn für den Diebstahl von Informationen. Ihre Arbeit legt nahe, dass die derzeitige Verteidigung, die unter Verwendung von normaler, alltäglicher Konversation kalibriert wurde, nicht stark genug ist, um einen entschlossenen Angreifer aufzuhalten, der weiß, wie er die eigene Verwirrung des Modells ausnutzen kann.

Der Kern des Problems liegt darin, wie das Sicherheitssystem entscheidet, was ein legitimer Fehler und was ein gestohles Geheimnis ist. Wenn ein Modell Text generiert, berechnet es die Wahrscheinlichkeit für jedes mögliche nächste Wort. Normalerweise ist ein Wort eindeutig die beste Wahl, und das System legt sich darauf fest. Wenn das Modell jedoch unsicher ist, haben zwei oder mehr Wörter fast identische Scores. In diesen Momenten der Unentschlossenheit können die winzigen, zufälligen Fluktuationen der Computerhardware die endgültige Entscheidung von einem Wort zu einem anderen kippen lassen. Das Sicherheitssystem wurde gebaut, um diese Sprünge zu verzeihen, unter der Annahme, dass es sich lediglich um harmloses Rauschen handelt. Der Forscher erkannte, dass ein Angreifer das System manipulieren könnte, um eine Situation zu schaffen, in der das Modell ständig unsicher ist. Auf diese Weise könnte der Angreifer verborgene Daten in die spezifische Wahl eines Wortes kodieren und dabei die Fehlertoleranz des Systems als geheimen Kanal nutzen, um Informationen auszuschleusen.

Um diese Theorie zu testen, richtete der Forscher eine Reihe von Experimenten mit sechs verschiedenen Sprachmodellen unterschiedlicher Größe ein, die von kleinen 1-Milliarde-Parameter-Modellen bis hin zu massiven 32-Milliarde-Parameter-Systemen reichten. Er begann mit der Festlegung einer Baseline unter Verwendung von 150 Standard-Prompts, die ähnlich zu den Fragen sind, die ein Nutzer eines Chatbots in einer normalen Konversation stellen würde. Unter diesen Bedingungen funktionierte das Sicherheitssystem wie vorgesehen. Die Liste der akzeptablen Wörter bestand fast immer aus nur einer Option, was bedeutete, dass das Modell gezwungen war, deterministisch zu sein. In diesem Zustand verlangsamte das System jeden Versuch des Datendiebstahls um mehr als das 200-fache, was den Diebstahl praktisch unmöglich machte. Dies bestätigte, dass die Verteidigung gegen passive Angreifer, die das Modell wie vorgesehen nutzen, effektiv war.

Der Forscher führte dann drei verschiedene Arten von adversarialen Angriffen ein, die jeweils darauf ausgelegt waren, die Fähigkeit des Modells zu stören, das nächste Wort mit Zuversicht vorherzusagen. Die erste Art, genannt „terse“ (knapp), verwendete sehr kurze Prompts mit geringem Kontext, die das erste Wort einer Antwort isolierten. Die zweite Art, „scramble“ (durcheinander), verwendete Listen nicht zusammenhängender Gegenstände und Anweisungen, die normale grammatikalische Regeln brachen. Die dritte und effektivste Art, „cipher“ (Chiffre), verwendte Zeichenketten aus Buchstaben, Zahlen und Symbolen aus verschiedenen Schriftsystemen, die keinerlei logischen Zusammenhang zueinander hatten. Diese Prompts waren darauf ausgelegt, das interne Verständnis des Modells dafür, wie Wörter zusammenpassen, zu verwirren, und es dazu zu zwingen, sich eher auf den Zufall als auf gelernte Muster zu verlassen. Der Forscher generierte 150 dieser adversariellen Prompts für jeden Angriffstyp und ließ sie drei Mal durch die Modelle laufen, um sicherzustellen, dass die Ergebnisse konsistent waren.

Die Ergebnisse zeigten eine dramatische Verschiebung in der Leistung des Systems. Wenn die Modelle mit den „cipher“-Prompts gefütert wurden, die das Modell auf der Ebene einzelner Zeichen und Skripte störten, explodierte die Fehlertoleranz des Sicherheitssystems. Anstatt dass die Liste der akzeptablen Wörter nur ein Element enthielt, vergrößerte sie sich signifikant. Diese Erweiterung ermöglichte es dem Angreifer, etwa doppelt so viele verborgene Informationen pro Wort zu extrahieren wie bei der benignen Baseline. Infolgedessen kollabierte der Verlangsamungsfaktor, der zuvor eine massive Barriere von über 200-mal war, auf Werte zwischen 60 und 118, abhängig vom spezifischen Modell. Für die größten Modelle war die Verteidigung etwa dreimal weniger effektiv als ursprünglich angenommen. Auch die „scramble“-Prompts zeigten signifikanten Erfolg, während die „terse“-Prompts die Verteidigung auf kleineren Modellen tatsächlich stärker machten, was ironischerweise dazu führte, dass diese vorhersehbarer wurden und weniger anfällig für eben jene Unsicherheit waren, die der Angreifer zu erzeugen versuchte.

Diese Erkenntnisse deuten darauf an, dass die aktuelle Methode der Verifizierung zu starr ist. Sie stützt sich auf einen statischen Schwellenwert dafür, was als akzeptabler Fehler gilt – ein Schwellenwert, der basierend auf dem Verhalten des Modells während einer normalen, höflichen Konversation festgelegt wurde. Die Studie zeigt, dass dieser Ansatz versagt, wenn der Input darauf ausgelegt ist, die Verwirrung des Modells zu maximieren. Der Forscher kommt zu dem Schluss, dass diese Verteidigung wirklich sicher sein muss, wenn sie dynamisch ist. Anstatt eine feste Regel zu verwenden, muss der Verifizierer ständig messen, wie unsicher das Modell in jedem einzelnen Schritt ist, und seine Fehlertoleranz entsprechend anpassen. Wenn das Modell verwirrt ist, sollte das System seine Regeln verschärfen; wenn das Modell sicher ist, kann es sie lockern. Ohne diese dynamische Anpassung bleibt der Sicherheitskontrollpunkt verwundbar gegenüber einem Angreifer, der weiß, wie er die eigene Unsicherheit des Modells als Waffe einsetzt.

Die Implikationen dieser Arbeit erstrecken sich über die spezifisch getestete Methode hinaus. Sie verdeutlichen eine grundlegende Spannung bei der Sicherung künstlicher Intelligenz: Verteidigungsmechanismen, die für normales Verhalten kalibriert sind, versagen oft gegenüber aktiven, intelligenten Gegnern, die die Umgebung manipulieren können, um diese Annahmen zu brechen. Der Forscher behauptete nicht, die Technologie vollständig gebrochen zu haben, aber er zeigte auf, dass die Sicherheitsmargen viel dünner sind als bisher angenommen. Er bewies, dass ein Angreifer, allein durch die Änderung der Art der gestellten Fragen, die Geschwindigkeit, mit der er die Geheimnisse eines Modells stehlen kann, verdoppeln kann. Dies deutet darauf hin, dass zukünftige Sicherheitsdesigns nicht auf der Annahme beruhen können, dass die Inputs harmlos (benign) sind. Sie müssen darauf ausgelegt sein, dem gezielten, kalkulierten Chaos standzuhalten, das ein intelligenter Angreifer einführen kann, um sicherzustellen, dass die Fehlertoleranz des Systems nicht zu dem Werkzeug wird, das es gerade zulässt, kompromittiert zu werden.