🤖 AI

On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

Dieser Beitrag zeigt, dass die Shuffle-Verteidigung, die zuvor als robuste Abschwächung für die Extraktion von Modellgewichten bei sicherer Transformer-Inferenz galt, anfällig für einen neuartigen Angriff ist, der permutierte Aktivierungen ausrichtet, um Modellgewichte mit hoher Genauigkeit und geringen Abfragekosten wiederherzustellen.

Ursprüngliche Autoren: Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Black Box"-Problem

Stellen Sie sich vor, Sie möchten einen superschlauen KI-Assistenten (wie einen Roboter-Koch) einsetzen, um Ihnen eine Mahlzeit zuzubereiten. Sie möchten dem Koch Ihr geheimes Rezept (Ihre Eingabe) nicht verraten, und der Koch möchte Ihnen seine geheime Gewürzmischung (seine Modellgewichte) nicht zeigen.

Um dies zu lösen, haben Wissenschaftler eine „Sichere Küche" geschaffen. In dieser Küche arbeiten Koch und Kunde mit einem speziellen Schloss-und-Schlüssel-System (Kryptographie) zusammen. Der Koch führt die Zubereitung durch, aber der Kunde sieht nur das fertige Gericht. Der Koch sieht niemals die rohen Zutaten, und der Kunde sieht niemals die geheimen Gewürze.

Der Flaschenhals: Der „Langsame Kochtopf"

Das Problem ist, dass diese sichere Küche unglaublich langsam ist. Das Zubereiten einfacher Dinge (wie das Schneiden von Gemüse, oder lineare Schichten) geht schnell. Aber das Zubereiten komplexer Dinge (wie das Backen eines Soufflés, oder nicht-lineare Schichten) erfordert so viele Hin-und-Her-Kontrollen zwischen Kunde und Koch, dass es ewig dauert.

Um die Dinge zu beschleunigen, schlugen einige Forscher einen Shortcut vor: „Lassen Sie uns dem Kunden einfach die Zwischenschritte zeigen!"
Anstatt die geheime Gewürzmischung während des Backschritts geheim zu halten, lassen sie den Kunden den Teig nachdem er gemischt wurde, aber bevor er gebacken wurde, sehen. Dies macht den Prozess 10- bis 50-mal schneller.

Die „Misch"-Verteidigung: Das durcheinandergeratene Puzzle

Die Forscher wussten, dass der Kunde, wenn er den Teig sieht, möglicherweise in der Lage sein könnte, die geheime Gewürzmischung zurückzuverfolgen. Daher fügten sie eine Verteidigung namens Mischen hinzu.

Stellen Sie sich vor, der Teig ist ein Puzzle mit 1.000 Teilen. Bevor er dem Kunden gezeigt wird, wirft der Koch die Teile in einen Mixer, wirbelt sie vollständig durcheinander und gibt dem Kunden einen Beutel mit durcheinandergeratenen Teilen.

Die Logik: Da es $1.000!$ (eine Zahl mit hunderten von Nullen) Möglichkeiten gibt, diese Teile anzuordnen, dachten die Forscher, es sei unmöglich für den Kunden, die ursprüngliche Reihenfolge zu erraten. Sie glaubten, das „durcheinandergeratene Puzzle" sei sicher.

Der Angriff: Das Muster im Chaos finden

Dieses Papier argumentiert, dass die „durcheinandergeratene Puzzle"-Verteidigung nicht sicher ist. Die Autoren fanden einen Weg, das Puzzle zu entwirren, ohne die ursprüngliche Reihenfolge zu kennen.

So haben sie es getan, mit einer einfachen Analogie:

Der „Fast Identische"-Trick:
Stellen Sie sich vor, Sie bitten den Koch, zwei Kuchen zu backen, die fast exakt gleich sind. Sie geben ihm Zutaten, die sich um einen winzigen, winzigen Betrag unterscheiden (wie das Hinzufügen eines einzigen zusätzlichen Salzkorns).
- Da die Kuchen so ähnlich sind, wird der Teig für beide Kuchen fast identisch aussehen, nur mit winzigen Unterschieden.
Die „Durcheinandergeratene" Lieferung:
Der Koch backt beide Kuchen, wirbelt die Teigteile für beide durcheinander und sendet sie zu Ihnen.
- Der Teig von Kuchen A wird in Reihenfolge #1 durcheinandergebracht.
- Der Teig von Kuchen B wird in Reihenfolge #2 durcheinandergebracht.
Die „Vermittler"-Lösung:
Obwohl die Teile durcheinander sind, sind die Werte (der Geschmack/die Größe der Teile) noch da. Da die beiden Kuchen so ähnlich waren, sind die Teigteile in Kuchen A fast genauso groß wie die entsprechenden Teile in Kuchen B.
- Der Angreifer betrachtet die beiden Beutel mit durcheinandergeratenen Teilen.
- Er findet das Teil in Beutel A, das in der Größe am nächsten an einem Teil in Beutel B liegt.
- Er passt sie zusammen.
- Indem er dies für jedes einzelne Teil tut, kann er herausfinden, wie sich die beiden Durcheinanderbringer zueinander verhalten. Sie „richten" im Wesentlichen die beiden durcheinandergeratenen Puzzles in eine gemeinsame Reihenfolge aus.
Das Ergebnis:
Sobald der Angreifer die Teile ausgerichtet hat, kann er mit Mathematik die geheime Gewürzmischung (die Modellgewichte) berechnen.
- Kritischer Punkt: Der Angreifer erhält die Gewichte nicht in der exakten ursprünglichen Reihenfolge. Es ist, als würde man die Gewürzmischung erhalten, wobei das „Salz"-Glas als „Pfeffer" und das „Pfeffer"-Glas als „Salz" beschriftet ist.
- Warum es trotzdem funktioniert: Selbst mit den vertauschten Etiketten kann der Koch immer noch das exakt gleiche Gericht zubereiten. Die Mathematik funktioniert perfekt; es ist nur eine andere Anordnung derselben Zutaten.

Der Realwelt-Test

Die Autoren testeten dies an zwei beliebten KI-Modellen (Pythia-70m und GPT-2).

Kosten: Es kostete sie etwa 1 Dollar, den Angriff durchzuführen.
Erfolg: Sie schafften es, die durcheinandergeratenen Teile mit nahezu perfekter Genauigkeit auszurichten (Fehler waren kleiner als ein Sandkorn).
Ergebnis: Sie stellten die „Gewürzmischung" des Modells mit einer so hohen Genauigkeit wieder her, dass sie damit eine Kopie-KI bauen konnten, die sich fast exakt wie das Original verhielt.

Der „Fehler", der dem Angriff half

Sie fragen sich vielleicht: „Wie konnten sie die beiden Kuchen so ähnlich machen, wenn der Computer nur ganze Zahlen akzeptiert?"
Die Autoren fanden einen winzigen „Fehler" in der Mathematik der sicheren Küche. Wenn der Computer sichere Mathematik durchführt, verliert er manchmal einen winzigen Teil der Genauigkeit (wie das Abrunden einer Dezimalzahl). Dies geschieht zufällig. Die Autoren erkannten, dass sie diese winzigen, zufälligen Rundungsfehler als den „Salzkorn"-Unterschied nutzen konnten, den sie benötigten, um die beiden Kuchen leicht unterschiedlich zu machen und den Angriff zum Funktionieren zu bringen.

Fazit

Das Papier kommt zu dem Schluss, dass die „Misch-Verteidigung" (das Verstecken der Datenreihenfolge) nicht robust ist. Selbst wenn Sie die Daten durcheinanderbringen, kann ein Angreifer, wenn er die KI zwei sehr ähnliche Eingaben verarbeiten lässt, die winzigen Unterschiede nutzen, um die ursprüngliche Reihenfolge herauszufinden und die Geheimnisse des Modells zu stehlen.

Kurz gesagt: Man kann ein Geheimnis nicht einfach dadurch verbergen, dass man ein Kartenspiel mischt, wenn jemand beobachten kann, wie Sie zwei fast identische Decks mischen und die Ergebnisse vergleichen.

Technische Zusammenfassung: Zur (In-)Sicherheit der Shuffling-Verteidigung beim sicheren Inferenz von Transformern

Problemstellung
Die sichere Inferenz für Transformer-Modelle unter Verwendung von Multi-Party Computation (MPC) oder Homomorphic Encryption (HE) stößt auf einen kritischen Effizienzengpass: die Berechnung nichtlinearer Schichten (z. B. Softmax, GELU, LayerNorm). Eine vollständige Modellverschlüsselung (FME) erfordert für diese Schichten zahlreiche Kommunikationsrunden und eine hohe Datenübertragung, was 75 % bis 90 % der gesamten Latenz ausmacht. Um dies zu mildern, wurde die Inferenz mit Linear-Only Encryption (LOE) vorgeschlagen, bei der Zwischenaktivierungen dem Client im Klartext offengelegt werden, um nichtlineare Schichten lokal zu berechnen. Das Offenlegen von Aktivierungen ermöglicht es jedoch Angreifern, durch Lösen linearer Systeme Modellgewichte zu extrahieren.

Um dem entgegenzuwirken, führten neuere Arbeiten eine Shuffling-Verteidigung ein, bei der Zwischenaktivierungen vor der Offenlegung gegenüber dem Client zufällig permutiert werden. Die vorherrschende Sicherheitsbehauptung besagt, dass die Wiederherstellung der spezifischen Permutation rechnerisch nicht durchführbar ist (Wahrscheinlichkeit $1/d!$ für Dimension $d$ ) und dass verschobene Aktivierungen die für Angriffe zur Gewichtsextraktion notwendige Korrelation zerstören. Dieser Artikel stellt diese Behauptung in Frage und zeigt auf, dass die Shuffling-Verteidigung nicht robust gegen Gewichtsextraktion ist.

Methodik
Die Autoren schlagen einen Angriff vor, der unterschiedlich verschobene Aktivierungsvektoren ohne Kenntnis der angewandten spezifischen Permutation auf eine gemeinsame Permutation ausrichtet. Die Methodik läuft in drei Stufen ab:

Vektorausrichtung via Nähe: Der Angreifer fragt den Transformer mit mehreren Eingaben ab, die sich um $\epsilon$ nahe beieinander befinden. Aufgrund der Lipschitz-Stetigkeit von neuronalen Netzen sind die resultierenden Zwischenaktivierungsvektoren ebenfalls wertmäßig nahe beieinander ( $\|x_a - x_b\| < L\epsilon$ ). Obwohl jeder Vektor durch eine andere, unbekannte Permutation verschoben wird, bleiben die Werte innerhalb der Vektoren identisch. Der Angreifer richtet diese Vektoren aus, indem er ein Zuordnungsproblem löst (unter Verwendung des Ungarischen Algorithmus), um den Abstand zwischen den Elementen der verschobenen Vektoren zu minimieren, wodurch effektiv die Korrespondenz zwischen Elementen über verschiedene Anfragen hinweg wiederhergestellt wird.
Erstellung naher Eingaben in GPT: Eine Herausforderung besteht darin, dass Transformer-Eingaben diskrete Token-Indizes sind, was die direkte Generierung von $\epsilon$ -nahen Eingaben erschwert. Die Autoren nutzen eine Eigenschaft sicherer Inferenzprotokolle aus: die Verwendung von Festkomma-Arithmetik mit Abschneiden. Sicheres Abschneiden führt zu stochastischen 1-Bit-Fehlern (z. B. Betrag $2^{-18}$ ). Durch wiederholtes Einspeisen desselben Prompts nutzt der Angreifer diese inhärenten probabilistischen Fehler aus, um die notwendigen geringfügigen Störungen in den Zwischenaktivierungen zu erzeugen und die erforderlichen $\epsilon$ -nahen Vektoren zu schaffen.
Gewichtsextraktion: Sobald die Aktivierungsvektoren auf eine gemeinsame (aber unbekannte) Permutation $\pi$ ausgerichtet sind, konstruiert der Angreifer die Matrizen $X^{(l)}\pi^{(l)}$ und $X^{(l+1)}\pi^{(l+1)}$ . Sie lösen die Gewichte unter Verwendung der linearen Beziehung $W^{(l)'} = \pi^{(l)-1} X^{(l)-1} X^{(l+1)} \pi^{(l+1)}$ auf. Die resultierenden Gewichte $W^{(l)'}$ unterscheiden sich von den ursprünglichen Gewichten $W^{(l)}$ nur durch Zeilen- und Spaltenpermutationen. Entscheidend ist, dass die Arbeit feststellt, dass die Funktionalität neuronaler Netze gegenüber einer solchen Verschleierung invariant ist; somit führen die extrahierten Gewichte dieselbe Vorwärtspropagation aus wie das ursprüngliche Modell.

Hauptbeiträge

Durchbrechen der Shuffling-Verteidigung: Die Autoren zeigen auf, dass ein Angreifer erfolgreich unterschiedlich verschobene, aber wertmäßig nahe Aktivierungsvektoren ausrichten kann und damit die Annahme umgeht, dass eine Permutation eine Extraktion unmöglich macht.
Ausnutzung von Protokollrauschen: Die Arbeit identifiziert und nutzt die stochastischen Fehler aus, die in sicheren Abschneideprotokollen inhärent sind, um nahe Zwischenaktivierungen zu generieren und so die Einschränkung diskreter Token-Eingaben bei Transformern zu überwinden.
Theoretische und praktische Extraktion: Die Arbeit beweist, dass ausgerichtete Aktivierungen die Extraktion von Modellgewichten ermöglichen, die trotz unbekannter Zeilen-/Spaltenpermutationen funktional äquivalent zum Original sind.
Empirische Validierung: Der Angriff wurde an Pythia-70m und GPT-2 evaluiert und zeigt eine hohe Ausrichtungspräzision sowie eine erfolgreiche Gewichtswiederherstellung.

Experimentelle Ergebnisse
Die Autoren evaluierten den Angriff an Pythia-70m- und GPT-2-Modellen unter Verwendung verschiedener Festkomma-Präzisionen (14, 16 und 18 Bit).

Ausrichtungspräzision: Die vorgeschlagene Methode richtet verschobene Aktivierungen mit mittleren quadratischen Fehlern (MSE) im Bereich von $10^{-9}$ bis $10^{-6}$ aus. Weniger als 2 % der Elemente sind falsch zugeordnet, wobei eine höhere Präzision zu einer besseren Ausrichtung führt.
Gewichtswiederherstellung: Die extrahierten Gewichte weisen L1-Norm-Unterschiede zu den Oracle-Gewichten im Bereich von $10^{-4}$ bis $10^{-2}$ auf. Kleinere Modelle (Pythia-70m) zeigten niedrigere Fehlerraten als größere (GPT-2).
Kosteneffizienz: Der Angriff erfordert eine Anzahl von Anfragen, die proportional zur Modelldimension ist (z. B. ~32.768 für Pythia-70m). Unter Verwendung kommerzieller API-Preise betragen die Gesamtkosten ungefähr 1 US-Dollar.
Funktionale Äquivalenz: Die gestohlenen Gewichte erzielen als Surrogatmodell verwendet Perplexitäts-Werte, die nahe an denen des Originalmodells liegen (z. B. 31,81 vs. 44,46 für Pythia-70m). Nach einer kurzen Feinabstimmungsphase (höchstens 6 Minuten) entspricht das wiederhergestellte Modell der Perplexität des Opfers (32,43 vs. 31,81) und wandelt nachfolgende Angriffe effektiv von Black-Box- in White-Box-Szenarien um.

Bedeutung und Behauptungen
Die Arbeit behauptet, eine signifikante Informationsleckage in der Shuffling-Verteidigung aufzudecken, die zuvor als sicher gegen Gewichtsextraktion angenommen wurde. Die Autoren argumentieren, dass die Verteidigung versagt, weil sie die Fähigkeit nicht berücksichtigt, Vektoren basierend auf numerischer Nähe statt auf Positionskenntnis auszurichten.

Die Bedeutung dieser Arbeit liegt darin, eine Schwachstelle aufzuzeigen, die es Angreifern ermöglicht, Modellgewichte mit hoher Genauigkeit und zu geringen Kosten wiederherzustellen. Die extrahierten Gewichte reichen aus, um private Modelle zu analysieren oder als effektive Initialisierung für Surrogatmodelle zu dienen, wodurch bestehende Black-Box-Angriffe gestärkt werden. Die Autoren schließen daraus, dass die Sicherheit der Shuffling-Verteidigung bei sicherer Inferenz und verwandten datenschutzfreundlichen Umgebungen neu bewertet werden muss.

Einschränkungen
Die Autoren vermerken bescheiden, dass, obwohl der Angriff theoretisch garantiert ist und an Modellen kleinerer Skala validiert wurde, die Genauigkeit der extrahierten Gewichte mit zunehmender Modellskalierung abnehmen kann. Sie betonen jedoch, dass eine erfolgreiche Validierung an Modellen kleinerer Skala ausreicht, um die fundamentale Verwundbarkeit des Verteidigungsmechanismus nachzuweisen.