🤖 AI

On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

Dit artikel toont aan dat de shuffle-verdediging, die eerder werd beschouwd als een robuuste mitigatie voor het extraheren van modelgewichten bij veilige Transformer-inferentie, kwetsbaar is voor een nieuwe aanval die gepermuteerde activaties uitlijnt om modelgewichten met hoge nauwkeurigheid en tegen lage querykosten te herstellen.

Oorspronkelijke auteurs: Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Black Box"-probleem

Stel je voor dat je een superintelligente AI wilt gebruiken (zoals een robotchef) om een maaltijd voor je te bereiden. Je wilt je geheim recept niet aan de chef vertellen (je input), en de chef wil zijn geheim kruidenmengsel niet aan jou laten zien (hun modelgewichten).

Om dit op te lossen, hebben wetenschappers een "Veilige Keuken" gecreëerd. In deze keuken werken de chef en de klant samen met een speciaal slot-en-sleutelsysteem (cryptografie). De chef doet het koken, maar de klant ziet alleen het eindresultaat op het bord. De chef ziet nooit de rauwe ingrediënten, en de klant ziet nooit de geheime kruiden.

De Bottleneck: De "Traag Kookpot"

Het probleem is dat deze veilige keuken ongelooflijk traag is. Het koken van simpele dingen (zoals groenten snijden, of lineaire lagen) gaat snel. Maar het koken van complexe dingen (zoals een soufflé bakken, of niet-lineaire lagen) vereist zo veel heen-en-weer controles tussen de klant en de chef dat het eeuwig duurt.

Om het proces te versnellen, suggereerden sommige onderzoekers een shortcut: "Laten we de klant gewoon de tussenstappen laten zien!"
In plaats van het geheim kruidenmengsel verborgen te houden tijdens het bakstap, lieten ze de klant het beslag zien nadat het gemengd was, maar voordat het gebakken was. Dit maakt het proces 10 tot 50 keer sneller.

De "Schudden"-Verdediging: Het Gemengde Puzzel

De onderzoekers wisten dat als de klant het beslag ziet, ze misschien in staat zouden zijn om het geheim kruidenmengsel te reconstrueren. Dus voegden ze een verdediging toe genaamd Schudden.

Stel je voor dat het beslag een puzzel is met 1.000 stukjes. Voordat ze het aan de klant laten zien, gooit de chef de stukjes in een blender, verwart ze volledig, en geeft de klant een zak met door elkaar gehaalde stukjes.

De Logica: Omdat er $1.000!$ (een getal met honderden nullen) manieren zijn om die stukjes te rangschikken, dachten de onderzoekers dat het onmogelijk was voor de klant om de oorspronkelijke volgorde te raden. Ze geloofden dat het "gemengde puzzel" veilig was.

De Aanval: Het Patroon Vinden in het Chaos

Dit artikel betoogt dat de "gemengde puzzel"-verdediging niet veilig is. De auteurs vonden een manier om het puzzel te ontrafelen zonder de oorspronkelijke volgorde te kennen.

Hier is hoe ze dit deden, met een eenvoudige analogie:

De "Bijna Identieke" Truc:
Stel je voor dat je de chef vraagt om twee taarten te bakken die bijna exact hetzelfde zijn. Je geeft ze ingrediënten die slechts een heel klein beetje verschillen (zoals het toevoegen van één extra korreltje zout).
- Omdat de taarten zo op elkaar lijken, zal het beslag voor beide taarten bijna identiek lijken, met slechts kleine verschillen.
De "Gemengde" Levering:
De chef bakt beide taarten, verwart de beslagstukjes voor beide, en stuurt ze naar jou.
- Het beslag van Taart A wordt in Volgorde #1 verwart.
- Het beslag van Taart B wordt in Volgorde #2 verwart.
De "Matchmaker"-Oplossing:
Hoewel de stukjes verwart zijn, zijn de waarden (de smaak/grootte van de stukjes) nog steeds aanwezig. Omdat de twee taarten zo op elkaar leken, zijn de beslagstukjes in Taart A bijna dezelfde grootte als de corresponderende stukjes in Taart B.
- De aanvaller kijkt naar de twee zakken met verwart stukjes.
- Ze vinden het stukje in Zak A dat qua grootte het dichtst bij een stukje in Zak B ligt.
- Ze koppelen ze aan elkaar.
- Door dit voor elk enkel stukje te doen, kunnen ze uitzoeken hoe de twee verwarringen met elkaar verband houden. Ze "heraligneren" de twee verwarte puzzels in een gemeenschappelijke volgorde.
Het Resultaat:
Zodra de aanvaller de stukjes heeft uitgelijnd, kunnen ze wiskunde gebruiken om het geheim kruidenmengsel (de modelgewichten) op te lossen.
- Cruciaal Punt: De aanvaller krijgt de gewichten niet in de exacte oorspronkelijke volgorde. Het is alsof je het kruidenmengsel krijgt waarbij het potje "Zout" is gelabeld als "Peper" en het potje "Peper" is gelabeld als "Zout".
- Waarom het nog steeds werkt: Zelfs met de omgewisselde labels, kan de chef nog steeds precies dezelfde maaltijd bereiden. De wiskunde werkt perfect; het is gewoon een andere rangschikking van dezelfde ingrediënten.

De Realiteitstest

De auteurs testten dit op twee populaire AI-modellen (Pythia-70m en GPT-2).

Kosten: Het kostte hen ongeveer $1 om de aanval uit te voeren.
Succes: Het lukte hen om de verwart stukjes met bijna perfecte nauwkeurigheid uit te lijnen (fouten waren kleiner dan een korreltje zand).
Uitkomst: Ze herstelden het "kruidenmengsel" van het model met zo'n hoge nauwkeurigheid dat ze er een kopieer-AI mee konden bouwen die zich bijna exact hetzelfde gedroeg als het origineel.

De "Glitch" die de Aanval Hielp

Je vraagt je misschien af: "Hoe kregen ze de twee taarten zo op elkaar te laten lijken als de computer alleen hele getallen accepteert?"
De auteurs vonden een kleine "glitch" in de wiskunde van de veilige keuken. Wanneer de computer veilige wiskunde doet, verliest het soms een klein beetje precisie (zoals het afronden van een decimaal). Dit gebeurt willekeurig. De onderzoekers realiseerden zich dat ze deze kleine, willekeurige afrondingsfouten konden gebruiken als het "korreltje zout"-verschil dat ze nodig hadden om de twee taarten iets anders te maken, waardoor de aanval kon werken.

Conclusie

Het artikel concludeert dat de "Schudden-Verdediging" (het verbergen van de volgorde van data) niet robuust is. Zelfs als je de data verwart, als je de AI twee zeer vergelijkbare inputs kunt laten verwerken, kan een aanvaller de kleine verschillen gebruiken om de oorspronkelijke volgorde te achterhalen en de geheimen van het model te stelen.

Kortom: Je kunt een geheim niet verbergen door gewoon een deck kaarten te schudden als iemand kan kijken hoe je twee bijna identieke decks schudt en de resultaten vergelijkt.

Technische Samenvatting: Over de (In-)Veiligheid van de Shuffle-Verdediging bij Veilige Inferentie van Transformers

Probleemstelling
Veilige inferentie voor Transformer-modellen met behulp van Multi-Party Computation (MPC) of Homomorphic Encryption (HE) staat voor een kritiek efficiëntieknelpunt: de berekening van niet-lineaire lagen (bijv. Softmax, GELU, LayerNorm). Volledige modelencryptie (FME) vereist talrijke communicatierondes en zware gegevensoverdracht voor deze lagen, wat verantwoordelijk is voor 75%–90% van de totale latentie. Om dit te mitigeren, werd inferentie met alleen Lineaire Encryptie (LOE) voorgesteld, waarbij tussentijdse activaties in platte tekst aan de client worden onthuld om niet-lineaire lagen lokaal te berekenen. Het onthullen van activaties stelt echter aanvvallers in staat om modelgewichten te extraheren door lineaire systemen op te lossen.

Om dit tegen te gaan, introduceerden recente werken een shuffle-verdediging, waarbij tussentijdse activaties willekeurig worden gepermuteerd voordat ze aan de client worden onthuld. De heersende veiligheidsclaim is dat het herstellen van de specifieke permutatie computationeel onuitvoerbaar is (kans $1/d!$ voor dimensie $d$ ) en dat geschudde activaties de correlatie vernietigen die nodig is voor aanvallen op gewichtsextractie. Dit artikel daagt die claim uit en toont aan dat de shuffle-verdediging niet robuust is tegen gewichtsextractie.

Methodologie
De auteurs stellen een aanval voor die verschillend geschudde activatievectoren uitlijnt naar een gemeenschappelijke permutatie zonder de toegepaste specifieke permutatie te kennen. De methodologie verloopt in drie fasen:

Vectorexlijning via Nabijheid: De aanvaller queryt de Transformer met meerdere invoeren die $\epsilon$ -dicht bij elkaar liggen. Vanwege de Lipschitz-continuïteit van neurale netwerken zijn de resulterende tussentijdse activatievectoren ook dicht bij elkaar in waarde ( $\|x_a - x_b\| < L\epsilon$ ). Hoewel elke vector wordt geschud door een andere, onbekende permutatie, blijven de waarden binnen de vectoren identiek. De aanvaller lijnt deze vectoren uit door een toewijzingsprobleem op te lossen (met het Hongaarse algoritme) om de afstand tussen elementen van de geschudde vectoren te minimaliseren, waardoor effectief de correspondentie tussen elementen over verschillende queries wordt hersteld.
Het Construeren van Dichtbijzijnde Invoeren in GPT: Een uitdaging doet zich voor omdat Transformer-invoeren discrete token-indexen zijn, wat het moeilijk maakt om direct $\epsilon$ -dichtbijzijnde invoeren te genereren. De auteurs benutten een eigenschap van veilige inferentieprotocollen: het gebruik van vastkomma-aritmetiek met truncatie. Veilige truncatie introduceert stochastische 1-bitfouten (bijv. grootte $2^{-18}$ ). Door herhaaldelijk dezelfde prompt in te voeren, benut de aanvaller deze inherente probabilistische fouten om de benodigde kleine verstoringen in tussentijdse activaties te genereren, waardoor de vereiste $\epsilon$ -dichtbijzijnde vectoren ontstaan.
Gewichtsextractie: Zodra de activatievectoren zijn uitgelijnd naar een gemeenschappelijke (maar onbekende) permutatie $\pi$ , construeert de aanvaller matrices $X^{(l)}\pi^{(l)}$ en $X^{(l+1)}\pi^{(l+1)}$ . Ze lossen de gewichten op met behulp van de lineaire relatie $W^{(l)'} = \pi^{(l)-1} X^{(l)-1} X^{(l+1)} \pi^{(l+1)}$ . De resulterende gewichten $W^{(l)'}$ verschillen van de originele gewichten $W^{(l)}$ alleen door rij- en kolompermutaties. Cruciaal merkt het artikel op dat de functionaliteit van neurale netwerken invariant is tegen dergelijke schudding; de geëxtraheerde gewichten voeren dus dezelfde voorwaartse propagatie uit als het originele model.

Belangrijkste Bijdragen

Doorbreken van de Shuffle-Verdediging: De auteurs tonen aan dat een aanvaller succesvol geschudde activatievectoren kan uitlijnen die verschillend zijn geschud maar vergelijkbare waarden bevatten, waardoor de aanname wordt omzeild dat permutatie extractie onmogelijk maakt.
Exploitatie van Protocollruis: Het werk identificeert en benut de stochastische fouten die inherent zijn aan protocollen voor veilige truncatie om dichtbijzijnde tussentijdse activaties te genereren, waardoor de beperking van discrete token-invoeren in Transformers wordt overwonnen.
Theoretische en Praktische Extractie: Het artikel bewijst dat uitgelijnde activaties extractie van modelgewichten mogelijk maken die functioneel equivalent zijn aan het origineel, ondanks onbekende rij-/kolompermutaties.
Empirische Validatie: De aanval wordt geëvalueerd op Pythia-70m en GPT-2, waarbij hoge uitlijningsnauwkeurigheid en succesvolle gewichtsrecovery worden aangetoond.

Experimentele Resultaten
De auteurs evalueerden de aanval op Pythia-70m- en GPT-2-modellen met verschillende vastkomma-precisies (14, 16 en 18 bits).

Uitlijningsnauwkeurigheid: De voorgestelde methode lijnt geschudde activaties uit met een Gemiddelde Kwantvergelijking (MSE) variërend van $10^{-9}$ tot $10^{-6}$ . Minder dan 2% van de elementen komt niet overeen, waarbij hogere precisie leidt tot betere uitlijning.
Gewichtsrecovery: De geëxtraheerde gewichten vertonen L1-normverschillen met de oracle-gewichten variërend van $10^{-4}$ tot $10^{-2}$ . Kleinere modellen (Pythia-70m) vertoonden lagere foutpercentages dan grotere modellen (GPT-2).
Kostenefficiëntie: De aanval vereist een aantal queries dat evenredig is met de modeldimensie (bijv. ~32.768 voor Pythia-70m). Met behulp van commerciële API-prijzen bedraagt de totale kosten ongeveer $1.
Functionele Equivalentie: De gestolen gewichten, gebruikt als surrogaatmodel, bereiken perplexiteitsscores die dicht bij het originele model liggen (bijv. 31,81 versus 44,46 voor Pythia-70m). Na een korte fijnafstapfase (maximaal 6 minuten) komt het herstelde model overeen met de perplexiteit van het slachtoffer (32,43 versus 31,81), waardoor vervolgaanvallen effectief worden omgezet van black-box naar white-box scenario's.

Betekenis en Claims
Het artikel claimt een significante informatielek te onthullen in de shuffle-verdediging, die eerder werd verondersteld veilig te zijn tegen gewichtsextractie. De auteurs betogen dat de verdediging faalt omdat deze geen rekening houdt met het vermogen om vectoren uit te lijnen op basis van numerieke nabijheid in plaats van positionele kennis.

De betekenis van dit werk ligt in het blootleggen van een kwetsbaarheid die aanvellers in staat stelt modelgewichten met hoge fideliteit en tegen lage kosten te herstellen. De geëxtraheerde gewichten zijn voldoende om private modellen te analyseren of te dienen als effectieve initialisatie voor surrogaatmodellen, waardoor bestaande black-box-aanvallen worden versterkt. De auteurs concluderen dat de veiligheid van de shuffle-verdediging in veilige inferentie en gerelateerde privacybehoudende omgevingen opnieuw moet worden geëvalueerd.

Beperkingen
De auteurs merken bescheiden op dat hoewel de aanval theoretisch gegarandeerd is en gevalideerd op modellen in kleine schaal, de fideliteit van geëxtraheerde gewichten kan verslechteren naarmate de modelschaal toeneemt. Ze stellen echter dat succesvolle validatie op modellen in kleine schaal voldoende is om de fundamentele kwetsbaarheid van het verdedigingsmechanisme aan te tonen.