Kraken: Higher-order EM Side-Channel Attacks on DNNs in Near and Far Field

Each language version is independently generated for its own context, not a direct translation.

Hier is een uitleg van het onderzoek "Kraken" in simpel Nederlands, met behulp van alledaagse vergelijkingen.

🕵️‍♂️ De Kern: Het Stelen van een Digitaal Geheim

Stel je voor dat een bedrijf een jaar lang werkt aan een supergeheime recept voor een nieuwe drank. Het recept kost miljoenen euro's om te ontwikkelen. Nu willen ze het verkopen, maar ze willen niet dat de concurrent het recept steelt.

In de wereld van kunstmatige intelligentie (AI) zijn deze "recepten" de neuronale netwerken (zoals ChatGPT). Ze kosten ook miljoenen om te trainen. De auteurs van dit paper hebben ontdekt dat je deze recepten niet alleen kunt stelen door ze te hacken via internet, maar ook door luisterend naar de machine zelf.

Ze noemen dit een zijkanalaanval. Het is alsof je niet de brief leest, maar luistert naar het geluid van de pen die schrijft om te raden wat er op papier staat.

🔍 Hoe werkt het? (De Drie Grootte Vindingen)

De onderzoekers hebben drie nieuwe manieren bedacht om deze geheimen te stelen, specifiek gericht op de krachtige grafische kaarten (GPUs) die AI aansturen.

1. De "Warp"-Methode: Luisteren naar een Koor in plaats van één Zanger

Het oude probleem: Vroeger keken hackers naar het energieverbruik van één kleine taak die de computer deed. Maar moderne computers doen duizenden dingen tegelijk (zoals een koor dat allemaal tegelijk zingt). Als je naar één zanger luistert, hoor je nauwelijks iets door de ruis van de rest.
De nieuwe oplossing: De onderzoekers kijken naar een groepje van 32 zangers (een "warp") die precies hetzelfde doen. Ze tellen hun geluiden bij elkaar op.
De analogie: In plaats van te proberen te horen wat één persoon fluistert in een drukke zaal, luisteren ze naar het gezamenlijke gefluister van een groepje dat precies hetzelfde zegt. Hierdoor wordt het signaal veel sterker en kunnen ze het geheim sneller ontcijferen.

2. De "Hoge Orde"-Methode: Het Puzzelstukje Herhaaldelijk Kijken

Het oude probleem: Soms is het geluid van één taak te zwak om iets te raden.
De nieuwe oplossing: In een AI-recept wordt hetzelfde getal (een gewicht) vaak gebruikt voor verschillende berekeningen. De onderzoekers combineren alle momenten waarop dat specifieke getal gebruikt wordt.
De analogie: Stel je voor dat je probeert te raden welk woord iemand schrijft door naar het geluid van de pen te luisteren. Als de persoon dat woord 10 keer schrijft, hoor je het geluid van die pen 10 keer. Als je die 10 geluiden bij elkaar optelt, hoor je het woord veel duidelijker dan bij één keer. Dit versnelt de diefstal enorm.

3. De "Verre Veld"-Methode: Luisteren door de Muur

Het oude probleem: Tot nu toe moesten hackers fysiek heel dicht bij de computer staan (soms zelfs de koeler eraf halen) om het energieverbruik te meten. Dat is lastig en opvalt snel.
De nieuwe oplossing: Dit paper toont aan dat je het signaal ook kunt opvangen op 1 meter afstand, zelfs als er een glazen raam tussen zit!
De analogie: Vroeger moest je je oor tegen de deur drukken om te horen wat er binnen gebeurt. De onderzoekers hebben bewezen dat je, zelfs als je aan de andere kant van de gang staat (en er een raam tussen zit), nog steeds kunt horen wat er gebeurt. Ze hebben dit getest met een moderne computer (een RTX 4090) en een AI-model (Llama 3).

🛡️ Waarom is dit gevaarlijk?

Het is onzichtbaar: Je hoeft geen software te hacken. Je hoeft alleen maar een antenne te houden en te luisteren.
Het werkt op de nieuwste hardware: Ze hebben het niet getest op oude, trage chips, maar op de allernieuwste, snelste GPU's die bedrijven nu gebruiken voor hun duurste AI-modellen.
Het is praktisch: Zelfs als er een glazen wand tussen zit (zoals in een kantoor of serverruimte), werkt het nog steeds.

🛑 Wat kunnen we eraan doen?

De auteurs geven ook een paar tips om je te beschermen:

Schilden: Als je de computer in een metalen kist (een kooi van Faraday) stopt, kan niemand het signaal opvangen.
Verwarren: Je kunt de computer zo programmeren dat hij extra "ruis" maakt of dat hij dingen in een willekeurige volgorde doet, zodat het geluid niet meer te koppelen is aan het geheim.
Let op je "recept": Soms kun je al veel weten over een AI-recept alleen al door te kijken naar hoe het is samengesteld (kwantisatie), zonder zelfs maar te luisteren.

📝 Conclusie in één zin

De onderzoekers hebben bewezen dat je de geheime "recepten" van de slimste AI's kunt stelen door simpelweg naar de elektromagnetische straling van de computer te luisteren, zelfs als je een meter verderop staat en er een raam tussen zit. Het is een waarschuwing dat fysieke beveiliging net zo belangrijk is als digitale beveiliging.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "Kraken: Higher-order EM Side-Channel Attacks on DNNs in Near and Far Field" in het Nederlands.

Probleemstelling

Moderne Machine Learning (ML) modellen, zoals Deep Neural Networks (DNNs) en Large Language Models (LLMs), vertegenwoordigen een enorme investering (vaak miljoenen dollars) en zijn intellectueel eigendom. Dit maakt ze een prime doelwit voor diefstal. Hoewel er al methoden zijn om modellen te stelen via API-query's, zijn deze beperkt door maatregelen zoals rate limiting en quantisatie.

Bestaande fysieke side-channel-aanvallen (gebaseerd op stroomverbruik of elektromagnetische straling) hebben succes gehad bij het extraheren van gewichten op microcontrollers, FPGAs en GPU's. Echter, deze eerdere werken richtten zich voornamelijk op de algemene CUDA Cores. De moderne GPU-architectuur maakt echter steeds meer gebruik van gespecialiseerde Tensor Cores voor matrixvermenigvuldiging, wat leidt tot een hogere parallelisatie en meer ruis in de metingen. Daarnaast is het extraheren van gewichten van LLMs, en specifiek in het ver-veld (far-field) van de elektromagnetische straling, een onontgonnen terrein. De vraag is of het mogelijk is om modelgewichten te stelen via elektromagnetische straling op afstand, zelfs zonder invasieve toegang tot de chip.

Methodologie

De auteurs ontwikkelen een aanpak die bestaat uit twee hoofdfasen: een nabij-veld (near-field) analyse voor het verfijnen van lekmodellen en een ver-veld (far-field) analyse voor het demonstreren van de haalbaarheid op afstand.

Architecturale Analyse en Floorplanning:
- De onderzoekers maakten een "floorplan" van de GPU-die (Jetson Orin Nano) met behulp van infraroodbeelden om de Streaming Multiprocessors (SMs) en hun sub-partities te lokaliseren.
- Ze richtten zich op de registers waar de uitkomsten van Tensor Core-instructies (zoals IMMA en HMMA) worden geschreven, aangezien deze de meest gevoelige tussenwaarden bevatten.
Ontwikkeling van Lekmodellen:
- Warp-level Model: In plaats van het stroomverbruik van één thread te analyseren (zoals in eerdere werken), modelleren de auteurs het gezamenlijke stroomverbruik van een volledige warp (een groep van 32 threads die parallel draaien). Omdat threads in een warp gelijktijdig starten en vaak op dezelfde gewichten werken, biedt dit een nauwkeurigere weergave van het energieverbruik en vermindert het de ruis.
- Higher-Order Aanval: De auteurs benutten het feit dat in DNNs dezelfde gewichten worden gebruikt in meerdere tussenberekeningen (bijvoorbeeld bij convolutie of dot-products met verschillende inputs). Ze combineren informatie uit meerdere tijdstippen (twee of drie verschillende tussenwaarden) om de correlatie te versterken. Dit is een toepassing van higher-order side-channel analyse op DNNs.
Ver-veld Experimenten:
- Ze gebruikten een Software Defined Radio (SDR) en een Vivaldi-antenne om elektromagnetische straling op te vangen op afstanden van 25 cm en 100 cm (inclusief door glas).
- De aanval richtte zich op de kloksignalen van de GPU (2565 MHz) die gemoduleerd zijn met gewichtsafhankelijke informatie.
- Ze analyseerden de complexiteit van de Correlation Power Analysis (CPA) voor LLMs (Llama 3.2 1B) en ontwikkelden strategieën om de zoekruimte te verkleinen door gebruik te maken van vaste inputs of bekende gedeelten van de som.

Belangrijkste Bijdragen

Eerste Warp-level Lekmodel voor GPU's: Een nieuw model dat het energieverbruik van een volledige warp analyseert, wat aanzienlijk efficiënter is dan eerdere thread-gebaseerde modellen.
Eerste Higher-Order Aanval op DNNs: Een methode die informatie combineert uit meerdere tussenwaarden die afhankelijk zijn van hetzelfde gewicht, wat de convergentie van de aanval versnelt.
Ver-veld Gewichtslekage voor LLMs: Het eerste bewijs van concept dat gewichten van een LLM (via Tensor Cores) kunnen worden geëxtraheerd via elektromagnetische straling op 100 cm afstand, zelfs met een glasobstakel.
Analyse van Quantisatie: Een discussie over hoe quantisatie (het omzetten van floats naar integers) al informatie lekt voordat een side-channel-aanval überhaupt wordt uitgevoerd.

Resultaten

Nabij-veld (Near-field):
- De warp-level aanval vereiste gemiddeld slechts 100.000 traces om gewichten te extraheren, vergeleken met miljoenen traces die nodig waren in eerdere werken (zoals BarraCUDA) die op CUDA Cores werkten.
- Door higher-order technieken (combineren van 2 of 3 warp-level correlaties) kon de rang van de sleutel (key rank) tot 0 dalen met slechts 10.000 traces.
- De aanval slaagde voor alle 288 gewichten van een 2-laags CNN.
Ver-veld (Far-field):
- Er werd een duidelijke correlatie gevonden tussen de EM-straling en de gewichten van de LLM, zelfs op 100 cm afstand door glas.
- Hoewel de signaalsterkte afnam door de afstand en het glas, was het mogelijk om de 8e gewichtswaarde in de matrices $W_q, W_k, W_v$ te extraheren door gebruik te maken van een "proof-of-concept" aanval waarbij de eerste 7 gewichten bekend werden verondersteld (wat de zoekruimte reduceerde tot ongeveer $2^{12}$ kandidaten).
- Er werd aangetoond dat de kloksnelheid van de GPU (die varieert met de belasting) niet noodzakelijk de lekbaarheid op de basisfrequentie (2565 MHz) uitsluit.

Betekenis en Conclusie

Het paper "Kraken" markeert een belangrijke stap in het vakgebied van model-diefstal via side-channel-aanvallen. Het bewijst dat:

De specialisatie van moderne GPU's (Tensor Cores) geen barrière vormt voor fysieke aanvallen; integendeel, met de juiste architecturale kennis (warp-level modellen) worden deze aanvallen zelfs efficiënter.
Modelgewichten niet alleen via API's of nabij-veld toegang kunnen worden gestolen, maar ook op afstand (ver-veld), wat de drempel voor fysieke beveiliging aanzienlijk verlaagt.
LLMs, die vaak als "zwarte dozen" worden gezien, kwetsbaar zijn voor fysieke lekage van hun parameters.

De auteurs concluderen dat hoewel de ver-veld aanval momenteel nog een proof-of-concept is en volledige model-extractie rekenkundig intensief blijft, de kwetsbaarheid reëel is. Ze wijzen op de noodzaak van betere fysieke afscherming (shielding) en de beperkte effectiviteit van softwarematige maatregelen zoals masking in dit specifieke scenario.