SPOILER: TEE-Shielded DNN Partitioning of On-Device Secure Inference with Poison Learning

SPOILER is een nieuw framework dat hardware-bewuste neurale architectuurzoektechnieken en zelfvergiftigingslering combineert om de privacy en efficiëntie van veilige DNN-inferentie op randapparaten te optimaliseren door de TEE-subnetwerk te ontkoppelen van de achtersteun.

De kern

Stel je voor dat je een heel waardevol recept hebt voor de beste taart ter wereld. Je wilt dit recept aan de wereld verkopen, maar je bent bang dat mensen het zullen stelen, kopiëren en zelf gaan verkopen.

In de digitale wereld is dit recept een AI-model (een brein van een computer). Vroeger draaiden deze modellen in de "wolk" (op grote servers), maar nu willen we ze op je eigen telefoon of drone draaien. Dat is sneller en privacy-vriendelijker, maar het brengt een nieuw risico met zich mee: als het model op je apparaat zit, kan een hacker het fysiek uitlezen en stelen.

Dit artikel introduceert een nieuwe oplossing genaamd SPOILER. Hier is hoe het werkt, vertaald naar alledaagse taal:

Het Probleem: De Twee Slechte Opties

Voor SPOILER waren er twee manieren om dit te proberen, maar beide hadden grote nadelen:

1. De "Alles in de Kluis"-methode: Je zet het hele recept in een superveilige kluis (de TEE, een beveiligde zone op je chip).
   • Het nadeel: De kluis is traag. Het kost enorm veel tijd om de taart te bakken, omdat de kluis niet zo snel werkt als de grote keuken (de GPU).
2. De "Splitsen-na-Bakken"-methode: Je bakt eerst de taart, en splitst hem daarna op. De veilige delen gaan in de kluis, de rest blijft buiten.
   • Het nadeel: De buitenkant van de taart (wat je op je telefoon ziet) bevat nog steeds genoeg informatie om het recept te reconstrueren. Hackers kunnen het toch stelen.
3. De "Splitsen-voor-Bakken"-methode: Je splitst het recept eerst op, en bakt het daarna.
   • Het nadeel: De delen moeten perfect op elkaar wachten. De buitenkant (snel) moet stilzitten en wachten tot de kluis (traag) klaar is. Dit zorgt voor enorme vertragingen, alsof je een snelle sportauto moet laten wachten op een fiets.

De Oplossing: SPOILER (Zoek-voor-Bakken)

SPOILER verandert de regels volledig. In plaats van een bestaand recept aan te passen, ontwerpt SPOILER een compleet nieuw recept dat perfect past bij de beperkingen van de kluis.

Het werkt in twee slimme stappen:

Stap 1: De Slimme Architect (De "Hardware-Aware Zoeker")

Stel je voor dat je een chef-kok bent die een recept moet schrijven voor een keuken met een heel klein fornuis (de beveiligde kluis).

• SPOILER gebruikt een slimme robot (een algoritme genaamd NAS) die duizenden recepten probeert.
• De robot zoekt specifiek naar een recept dat superlicht is, zodat het snel op dat kleine fornuis kan draaien.
• Het belangrijkste: Het zorgt ervoor dat de snelle buitenkeuken (je telefoon) en het kleine fornuis gelijktijdig kunnen werken. Geen wachten meer! Ze werken als een goed geoliede machine, net als twee mensen die samen een muur bouwen zonder elkaar te blokkeren.

Stap 2: De "Vergiftigde" Taart (Zelf-Vergiftiging)

Dit is de meest creatieve en slimme truc.
Stel je voor dat je de buitenkant van je taart (wat de hacker kan zien) opzettelijk vergiftigt met een smaakloos gif.

• Als een hacker probeert je taart te kopiëren door alleen naar de buitenkant te kijken, proeft hij alleen maar rotte smaak. Hij kan er geen goed recept van maken.
• Maar voor jou, de eigenaar, is er een geheime sleutel (het deel in de kluis). Als je die sleutel toevoegt, neutraliseert het gif en wordt de taart weer perfect en lekker.
• In technische termen: SPOILER "vergiftigt" de delen van het model die buiten de kluis zitten. Zonder het geheime deel in de kluis, is het model nutteloos en onbegrijpelijk voor de hacker. Maar samen werken ze perfect.

Waarom is dit geweldig?

• Veiligheid: Hackers kunnen het model niet stelen. Zelfs als ze alles op je telefoon uitlezen, zien ze alleen "vergiftigde" rommel.
• Snelheid: Omdat de robot een perfect klein recept heeft ontworpen voor de kluis, werken de twee delen (snelle buitenkant en veilige kluis) samen zonder te wachten. Het is net zo snel als een model zonder beveiliging.
• Flexibel: Het werkt voor verschillende soorten AI (zoals die voor gezichtsherkenning of tekst), net zoals dit recept werkt voor taarten, brood of soep.

Kortom: SPOILER is als een meesterchef die een recept ontwerpt dat alleen werkt als je de geheime sleutel hebt. Zonder die sleutel is het recept onleesbaar en waardeloos, maar met de sleutel is het de snelste en lekkerste taart die je ooit hebt geproefd.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SPOILER: TEE-Shielded DNN Partitioning of On-Device Secure Inference with Poison Learning" in het Nederlands.

Probleemstelling

Het uitvoeren van Deep Neural Networks (DNN's) op randapparaten (edge devices) zoals smartphones biedt voordelen zoals lagere latentie en betere privacy, maar blootlegt deze modellen aan "white-box" aanvallen. Een specifiek risico is model-diefstal (Model Stealing), waarbij een aanvaller met fysieke toegang tot het apparaat de functionaliteit van het model kloon.

Om dit te voorkomen, worden vaak Trusted Execution Environments (TEE's) gebruikt om modelgewichten te beschermen. Echter, bestaande aanpakken voor het partitioneren van DNN's tussen de TEE (veilig, maar traag) en de Rich Execution Environment (REE, snel maar onveilig) kampen met twee fundamentele beperkingen:

1. Training-before-Partition (TBP): Het model wordt eerst getraind en daarna gesplitst. Dit leidt tot intrinsieke privacylekken; de blootgelegde lagen in de REE bevatten nog steeds semantische informatie die door een aanvaller kan worden gebruikt.
2. Partition-before-Training (PBT): Het model wordt eerst gesplitst en vervolgens getraind. Hoewel dit veiliger is, creëert het sterke structurele afhankelijkheden tussen de TEE en REE. Dit dwingt tot sequentiële uitvoering (lock-step), wat leidt tot ernstige synchronisatiebottlenecks en inactiviteit van de GPU, waardoor de latentie onacceptabel hoog wordt.

Er is dus een behoefte aan een methode die veiligheid, efficiëntie en haalbaarheid op edge-apparaten gelijktijdig garandeert.

Methodologie: SPOILER

Het auteurs stellen SPOILER (Secure Partitioning via Optimization and Learning for Edge Resilience) voor, een nieuw paradigma genaamd Search-before-Training (SBT). In plaats van een bestaand model te splitsen, zoekt SPOILER actief naar een optimale architectuur die specifiek is ontworpen voor de TEE-hardware.

De methode bestaat uit twee hoofdfasen:

1. Hardware-bewuste Neuronale Architectuur Zoek (NAS)

SPOILER gebruikt Neural Architecture Search om een lichtgewicht sub-netwerk te vinden dat volledig in de TEE past, terwijl de rest van het model (de "backbone") in de REE draait.

• Decoupling: De TEE-subnetwerk wordt volledig ontkoppeld van de backbone. Dit maakt parallelle uitvoering mogelijk: de GPU (REE) en CPU (TEE) werken gelijktijdig, wat de latentie drastisch verlaagt.
• Zoekruimte: De zoekruimte bevat parameterloze adapters en lichtgewicht blokken (zoals spatial en channel mixing) die zijn geoptimaliseerd voor de strenge geheugenbeperkingen van de TEE (bijv. 24MB secure memory op Jetson Orin).
• Optimalisatie: Er wordt gebruikgemaakt van Bayesiaanse Optimalisatie (met SAAS-GP) om een Pareto-optimale oplossing te vinden die de nauwkeurigheid maximaliseert binnen de hardware-beperkingen (geheugen en latentie).

2. Zelf-vergiftigend Leren (Self-Poisoning Learning)

Om te voorkomen dat de blootgelegde REE-backbone door een aanvaller kan worden gekloond, introduceert SPOILER een unieke trainingsstrategie:

• Logische Isolatie: Tijdens het gezamenlijk trainen van de backbone (REE) en het subnetwerk (TEE), wordt de backbone bewust "vergiftigd".
• Mechanisme: De loss-functie bevat een adversariale term die de standalone backbone probeert te destabiliseren. Hierdoor wordt de backbone functioneel onbruikbaar (incoherent) zonder het TEE-component.
• Resultaat: Een aanvaller die alleen toegang heeft tot de REE-componenten en de public weights, kan geen bruikbaar model trainen, zelfs niet met kennisdistillatie, omdat de blootgelegde lagen geen zinvolle semantische informatie meer bevatten.

Belangrijkste Bijdragen

1. Nieuw Paradigma (SBT): SPOILER introduceert het "Search-before-Training" concept, dat de structurele afhankelijkheid tussen TEE en REE volledig doorbreekt, in tegenstelling tot bestaande TBP- en PBT-methoden.
2. Hardware-bewuste NAS: Een framework dat specifiek is ontworpen om TEE-subnetwerken te vinden die voldoen aan strikte hardware-beperkingen (geheugen, latentie) en parallelle uitvoering maximaliseren.
3. Zelf-vergiftigend Leren: Een innovatieve trainingsstrategie die modeldiefstal verhindert door de blootgelegde delen van het model functioneel onbruikbaar te maken zonder de algehele prestaties van het eindmodel te schaden.
4. Algemene Toepasbaarheid: Het framework werkt voor diverse architecturen, waaronder CNN's (VGG16, ResNet) en Transformers (ViT).

Resultaten

De auteurs hebben SPOILER uitgebreid getest op de NVIDIA Jetson Orin met datasets zoals CIFAR-10, CIFAR-100 en TinyImageNet.

• Veiligheid: SPOILER reduceert de nauwkeurigheid van het gestolen model (surrogate model) van de aanvaller tot bijna willekeurig niveau.
  • Voorbeeld: Bij ResNet-18 op CIFAR-10 zakt de nauwkeurigheid van het gestolen model naar 12,36% (tegenover 34,44% voor de beste bestaande methode, GroupCover). Dit is zelfs lager dan een "Black-box" aanval zonder gewichtsinformatie.
• Efficiëntie (Latentie): Door parallelle uitvoering en het vermijden van sequentiële bottlenecks, presteert SPOILER aanzienlijk beter dan bestaande methoden.
  • In sommige scenario's (bijv. VGG16-BN op CIFAR-100) is SPOILER zelfs sneller dan een onbeveiligd model dat volledig op de GPU draait, omdat het subnetwerk in de TEE kan eindigen zonder te wachten op de volledige backbone.
• Nauwkeurigheid: SPOILER behoudt of verbetert de nauwkeurigheid van het eindmodel vergeleken met een volledig getraind, onbeveiligd model. Bij ResNet-18 op TinyImageNet werd zelfs een verbetering van 7,4% gezien.
• Haalbaarheid: Het systeem werkt stabiel onder verschillende stroomverbruiksmodi (15W tot MAXN) en past zich flexibel aan aan de hardware-beperkingen.

Betekenis

SPOILER vertegenwoordigt een doorbraak in de beveiliging van AI-modellen op randapparaten. Het lost het fundamentele dilemma op tussen privacy en prestaties dat bestaande TEE-oplossingen kwellen. Door de architectuur dynamisch te zoeken in plaats van statisch te partitioneren, en door de veiligheid te verankeren in de trainingsdynamiek (via zelf-vergiftiging), biedt SPOILER een praktische, schaalbare oplossing voor het beschermen van intellectueel eigendom in een wereld waar edge-AI steeds meer wordt ingezet. Het bewijst dat het mogelijk is om modellen te beschermen tegen diefstal zonder de gebruikerservaring (snelheid en nauwkeurigheid) te offeren.