SPOILER: TEE-Shielded DNN Partitioning of On-Device Secure Inference with Poison Learning

Das Paper stellt SPOILER vor, einen neuartigen Such-bzw.-Trainings-Rahmen, der durch hardwarebewusste neuronale Architektursuche und selbstvergiftendes Lernen eine effiziente und sichere Partitionierung von Deep-Learning-Modellen auf Edge-Geräten ermöglicht, indem er die vertraulichen TEE-Komponenten von der Hauptarchitektur entkoppelt und so einen optimalen Kompromiss zwischen Sicherheit, Latenz und Genauigkeit erreicht.

Das Wesentliche

Stellen Sie sich vor, Sie haben ein geheimes Rezept für die beste Pizza der Welt (das ist Ihr KI-Modell). Sie wollen diese Pizza auf einem mobilen Lieferwagen (dem Edge-Gerät, z. B. einem Smartphone) backen, damit die Kunden sie sofort bekommen, ohne dass Daten über das Internet fließen.

Das Problem: Wenn Sie den Lieferwagen offen lassen, kann ein neidischer Konkurrent (der Angreifer) einfach hineinschauen, das Rezept stehlen und es kopieren.

Bisher gab es zwei schlechte Lösungen:

1. Der sichere Tresor: Man baut den ganzen Ofen in einen schweren, langsamen Panzertresor (den TEE – Trusted Execution Environment). Das ist sicher, aber das Backen dauert ewig, weil der Tresor nicht so schnell heizt wie ein normaler Ofen.
2. Der geteilte Ofen: Man teilt das Rezept auf. Ein Teil wird im Tresor gebacken, der Rest im normalen Ofen. Aber die alten Methoden waren so starr, dass der normale Ofen warten musste, bis der Tresor fertig war. Das war ineffizient und der Konkurrent konnte trotzdem Teile des Rezepts abhören.

SPOILER ist die neue, clevere Lösung, die das Problem auf drei geniale Arten löst:

1. Der "Schneidewerkzeug"-Ansatz (Hardware-Aware NAS)

Statt das Rezept einfach willkürlich zu teilen, sucht SPOILER automatisch nach dem perfekten, winzigen Teil des Rezepts, der in den kleinen Tresor passt.

• Die Analogie: Stellen Sie sich vor, Sie müssen ein riesiges Gemälde in einen kleinen Safe transportieren. Die alten Methoden haben versucht, das ganze Bild zu zerren oder den Safe zu vergrößern. SPOILER hingegen schneidet genau den wichtigsten, kleinsten Ausschnitt aus dem Bild heraus, der für den Safe passt, und baut den Rest des Bildes so um, dass er perfekt daneben läuft.
• Der Clou: Dieser kleine Teil im Tresor ist so optimiert, dass er extrem schnell arbeitet und den Tresor nicht überfüllt. Der Rest des Bildes (die "offene" KI) läuft parallel auf dem normalen Computer (dem GPU) und wartet nicht auf den Tresor. Beide arbeiten gleichzeitig – wie zwei Köche, die nebeneinander an verschiedenen Teilen des Menüs arbeiten, ohne sich im Weg zu stehen.

2. Der "Gift"-Trick (Self-Poisoning Learning)

Das ist der genialste Teil. Wenn der Konkurrent den Teil des Rezepts stiehlt, der im normalen Ofen liegt, sollte er damit nichts anfangen können.

• Die Analogie: SPOILER fügt dem Teil des Rezepts, der im offenen Ofen liegt, ein unsichtbares, harmloses Gift hinzu. Für Sie und Ihre Kunden schmeckt die Pizza perfekt. Aber wenn der Dieb versucht, das Rezept zu kopieren und eine eigene Pizza damit zu backen, wird die Pizza ungenießbar (sie schmeckt nach Seife oder ist gar nicht essbar).
• Die Wissenschaft: Das System wird so trainiert, dass der "offene" Teil des Modells für sich allein völlig sinnlos ist. Er braucht zwingend den "geheilen" Teil aus dem Tresor, um überhaupt etwas zu verstehen. Ohne den Tresor ist das gestohlene Rezept nur ein Haufen wirrer Zahlen.

3. Die perfekte Balance

SPOILER sucht automatisch nach dem Punkt, an dem:

• Die Pizza (die KI) immer noch super schmeckt (hohe Genauigkeit).
• Die Lieferung so schnell ist wie möglich (niedrige Verzögerung).
• Der Dieb absolut nichts kapieren kann (hohe Sicherheit).

Zusammengefasst:
SPOILER ist wie ein Schutzengel für KI-Modelle auf Smartphones. Er baut eine winzige, hochspezialisierte Festung (den Tresor), die so schnell ist, dass sie den normalen Betrieb nicht verlangsamt. Gleichzeitig macht er den restlichen, sichtbaren Teil des Systems so "giftig" für Diebe, dass ein gestohlener Teil wertlos ist. So können Sie Ihre KI sicher auf dem Handy nutzen, ohne Angst zu haben, dass jemand Ihr geistiges Eigentum klaut.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „SPOILER: TEE-Shielded DNN Partitioning of On-Device Secure Inference with Poison Learning" auf Deutsch.

1. Problemstellung

Der Einsatz von Deep Neural Networks (DNNs) auf Edge-Geräten (z. B. Smartphones) birgt das Risiko von Modell-Diebstahl-Angriffen (Model Stealing). Da diese Geräte oft physischen Zugriff ermöglichen, sind Modelle in einer „White-Box"-Umgebung verwundbar. Angreifer können die Funktionalität des Modells kopieren, indem sie die im „Rich Execution Environment" (REE, z. B. GPU) exponierten Gewichte nutzen und durch Knowledge Distillation ein Surrogat-Modell trainieren.

Zur Abwehr werden Trusted Execution Environments (TEEs) eingesetzt, um sensible Teile des Modells zu isolieren. Bestehende Ansätze zur Partitionierung (Aufteilung des Modells zwischen TEE und REE) scheitern jedoch an einem fundamentalen Zielkonflikt zwischen Sicherheit und Effizienz:

• Training-before-Partition (TBP): Das Modell wird zuerst vollständig trainiert und dann aufgeteilt. Dies führt zu einer intrinsischen Informationsleckage, da die im REE verbleibenden Schichten immer noch semantische Merkmale enthalten, die für Angriffe nutzbar sind.
• Partition-before-Training (PBT): Das Modell wird vor dem Training aufgeteilt. Dies verbessert die Sicherheit, führt aber zu strukturellen Abhängigkeiten. Die TEE-Subnetzwerke müssen oft die Topologie des Hauptmodells nachahmen, was zu ineffizienten, synchronisierten Ausführungsflüssen führt (Lock-Step-Execution), da TEE (CPU) und REE (GPU) nicht parallel arbeiten können. Zudem ignorieren diese Ansätze oft die spezifischen Hardware-Beschränkungen des TEE (z. B. begrenzter sicherer Speicher).

2. Methodik: SPOILER Framework

Die Autoren schlagen SPOILER vor, ein neues Paradigma namens Search-Before-Training (SBT). Das Framework besteht aus zwei Hauptphasen:

A. Hardware-Aware Neural Architecture Search (NAS)

Anstatt eine feste Topologie zu verwenden, sucht SPOILER aktiv nach einer optimalen TEE-Subnetzwerk-Konfiguration, die spezifisch auf die Hardware-Einschränkungen des TEE (z. B. ARM TrustZone auf NVIDIA Jetson Orin) zugeschnitten ist.

• Ziel: Maximierung der Genauigkeit bei strikter Einhaltung von Hardware-Limits (Speicher, Latenz).
• Suchraum: Das Subnetzwerk besteht aus leichten, parametrisierten Blöcken (z. B. für CNNs und Transformer), die als „Side-Branch" fungieren. Es werden parameterfreie Adapter verwendet, um die Datenübertragung zwischen REE und TEE zu komprimieren, ohne neue lernbare Parameter im unsicheren REE einzuführen.
• Optimierung: Ein multi-objektiver Ansatz (Bayesian Optimization mit SAAS-GP) findet die Pareto-Optimalen Lösungen für Genauigkeit und parallele Latenz.
• Parallelität: Durch die Entkopplung der TEE-Subnetzwerke vom Backbone wird eine asynchrone parallele Ausführung ermöglicht. Die TEE- und REE-Komponenten arbeiten unabhängig voneinander, was Synchronisationsengpässe eliminiert.

B. Self-Poisoning Learning (Selbstvergiftung)

Da das TEE-Subnetzwerk aufgrund seiner geringen Größe (Hardware-Limits) nicht allein hohe Genauigkeit erreichen kann, muss es mit dem REE-Backbone zusammenarbeiten. Um jedoch zu verhindern, dass der Angreifer das REE-Modell allein nutzen kann, wird eine Selbstvergiftungs-Strategie eingeführt.

• Prinzip: Während des Trainings wird das REE-Backbone absichtlich „vergiftet". Ein adversarischer Term in der Verlustfunktion ($-\mathcal{L}_{CE}$) sorgt dafür, dass das Backbone allein keine sinnvollen Vorhersagen mehr trifft (funktionale Inkohärenz).
• Synergie: Das kombinierte Modell (Backbone + TEE-Subnetzwerk) lernt komplementäre Repräsentationen. Nur wenn beide Teile zusammenarbeiten, wird die hohe Genauigkeit erreicht. Ohne das TEE-Komponente ist das REE-Modell für Angreifer wertlos.

3. Hauptbeiträge

1. Identifikation von Limitierungen: Die Arbeit zeigt auf, dass bestehende TSDP-Ansätze (TBP und PBT) aufgrund struktureller Abhängigkeiten und Hardware-Ignoranz keine optimale Balance zwischen Sicherheit und Effizienz erreichen.
2. SBT-Paradigma & SPOILER: Einführung eines neuen Frameworks, das Hardware-bewusste NAS nutzt, um TEE-Subnetzwerke zu entdecken, die für parallele Ausführung optimiert sind.
3. Self-Poisoning Learning: Eine innovative Trainingsstrategie, die logische Isolation erzwingt, indem sie exponierte Komponenten funktional unbrauchbar macht, ohne auf kostspielige Verschlüsselung (Obfuscation) angewiesen zu sein.
4. Umfassende Evaluation: Demonstration der Überlegenheit von SPOILER gegenüber State-of-the-Art-Lösungen in Bezug auf Sicherheit, Latenz und Genauigkeit auf verschiedenen Architekturen (CNNs, Transformers) und Hardware.

4. Ergebnisse

Die Evaluation wurde auf einem NVIDIA Jetson Orin (mit OP-TEE/TrustZone) durchgeführt, unter Verwendung von Modellen wie VGG16-BN, ResNet-18 und ViT-Base auf Datensätzen (CIFAR-10/100, TinyImageNet).

• Sicherheit: SPOILER erzielt die niedrigste Genauigkeit bei Angreifer-Surrogat-Modellen. Im Vergleich zu Black-Box-Angriffen liegt die Genauigkeit der gestohlenen Modelle oft nahe bei Zufallswerten (z. B. 12,36 % bei ResNet-18/CIFAR-10 im Vergleich zu 34,44 % bei der besten Baseline GroupCover).
• Effizienz (Latenz): Durch die parallele Ausführung und die Vermeidung von Synchronisations-Overhead ist SPOILER signifikant schneller als PBT-Methoden (wie TEESlice oder TB-Net), die unter sequentiellen Engpässen leiden. In einigen Fällen (z. B. VGG16-BN) ist SPOILER sogar schneller als ein ungeschütztes GPU-Modell, da das Subnetzwerk unabhängig terminieren kann.
• Genauigkeit: SPOILER erreicht eine Genauigkeit, die der eines vollständig feinabgestimmten Modells (ohne Schutz) entspricht oder diese sogar übertrifft (z. B. +7,4 % bei ResNet-18 auf TinyImageNet).
• Feasibility: Das System funktioniert stabil unter verschiedenen Hardware-Einschränkungen (unterschiedliche Stromsparmodi des Jetson Orin) und passt sich flexibel an, indem der „Vergiftungs"-Faktor $\lambda$ angepasst wird.

5. Bedeutung und Fazit

SPOILER stellt einen Paradigmenwechsel in der sicheren Inferenz auf Edge-Geräten dar. Es löst das langjährige Dilemma, dass Sicherheit (Isolierung) und Effizienz (Parallelität) bisher unvereinbar waren.

• Technischer Durchbruch: Die Entkopplung der TEE-Architektur vom Backbone durch NAS ermöglicht echte Parallelität und eliminiert die Notwendigkeit von ineffizienten Synchronisationsmechanismen.
• Praktische Relevanz: Die Methode ist hardwareagnostisch (funktioniert bei CNNs und Transformern) und benötigt keine teuren kryptografischen Operationen, was sie für ressourcenbeschränkte Edge-Geräte ideal macht.
• Zukunft: SPOILER bietet einen robusten Schutz gegen Modell-Diebstahl, während die Leistungsfähigkeit der KI-Anwendungen erhalten bleibt, und ebnet den Weg für vertrauenswürdige KI direkt auf Endgeräten.