💻 computer science

Verifiable and Confidential DNN Inference on Low-End Edge Devices

Dieses Paper präsentiert VECODI, ein Framework, das verifizierbare und vertrauliche DNN-Inferenz auf Low-End-Edge-Geräten ermöglicht, indem es SHANGRI-LA einführt, eine neuartige Aus abstractionsschicht auf TrustZone-M TEEs, welche die Trusted Computing Base sowie den Overhead minimiert und gleichzeitig die Modellintegrität schützt.

Ursprüngliche Autoren: Mohamed Khalil Kiri (EURECOM), Ivan De Oliveira Nunes (University of Zurich), Aurélien Francillon (EURECOM), Norrathep Rattanavipanon (PSU Phuket)

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohamed Khalil Kiri (EURECOM), Ivan De Oliveira Nunes (University of Zurich), Aurélien Francillon (EURECOM), Norrathep Rattanavipanon (PSU Phuket)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein Geheimrezept für einen köstlichen Kuchen (dies ist das KI-Modell). Sie möchten eine kleine, lokale Bäckerei (das Edge-Gerät, wie etwa eine intelligente Kamera oder ein Sensor) das Backen dieses Kuchens für Kunden ermöglichen, ohne jemals das Rezept preiszugeben. Gleichzeitig müssen Sie sicherstellen, dass die Bäckerei nicht schummelt, indem sie einen gekauften Kuchen serviert und behauptet, es sei Ihrer, oder indem sie zu viele Kuchen backt, obwohl Sie nur für einen bezahlt haben.

Dies ist genau das Problem, das VECODI für winzige, kostengünstige Computer löst.

So bricht die Arbeit dies unter Verwendung einfacher Analogien auf:

Das Problem: Das „Vertrauenszonen“-Dilemma

Normalerweise stellt man, um ein Geheimnis sicher aufzubewahren, es in einen hochsicheren Tresor (einen sogenannten Trusted Execution Environment oder TEE).

Der alte Weg: Um das KI-Modell zu schützen, versuchten Forscher, den gesamten Backprozess in diesen Tresor zu legen.
- Der Fehler: Der Tresor ist winzig (wie ein Schuhkarton). Er kann nicht das ganze Rezept und die Rührschüsseln aufnehmen. Außerdem, wenn der Bäcker (der KI-Code) einen Fehler oder einen Bug hat, kann er den Tresor sprengen und die Schlüssel zu allem anderen im Inneren stehlen.
Der andere Weg: Das Backen außerhalb in der offenen Küche durchführen.
- Der Fehler: Jeder kann hineinlaufen, das Rezept stehlen oder den Kuchen durch einen gefälschten ersetzen.

Die Lösung: VECODI und „Shangri-La“

Die Autoren haben ein neues System namens VECODI entwickelt. Seine Geheimzutat ist ein neues Konzept, das sie SHANGRI-LA nennen.

Stellen Sie sich den Speicher des Computers wie ein Haus mit zwei Zimmern vor:

Das sichere Zimmer (Der Tresor): Sehr klein, bewacht von einem Roboter. Nur die kritischsten Schlüssel leben hier.
Das normale Zimmer (Die Küche): Groß, wo das ganze unordentliche Kochen stattfindet. Es ist normalerweise nicht vertrauenswürdig.

SHANGRI-LA ist eine „Magische Glasbox“, die im normalen Zimmer gebaut wurde.

Sie steht in der offenen Küche, hat aber spezielle Glaswände, die die Leute in der Küche nicht durchbrechen oder hindurchsehen können.
Der Roboter im sicheren Zimmer hält die Schlüssel zu den Glaswänden.
Das Beste daran: Das KI-Modell (das geheime Rezept) lebt in dieser Glasbox. Auch der Code, der das Backen ausführt, lebt dort.
Der Clou: Das sichere Zimmer (der Tresor) muss weder das Rezept kennen noch wissen, wie man backt. Es muss nur wissen, wie man die Glasbox abschließt und aufschließt. Dies hält den Tresor winzig und sicher, selbst wenn der Back-Code riesig ist oder Fehler enthält.

Wie es in der Praxis funktioniert

Das Setup (Provisionierung): Der Besitzer der KI (der Chefkoch) legt den geheimen Teil des Rezepts in eine verschlüsselte Box und gibt sie der Bäckerei. Der Chefkoch gibt der Bäckerei auch ein spezielles „Glasbox“-Setup. Der Chefkoch sagt dem Roboter der Bäckerei: „Lass nur den Besitzer der Bäckerei backen, und zwar nur 100 Mal.“
Das Backen (Inferenz): Wenn ein Kunde einen Kuchen möchte, bittet der Besitzer der Bäckerei den Roboter, die Glasbox zu öffnen.
- Der Roboter überprüft den Ausweis.
- Der Roboter verwandelt die Glasbox für einen kurzen Augenblick in eine „Sicherheitszone“.
- Das Backen findet innerhalb der Box statt. Die Menschen in der offenen Küche (Hacker) können das Rezept nicht sehen und auch nicht an die Rührschüsseln gelangen.
- Sobald der Kuchen fertig ist, schließt der Roboter die Box wieder ab und übergibt den Kuchen.
Der Beweis (Verifizierbarkeit): Der Besitzer der Bäckerei übergibt nicht einfach nur den Kuchen; er übergibt auch einen versiegelten Beleg, der vom Roboter signiert wurde.
- Dieser Beleg beweist: „Dieser Kuchen wurde mit Ihrem geheimen Rezept gebacken, in dieser spezifischen Box, zu dieser exakten Zeit, unter Verwendung dieser spezifischen Zutat.“
- Der Kunde kann den Beleg überprüfen, um sicherzustellen, dass die Bäckerei nicht geschummelt hat, ohne jemals das geheime Rezept oder die rohen Zutaten sehen zu müssen.

Warum das eine große Sache ist (Die Ergebnisse)

Die Autoren haben dies auf einem echten, winzigen Entwicklerboard (einem NUCLEO-L552ZE-Q) getestet. Hier ist, was sie herausfanden:

Winziger Tresor: Durch das Verschieben des schweren Back-Codes aus dem sicheren Zimmer in die Glasbox reduzierten sie die Größe der „Vertrauenszone“ (des Teils, der perfekt sicher sein muss) um 95 %. Das bedeutet, das System ist viel schwerer zu hacken, da es weniger Code zu schützen gibt.
Schnell: Die „Glasbox“ verursacht fast keine Verzögerung. Sie verlangsamte den Backprozess um lediglich 0,07 % (weniger als eine Millisekunde). Es ist schnell genug für Echtzeitaufgaben wie das Stoppen eines Autos oder die Diagnose eines Patienten.
Sicher vor Diebstahl: Selbst wenn ein Hacker die Bäckerei (das normale Zimmer) übernimmt, kann er das Rezept nicht stehlen, da es in der Glasbox eingeschlossen ist. Er kann auch nicht unendlich viele Kuchen backen, da der Roboter die Anwendungen zählt.

Zusammenfassung

VECODI ist wie der Bau einer sicheren, unsichtbaren Küche in einem regulären, nicht vertrauenswürdigen Haus. Es ermöglicht winzigen, günstigen Computern, leistungsstarke, geheime KI-Modelle auszuführen, ohne teure High-End-Hardware zu benötigen, während es gleichzeitig der Welt beweist, dass die Ergebnisse echt sind und nicht manipuliert wurden.

Technisches Resümee: VECODI

Problemstellung

Die Bereitstellung von Deep Neural Network (DNN) Inferenz auf Low-End-Edge-Geräten (z. B. Mikrocontrollern) stellt zwei gegensätzliche Herausforderungen dar: die Gewährleistung der Modellkonfidentialität gegen kompromittierte Edge-Systeme und die Ermöglichung verifizierbarer Inferenz ohne prohibitive Overhead-Kosten.

Bestehende Lösungen stehen vor erheblichen Einschränkungen:

TEE-geschützte DNN-Partitionierung (TSDP): Während diese Ansätze sensible Modellschichten innerhalb von Trusted Execution Environments (TEEs) schützen, erfordern sie die Platzierung des Inferenzcodes und der Bibliotheken direkt in der Secure World. Dies vergrößert die Trusted Computing Base (TCB) erheblich, erhöht die Angriffsfläche und belastet den begrenzten Speicher von Low-End-Geräten.
Vollständige TEE-Ausführung: Die Ausführung der gesamten Pipeline in der TEE ist aufgrund von Speicherbeschränkungen oft nicht machbar (Secure RAM umfasst typischerweise wenige Zehntausend Kilobyte, während DNNs Megabytes benötigen).
Nicht vertrauenswürdige Ausführung: Eine rein in der Normal World stattfindende Ausführung bietet keinen Schutz gegen Modellextraktion oder Resultat-Spoofing durch Malware.

Darüber hinaus adressieren aktuelle Ansätze oft nicht Modellextraktionsangriffe (bei denen Angreifer Modelle über Inferenzanfragen rekonstruieren) oder führen durch kryptografische Beweise einen übermäßigen Rechenaufwand ein, was sie für leistungskonstante Edge-Geräte ungeeignet macht.

Methodik

Die Autoren schlagen VECODI vor, ein Framework für verifizierbare und konfidentielle DNN-Inferenz auf ARM TrustZone-M-Plattformen. Die zentrale Innovation ist eine neue Ausführungsabstraktion namens SHANGRI-LA.

SHANGRI-LA: Eine dritte Laufzeitumgebung

Im Gegensatz zu traditionellen TrustZone-M-Architekturen, die strikt zwischen der Secure World (SW) und der Non-Secure World (NSW) trennen, etabliert SHANGRI-LA eine dritte Laufzeitumgebung, die sich physisch in der Non-Secure World befindet, aber über durch die Secure World durchgesetzte erhöhte Privilegien verfügt.

Privilegmodell: SHANGRI-LA besitzt Privilegien, die strikt zwischen der Secure und der Non-Secure World liegen. Es ist vor der Non-Secure World geschützt (verhindert Code-/Datenmanipulation), kann jedoch die Komponenten der Secure World nicht beeinflussen.
Speichermanagement: SHANGRI-LA-Code und -Daten befinden sich im Non-Secure RAM. Während der Create-Phase markiert die Secure World diese Regionen jedoch temporär als Secure, um den Zugriff zu verhindern. Unmittelbar vor der Ausführung markiert die Execute-API diese Bereiche atomar wieder als Non-Secure, wodurch der Code in der Normal World ausgeführt werden kann, während die Isolation gegenüber anderen Non-Secure-Prozessen gewahrt bleibt.
Hardwarezugriff: SHANGRI-LA behält den direkten Zugriff auf Hardware-I/O-Peripheriegeräte bei, um sicherzustellen, dass die Erfassung von Sensordaten nicht durch die Normal World abgefangen oder manipuliert werden kann.

VECODI-Protokoll

VECODI orchestriert die Interaktionen zwischen vier Stakeholdern: einem Modellanbieter (PVD), einem Edge-Gerät (DEV), einem Modellkonsumenten (CSM) und einem Verifizierer (VRF). Das Protokoll besteht aus vier Phasen:

Bereitstellung (I1): Der PVD partitioniert das DNN-Modell in eine öffentliche Komponente ( $M_{pub}$ ) und eine private Komponente ( $M_{pri}$ ). $M_{pri}$ ist verschlüsselt. Der Inferenzcode ( $F$ ), $M_{pub}$ und das verschlüsselte $M_{pri}$ werden in der Normal World installiert. Metadaten und Schlüssel werden via der Provision-API in die Secure World bereitgestellt.
Autorisierung (I2): Der CSM fordert Zugriff vom PVD an. Der PVD stellt ein signiertes Autorisierungstoken ( $T_{CSM}$ ) aus, das Nutzungslimits spezifiziert. Die Secure World des DEV aktualisiert die SHANGRI-LA-Instanzrichtlinie via der Authorize-API.
Inferenz (I3): Der CSM ruft die Create-API auf, um SHANGRI-LA zu instanziieren. Anschließend ruft er Execute auf und stellt ein signiertes Token bereit. Die Secure World validiert die Anfrage, wechselt den SHANGRI-LA-Speicher in den Non-Secure-Modus und führt $F$ aus. $F$ ruft Rohsensordaten ab, führt die Inferenz unter Verwendung von $M$ durch und generiert einen Output ( $Out_F$ ).
Verifizierung (I4): Falls angefordert, generiert die Secure World einen Proof of Execution (PoX) ( $T_{proof}$ ), der mit dem Attestierungsschlüssel des Geräts signiert ist. Dieser Beweis bindet den Input, die spezifische Modell-ID, die Ausführungsinstanz und den Output. Der VRF validiert diesen Beweis, ohne Zugriff auf die Rohdaten des Inputs zu benötigen.

Zentrale Sicherheitsmechanismen

Konfidentialität: $M_{pri}$ ist im Flash verschlüsselt und wird während der Ausführung nur in den geschützten Non-Secure RAM entschlüsselt. Die Secure World stellt sicher, dass kein anderer Non-Secure-Code auf diesen Speicher zugreifen kann.
Verifizierbarkeit: Der PoX-Mechanismus garantiert, dass der Output durch den korrekten Code ( $F$ ) auf dem korrekten Modell ( $M$ ) unter Verwendung authentischer Sensoreingaben erzeugt wurde, ohne die Rohinputs gegenüber dem Verifizierer preiszugeben.
Anti-Extraktion: Die Authorize-API erzwingt strikte Nutzungslimits, was Modellextraktionsangriffe minimiert, die auf hochfrequenten Inferenzanfragen basieren.

Zentrale Beiträge

SHANGRI-LA Abstraktion: Die Einführung einer leichtgewichtigen, dritten Laufzeitumgebung auf TrustZone-M, die Isolation von der Normal World bietet, ohne die Ausführung des Inferenzcodes innerhalb der Secure World zu erfordern. Dies ermöglicht es Drittanbietern, vertrauenswürdige Anwendungen bereitzustellen, ohne die Kernkomponenten der Secure World zu modifizieren.
Sichere und verifizierbare Inferenz: Ein vollständiges Protokoll (VECODI), das Modellkonfidentialität und verifizierbare Inferenz auf Low-End-Geräten erreicht. Es komberiert SHANGRI-LA mit einem Inferenz-Autorisierungsmechanismus und einem Proof-of-Execution-Schema, das die Input-Privatsphäre wahrt.
Praktische Implementierung: Eine Prototyp-Implementierung auf einem NUCLEO-L552ZE-Q Entwicklerboard (ARM Cortex-M33), die die Machbarkeit des Ansatzes auf ressourcenbeschränkter Hardware demonstriert.

Ergebnisse und Evaluierung

Die Autoren evaluierten VECODI gegen eine Baseline, bei der der Inferenzcode vollständig in der Secure World läuft (D2 Design), sowie gegen eine Non-Secure Baseline.

TCB-Reduktion: VECODI reduziert die Secure World TCB um 95,64 % (von 34.865 Zeilen Code auf 1.523 LOC). Entscheidend ist, dass die TCB-Größe im Gegensatz zu vorherigen Ansätzen, bei denen die TCB mit der Anwendung wächst, unabhängig vom Inferenzcode oder der Modellarchitektur ist.
Speicher-Footprint: Durch die Behaltung der öffentlichen Modellkomponente ( $M_{pub}$ ) in der Normal World und die nur temporäre Duplizierung der privaten Komponente ( $M_{pri}$ ) in den geschützten Non-Secure RAM vermeidet VECODI die Notwendigkeit, das gesamte Klartextmodell im Secure RAM zu speichern, was bei Low-End-Geräten oft die Kapazität überschreitet.
Runtime-Overhead: VECODI verursacht einen Runtime-Overhead von lediglich 0,83 ms (0,07 %) im Vergleich zu einer Non-Secure Baseline. Die Beweiserzeugung fügt etwa 230 ms hinzu, was jedoch vergleichbar mit den Signierungskosten ist, die in Basis-Sicherheitssystemen zur Authentifizierung des Geräts erforderlich sind.
Fallstudie: In einem kamerabasierten Bildklassifizierungsszenario hielt VECODI eine durchschnittliche Latenz von 1428,42 ms pro Inferenz auf, was einen vernachlässigbaren Overhead gegenüber der Baseline (1427,57 ms) zeigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass VECODI eine praktische Lösung für sichere DNN-Inferenz auf Low-End-Edge-Geräten darstellt, indem es das Ausführungsmodell grundlegend ändert. Durch die Einführung von SHANGRI-LA demonstrieren die Autoren, dass es möglich ist:

Den Inferenzcode von der Trusted Computing Base zu entkoppeln, wodurch die Angriffsfläche und die TCB-Größe minimiert werden.
Verifizierbare Inferenz und Modellkonfidentialität zu ermöglichen, ohne High-End-Hardwarefunktionen (wie MMUs) zu benötigen oder prohibitive Performance-Einbußen hinzunehmen.
Bestehende TEE-Shielded DNN-Partitionierungsstrategien ohne Modifikation zu unterstützen, was VECODI zu einer direkten Verbesserung für aktuelle Edge-Security-Architekturen macht.

Die Autoren betonen, dass SHANGRI-LA auch über die DNN-Inferenz hinaus von eigenem Interesse ist, da es die Bereitstellung beliebiger vertrauenswürdiger Anwendungen auf TrustZone-M-Geräten ermöglicht, ohne die Kern-Secure-World zu verändern, und damit eine Lücke in aktuellen Low-End-Security-Abstraktionen schließt.