💻 computer science

Verifiable and Confidential DNN Inference on Low-End Edge Devices

Dit artikel presenteert VECODI, een framework dat verifieerbare en vertrouwelijke DNN-inferentie op laagwaardige edge-apparaten mogelijk maakt door SHANGRI-LA te introduceren, een nieuwe executie-abstractie op TrustZone-M TEE's die de vertrouwde computing base en overhead minimaliseert terwijl de modelintegriteit wordt beschermd.

Oorspronkelijke auteurs: Mohamed Khalil Kiri (EURECOM), Ivan De Oliveira Nunes (University of Zurich), Aurélien Francillon (EURECOM), Norrathep Rattanavipanon (PSU Phuket)

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Khalil Kiri (EURECOM), Ivan De Oliveira Nunes (University of Zurich), Aurélien Francillon (EURECOM), Norrathep Rattanavipanon (PSU Phuket)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een geheim recept hebt voor een heerlijke taart (dit is het AI-model). Je wilt een kleine, lokale bakkerij (het edge-apparaat, zoals een slimme camera of sensor) toestaan om deze taart te bakken voor klanten, zonder ooit het recept aan hen te geven. Tegelijkertijd wil je ervoor zorgen dat de bakker niet vals speelt door een winkelkocht taart te serveren en te beweren dat deze van jou is, of door te veel taarten te bakken terwijl je er slechts voor één hebt betaald.

Dit is exact het probleem dat VECODI oplost voor piepkleine, goedkope computers.

Hier is hoe het artikel dit uitlegt, met behulp van eenvoudige analogieën:

Het Probleem: Het "Vertrouwenszone"-dilemma

Normaal gesproken, om een geheim veilig te houden, plaats je het in een superbeveiligde kluis (een Trusted Execution Environment of TEE genoemd).

De Oude Manier: Om het AI-model te beschermen, probeerden onderzoekers het volledige bakproces in deze kluis te plaatsen.
- De Fout: De kluis is pieklein (als een schoenendoos). Er past niet alleen het hele recept in, maar ook de mengkommen. Bovendien, als de bakker (de AI-code) een fout of een bug heeft, kan dit de kluis breken en de sleutels tot alles wat erin zit stelen.
De Andere Manier: Het bakken buiten in de open keuken laten gebeuren.
- De Fout: Iedereen kan naar binnen lopen, het recept stelen, of de taart vervangen door een neppe versie.

De Oplossing: VECODI en "Shangri-La"

De auteurs creëerden een nieuw systeem genaamd VECODI. Het geheime ingrediënt is een nieuw concept dat ze SHANGRI-LA noemen.

Beschouw het geheugen van de computer als een huis met twee kamers:

De Veilige Kamer (De Kluis): Zeer klein, bewaakt door een robot. Alleen de meest kritieke sleutels leven hier.
De Normale Kamer (De Keuken): Groot, waar al het rommelige kookwerk gebeid. Deze is meestal onbetrouwbaar.

SHANGRI-LA is een "Magische Glazen Cabine" gebouwd in de Normale Kamer.

Het staat in de open keuken, maar heeft speciale glazen wanden die de mensen in de keuken niet kunnen breken of doorheen kunnen kijken.
De robot in de Veilige Kamer houdt de sleutels van de glazen wanden.
De Magie: Het AI-model (het geheime recept) leeft binnen deze glazen cabine. De code die het bakken uitvoert, leeft ook daar.
Het Beste Deel: De Veilige Kamer (de Kluis) hoeft het recept niet te kennen of te weten hoe je moet bakken. Het hoeft alleen maar te weten hoe de glazen cabine op slot gaat en weer wordt geopend. Dit houdt de Kluis klein en veilig, zelfs als de bakcode enorm groot is of bugs bevat.

Hoe het in de Praktijk Werkt

De Opzet (Provisioning):
De eigenaar van de AI (de Chef) plaat het geheime deel van het recept in een versleutelde doos en geeft deze aan de bakkerij. De Chef geeft de bakkerij ook een speciale "Glazen Cabine"-opstelling. De Chef zegt tegen de robot van de bakkerij: "Laat alleen de bakker bakken, en slechts 100 keer."
Het Bakken (Inference):
Wanneer een klant een taart wil, vraagt de bakkerij-eigenaar aan de robot om de Glazen Cabine te openen.

De robot controleert de ID.
De robot verandert de Glazen Cabine voor een fractie van een seconde in een "Veilige Zone".
Het bakken vindt plaats binnen de cabine. De mensen in de open keuken (hackers) kunnen het recept niet zien en kunnen ook niet bij de mengkommen.
Zodra de taart klaar is, vergrendelt de robot de cabine weer en overhandigt de taart.

Het Bewijs (Verifiability):
De bakkerij-eigenaar overhandigt niet zomaar een taart; ze overhandigen een verzegeld bonnetje dat door de robot is ondertekend.

Dit bonnetje bewijst: "Deze taart is gebakken met jouw geheime recept, binnen deze specifieke cabine, op dit exacte tijdstip, met dit specifieke ingrediënt."
De klant kan het bonnetje controleren om er zeker van te zijn dat de bakkerij niet heeft valsgespeeld, zonder ooit het geheime recept of de ruwe ingrediënten te hoeven zien.

Waarom dit een Groot Ding is (De Resultaten)

Het artikel heeft dit getest op een echte, kleine ontwikkelkaart (een NUCLEO-L552ZE-Q). Hier is wat ze vonden:

Kleine Kluis: Door de zware bakcode uit de Veilige Kamer naar de Glazen Cabine te verplaatsen, hebben ze de grootte van de "Trust Zone" (het deel dat perfect beveiligd moet zijn) met 95% verminderd. Dit betekent dat het systeem veel moeilijker te hacken is omdat er minder code beschermd hoeft te worden.
Snel: De "Glazen Cabine" voegt bijna geen vertraging toe. Het vertraagde het bakproces met slechts 0,07% (minder dan een milliseconde). Het is snel genoeg voor realtime taken zoals het stoppen van een auto of het diagnosticeren van een patiënt.
Veilig tegen Diefstal: Zelfs als een hacker de bakkerij (de Normale Kamer) overneemt, kunnen ze het recept niet stelen omdat het in de Glazen Cabine op slot zit. Ze kunnen ook niet oneindig veel taarten bakken omdat de robot het aantal keren bijhoudt.

Samenvatting

VECODI is als het bouwen van een veilige, onzichtbare keuken in een gewoon, onbetrouwbaar huis. Het stelt kleine, goedkope computers in staat om krachtige, geheime AI-modellen te draaien zonder dat ze dure, hoogwaardige hardware nodig hebben, terwijl het de wereld bewijst dat de resultaten echt zijn en niet zijn aangepast.

Technische Samenvatting: VECODI

Probleemstelling

Het implementeren van Deep Neural Network (DNN) inferentie op laagwaardige edge-apparaten (bijv. microcontrollers) presenteert twee conflicterende uitdagingen: het waarborgen van modelvertrouwelijkheid tegen gecompromitteerde edge-systemen en het mogelijk maken van verifieerbare inferentie zonder prohibitieve overhead te veroorzaken.

Bestaande oplossingen kampen met aanzienlijke beperkingen:

TEE-Shielded DNN Partitioning (TSDP): Hoewel deze benaderingen gevoelige modellagen binnen Trusted Execution Environments (TEEs) beschermen, vereisen ze dat de inferentiecode en bibliotheken direct in de Secure World worden geplaatst. Dit vergroot de Trusted Computing Base (TCB) aanzienlijk, vergroot het aanvalsoppervlak en belast het beperkte geheugen van laagwaardige apparaten.
Full TEE Execution: Het volledig uitvoeren van de pipeline in de TEE is vaak onhaalbaar vanwege geheugenbeperkingen (Secure RAM is doorgaans tientallen kilobytes, terwijl DNN's megabytes vereisen).
Untrusted Execution: Het volledig draaien in de Normal World biedt geen bescherming tegen modelextractie of resultaatvervalsing door malware.

Bovendien adresseren huidige benaderingen vaak geen modelextractie-aanvallen (waarbij aanvallers modellen reconstrueren via inferentie-queries) of introduceren ze excessieve computationele overhead door cryptografische bewijzen, wat ze ongeschikt maakt voor stroombeperkte edge-apparaten.

Methodologie

De auteurs stellen VECODI voor, een framework voor verifieerbare en vertrouwelijke DNN-inferentie op ARM TrustZone-M platformen. De kerninnovatie is een nieuwe executie-abstractie genaamd SHANGRI-LA.

SHANGRI-LA: Een Derde Runtime-omgeving

In tegenstelling tot traditionele TrustZone-M architecturen die de Secure World (SW) en de Non-Secure World (NSW) strikt scheiden, vestigt SHANGRI-LA een derde runtime-omgeving die fysiek in de Non-Secure World verblijft, maar opereert met verhoogde privileges die worden afgedwongen door de Secure World.

Privilege-model: SHANGRI-LA heeft privileges die strikt tussen de Secure en Non-Secure Worlds in liggen. Het is beschermd tegen de Non-Secure World (voorkomt manipulatie van code/data), maar kan de componenten van de Secure World niet verstoren.
Geheugenbeheer: SHANGRI-LA code en data verblijven in Non-Secure RAM. Echter, tijdens de Create-fase markeert de Secure World deze regio's tijdelijk als Secure om toegang te voorkomen. Vlak voor uitvoering her-markeert de Execute API deze gebieden atomair als Non-Secure, waardoor de code in de Normal World kan draaien terwijl de isolatie ten opzichte van andere Non-Secure processen behouden blijft.
Hardwaretoegang: SHANGRI-LA behoudt directe toegang tot hardware I/O-peripherals, waardoor wordt gegarandeerd dat de acquisitie van sensordata niet kan worden onderschept of gemanipuleerd door de Normal World.

VECODI Protocol

VECODI orkestreert de interacties tussen vier belanghebbenden: een Model Provider (PVD), een Edge Device (DEV), een Model Consumer (CSM) en een Verifier (VRF). Het protocol bestaat uit vier stadia:

Provisioning (I1): De PVD partitioneert het DNN-model in een publieke component ( $M_{pub}$ ) en een private component ( $M_{pri}$ ). $M_{pri}$ is versleuteld. De inferentiecode ( $F$ ), $M_{pub}$ en de versleutelde $M_{pri}$ worden geïnstalleerd in de Normal World. Metadata en sleutels worden via de Provision API naar de Secure World geprovisioneerd.
Authorization (I2): De CSM vraagt toegang aan bij de PVD. De PVD geeft een ondertekende autorisatietoken ( $T_{CSM}$ ) af die gebruikslimieten specificeert. De Secure World van de DEV werkt de SHANGRI-LA instantie-policy bij via de Authorize API.
Inference (I3): De CSM roept de Create API aan om SHANGRI-LA te instantiëren. Vervolgens roept het Execute aan, waarbij een ondertekende token wordt meegegeven. De Secure World valideert de aanvraag, schakelt het SHANGRI-LA geheugen over naar Non-Secure, en voert $F$ uit. $F$ haalt ruwe sensordata op, voert inferentie uit met behulp van $M$ , en genereert een output ( $Out_F$ ).
Verification (I4): Indien gevraagd, genereert de Secure World een Proof of Execution (PoX) ( $T_{proof}$ ) ondertekend met de attestatie sleutel van het apparaat. Dit bewijs koppelt de input, de specifieke model-ID, de executie-instantie en de output. De VRF valideert dit bewijs zonder toegang te hoeven hebben tot de ruwe inputdata.

Belangrijke Beveiligingsmechanismen

Vertrouwelijkheid: $M_{pri}$ is versleuteld in Flash en wordt alleen tijdens de uitvoering gedecrypt in beschermde Non-Secure RAM. De Secure World zorgt ervoor dat geen enkele andere Non-Secure code toegang heeft tot dit geheugen.
Verifieerbaarheid: Het PoX-mechanisme garandeert dat de output is geproduceerd door de juiste code ( $F$ ) op het juiste model ( $M$ ) met authentieke sensoringangen, zonder de ruwe inputs aan de verifieerder te onthullen.
Anti-Extractie: De Authorize API handhaaft strikte gebruikslimieten, wat modelextractie-aanvallen die steunen op hoogfrequente inferentie-queries mitigeert.

Belangrijkste Bijdragen

SHANGRI-LA Abstractie: De introductie van een lichtgewicht, derde runtime-omgeving op TrustZone-M die isolatie biedt van de Normal World zonder dat de inferentiecode binnen de Secure World moet worden uitgevoerd. Dit stelt derden in staat om vertrouwde applicaties te implementeren zonder de kerncomponenten van de Secure World aan te passen.
Veilige en Verifieerbare Inferentie: Een volledig protocol (VECODI) dat modelvertrouwelijkheid en verifieerbare inferentie op laagwaardige apparaten bereikt. Het combineert SHANGRI-LA met een inferentie-autorisatiemechanisme en een proof-of-execution schema dat de privacy van de input waarborgt.
Praktische Implementatie: Een prototype-implementatie op een NUCLEO-L552ZE-Q development board (ARM Cortex-M33) die de haalbaarheid van de benadering op resource-beperkte hardware demonstreert.

Resultaten en Evaluatie

De auteurs hebben VECODI geëvalueerd tegenover een baseline waarbij de inferentiecode volledig in de Secure World draait (D2 design) en een Non-Secure baseline.

TCB Reductie: VECODI reduceert de Secure World TCB met 95,64% (van 34.865 regels code naar 1.523 regels code). Cruciaal is dat de TCB-omvang onafhankelijk is van de inferentiecode of modelarchitectuur, in tegen tegenstelling tot eerdere benaderingen waar de TCB groeit met de applicatie.
Geheugenvoetafdruk: Door de publieke modelcomponent ( $M_{pub}$ ) in de Normal World te houden en alleen de private component ( $M_{pri}$ ) in beschermde Non-Secure RAM te dupliceren, vermijdt VECODI de noodzaak om de volledige plaintext-model in Secure RAM op te slaan, wat vaak de capaciteit van laagwaardige apparaten overschrijdt.
Runtime Overhead: VECODI brengt een runtime overhead met zich mee van slechts 0,83 ms (0,07%) vergeleken met een Non-Secure baseline. De generatie van het bewijs voegt ongeveer 230 ms toe, maar dit is vergelijkbaar met de tekenkosten die vereist zijn in baseline beveiligde systemen om het apparaat te authenticeren.
Case Study: In een camera-gebaseerd beeldclassificatiescenario behield VECODI een gemiddelde latentie van 1428,42 ms per inferentie, wat een verwaarloosbare overhead laat zien ten opzichte van de baseline (1427,57 ms).

Betekenis en Claims

Het artikel claimt dat VECODI een praktische oplossing vormt voor veilige DNN-inferentie op laagwaardige edge-apparaten door het executiemodel fundamenteel te veranderen. Door SHANGRI-LA te introduceren, demonstreren de auteurs dat het mogelijk is om:

De inferentiecode te ontkoppelen van de Trusted Computing Base, waardoor het aanvalsoppervlak en de TCB-omvang worden geminimaliseerd.
Verifieerbare inferentie en modelvertrouwelijkheid mogelijk te maken zonder dat er hoogwaardige hardwarefuncties (zoals MMU's) nodig zijn of excessieve prestatie-impact optreedt.
Bestaande TEE-Shielded DNN Partitioning strategieën te ondersteunen zonder modificatie, wat een "drop-in" verbetering vormt voor huidige edge-security architecturen.

De auteurs stellen dat SHANGRI-LA van onafhankelijk belang is buiten DNN-inferentie, omdat het de implementatie van willekeurige vertrouwde applicaties op TrustZone-M apparaten mogelijk maakt zonder de kern van de Secure World te wijzigen, waarmee een gat in de huidige beveiligingsabstracties voor laagwaardige apparaten wordt gedicht.