💻 computer science

A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

Dit artikel stelt een methode voor en valideert een implementatie van activatiefuncties op ARM Cortex-M4-microcontrollers met constante tijd die tijdsgebaseerde zijkanalaanvallen elimineert door middel van selectie zonder vertakkingen, Padé-benaderingen met vaste kosten en cyclusuitlijning, terwijl tegelijkertijd een hoge numerieke nauwkeurigheid wordt behouden over meerdere functietypes heen.

Oorspronkelijke auteurs: Andrii Tyvodar, Andreas Rechberger, Dirmanto Jap, Shivam Bhasin, Bernhard Jungk, Jakub Breier, Xiaolu Hou

Gepubliceerd 2026-05-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Andrii Tyvodar, Andreas Rechberger, Dirmanto Jap, Shivam Bhasin, Bernhard Jungk, Jakub Breier, Xiaolu Hou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slim apparaat hebt, zoals een fitnessband of een medische sensor, die een "hersenen" (een neurale netwerk) gebruikt om beslissingen te nemen. Deze hersenen hebben speciale schakelaars, activatiefuncties genaamd, die bepalen hoe informatie wordt verwerkt.

Het probleem is dat deze schakelaars geheimen lekken. Net zoals een persoon sneller met zijn voet kan tikken als hij opgewonden is, of langzamer als hij verveeld is, nemen deze softwareschakelaars lichtelijk verschillende hoeveelheden tijd in beslag, afhankelijk van de gegevens die ze verwerken. Een sluwe hacker die in de buurt staat, kan luisteren naar deze "tijdtikjes" en uitzoeken waar het apparaat over nadenkt, of zelfs de hersenen van het apparaat reverse-engineeren.

De Oude Manier: Het Ruisen Verbergen

Vroeger probeerden onderzoekers dit op te lossen door willekeurige ruis toe te voegen. Stel je voor dat je probeert een geheim code te verbergen door het hardop te schreeuwen, maar dan willekeurige statische ruis aan je stem toevoegt zodat niemand het patroon kan horen. Het artikel noemt dit "desynchronisatie".

De auteurs testten dit en ontdekten dat het niet goed werkte. Zelfs met de statische ruis konden hackers, als ze lang genoeg luisterden en een slimme statistische truc gebruikten (zoals een sjabloonmatch), het patroon nog steeds achterhalen. Het is alsof je probeert een vingerafdruk te verbergen door deze met modder te smeren; een gespecialiseerd rechercheur kan de modder nog steeds wegvegen en de afdruk vinden.

De Nieuwe Oplossing: De "Constante-Tijd" Fabriek

De auteurs stellen een volledig andere aanpak voor: Constante-Tijd Implementatie.

In plaats van te proberen de tijd te verbergen die nodig is om een taak uit te voeren, hebben ze de taak zo herontworpen dat deze altijd precies even lang duurt, ongeacht de invoer.

Stel je dit voor als een fabrieksassemblagelijn:

De Oude Manier: Als een werknemer een klein doosje krijgt, is hij binnen 2 seconden klaar. Als hij een groot doosje krijgt, duurt het 5 seconden. Een waarnemer kan de grootte van het doosje gewoon door naar de klok te kijken, bepalen.
De Nieuwe Manier: De fabriek is zo herontworpen dat elke werknemer, ongeacht de grootte van het doosje, precies 5 seconden nodig heeft.
- Als het doosje klein is, doet de werknemer het werk in 2 seconden en zit hij vervolgens 3 seconden stil te wachten (met "dummy"-werk) om de tijd op te vullen.
- Als het doosje groot is, werkt hij de volledige 5 seconden.
- Resultaat: Voor een buitenstaander duurt elke enkele taak precies 5 seconden. Het tijdsgeheim is weg.

Hoe Ze Het Deden (Het Toolkit)

Om deze "perfect getimde" fabriek op kleine computerchips (microcontrollers) te bouwen, gebruikten de auteurs vier hoofdtools:

Geen "Als/Dan" Vertakkingen: Computers vertragen of versnellen vaak op basis van beslissingen (zoals "Als het getal negatief is, doe X; anders doe Y"). De auteurs verwijderden deze beslissingen. In plaats daarvan berekenen ze beide mogelijkheden en gebruiken ze een wiskundig "masker" om direct de juiste te kiezen, zonder te pauzeren om te beslissen.
De "Padé" Afkorting: Het berekenen van complexe krommen (zoals Sigmoid of Tanh) is traag en varieert in tijd. De auteurs vervingen deze zware berekeningen door een slimme, vaste-stap wiskundige afkorting (een rationale benadering) die altijd evenveel stappen kost.
Dummy-Arithmetiek: Voor de eenvoudigste schakelaar (ReLU), die normaal gesproken bijna geen tijd kost, voegden ze "dummy"-wiskundestappen toe. Dit is als de werknemer die stil zit; het zorgt ervoor dat de eenvoudige schakelaar even lang duurt als de complexe.
Cyclusuitlijning: Ze telden zorgvuldig elke enkele "tik" van de klok van de computer om ervoor te zorgen dat elke functie op precies hetzelfde moment klaar is.

De Resultaten

Het team testte dit op vijf veelvoorkomende activatiefuncties (ReLU, Sigmoid, Tanh, GELU en Swish) op een ARM Cortex-M4-chip (veelvoorkomend in ingebouwde apparaten).

Timing: In de oude, onbeschermde versie varieerde de tijd enorm. In de nieuwe versie duurde elke enkele invoer precies 108 klokcycli (ongeveer 1,3 microseconden). De timing was perfect vlak.
Nauwkeurigheid: Ze maakten zich zorgen dat het toevoegen van dummy-stappen en afkortingen de wiskunde foutief zou maken. Echter, ze ontdekten dat de fouten miniem waren – zo klein dat het apparaat voor praktische doeleinden nog steeds correct nadenkt.
Snelheid: Verrassend genoeg was de nieuwe methode voor de complexe functies zelfs sneller dan de oude standaardmethoden, omdat de afkortingen efficiënter waren, zelfs al voegden ze dummy-stappen toe om de timing te matchen.

De Conclusie

Het artikel bewijst dat je een "tijdbestendige" activatiefunctie kunt bouwen voor kleine apparaten. Door elke berekening te dwingen precies even lang te duren, stop je hackers ervan om naar de "hartslag" van het apparaat te luisteren om geheimen te stelen. Het is een praktische, efficiënte manier om ingebouwde AI veiliger te maken zonder de prestaties van het apparaat te breken.

Technische Samenvatting: Methodologie voor Implementatie met Constante Tijd voor Activeringsfuncties op Microcontrollers

Probleemstelling
Ingebedde neurale-netwerkinferentie op microcontrollers met beperkte middelen is steeds meer kwetsbaar voor tijdsgebaseerde zijkanalaanvallen. Recent onderzoek heeft aangetoond dat activeringsfuncties binnen deze netwerken informatie lekken via variaties in de uitvoeringstijd die afhankelijk zijn van invoerwaarden en functietypes. Deze lekken stellen aanvallen in staat om onderscheid te maken tussen verschillende activeringsfuncties (bijvoorbeeld ReLU versus sigmoid) en mogelijk modelarchitecturen te reverse-engineeren of gevoelige invoergegevens af te leiden. Hoewel bestaande tegenmaatregelen, zoals desynchronisatie (het introduceren van willekeurige vertragingen), proberen deze tijdspatronen te verbergen, elimineren ze het onderliggende, invoerafhankelijke gedrag niet. Bijgevolg kunnen geprofileerde template-gebaseerde aanvallen toch statistisch onderscheid maken tussen activeringsfuncties, ondanks de toegevoegde ruis.

Methodologie
De auteurs stellen een methodologie voor implementatie met constante tijd voor, ontworpen om invoerafhankelijke variaties in uitvoeringstijd bij de bron te elimineren, in plaats van ze slechts te verbergen. De aanpak is geïmplementeerd op een ARM Cortex-M4-platform (STM32F411) en richt zich op vijf veelgebruikte activeringsfuncties: ReLU, sigmoid, tanh, Gaussian Error Linear Unit (GELU) en Swish.

De methodologie rust op vier kerncomponenten:

Takvrije, Masker-gebaseerde Selectie: Om divergentie in het controleverloop te voorkomen, vermijdt de implementatie data-afhankelijke vertakkingen. In plaats daarvan gebruikt het logisch maskeren en bitbewerkingen (EN/OF) om te kiezen tussen kandidaatwaarden (bijvoorbeeld verzadigde uitkomsten versus benaderingsresultaten) op basis van de bitrepresentatie van de invoer. Dit zorgt ervoor dat de instructiesequentie identiek blijft, ongeacht de invoerwaarde.
Vaste Kosten Padé-gebaseerde Benadering: Voor niet-lineaire functies (sigmoid, tanh, GELU, Swish) vervangen de auteurs standaard evaluaties van transcedente functies door een gedeelde, vaste-kosten rationele benadering gebaseerd op de Padé-benadering voor $\tanh(x)$ $tanh (x)$ , aangeduid als $R_{tanh}(x)$ $R_{t anh} (x)$ . Deze benadering omvat een vaste reeks optellingen, vermenigvuldigingen en één enkele deling, en vermijdt lussen of intervalselectie die afhankelijk is van de invoer.
- Sigmoid en Swish worden geconstrueerd met behulp van de identiteit $S(x) = \frac{1}{2}(1 + \tanh(x/2))$ .
- GELU wordt benaderd met een op $\tanh$ gebaseerde formulering.
Masker-gebaseerde Verzadiging: Om invoer buiten het benaderingsgebied te verwerken, maakt de methodologie gebruik van verzadigingslogica (afklemmen naar 0, 1 of $x$ ), geïmplementeerd via dezelfde takvrije maskerstrategie. Dit zorgt ervoor dat zelfs wanneer de rationele benadering wordt omzeild voor verzadigde invoer, het uitvoerpad en het aantal cyclus constant blijven.
Cyclusuitlijning en Dummy-Arithmetiek: Om identieke uitvoeringstijden te bereiken voor alle vijf functies, introduceren de auteurs dummy-arithmetische bewerkingen. Specifiek wordt de eenvoudige ReLU-functie, die van nature veel sneller uitvoert dan de niet-lineaire benaderingen, uitgebreid met dezelfde op $R_{tanh}$ gebaseerde arithmetische reeks (zonder het eindresultaat te beïnvloeden) om het aantal cyclus af te stemmen op de complexere functies. Minimale NOP-opvulling wordt uitsluitend gebruikt voor fijnkorrelige uitlijning.

Belangrijkste Bijdragen

Methodologie met Constante Tijd: Het artikel introduceert een herbruikbaar constructieprincipe voor activeringsfuncties dat een uitvoeringstijd onafhankelijk van de invoer garandeert op ingebouwde microcontrollers.
Implementatie op Vijf Functies: De methodologie is succesvol toegepast op ReLU, sigmoid, tanh, GELU en Swish, met gebruikmaking van een gedeelde rationele benadering voor de niet-lineaire componenten.
Kwetsbaarheid van Desynchronisatie: De auteurs tonen aan dat tegenmaatregelen gebaseerd op desynchronisatie, hoewel ze tijdsporen visueel verbergen, kwetsbaar blijven voor geprofileerde template-gebaseerde tijdsaanvallen. Statistische analyse van uitvoeringstijden stelt een aanvaller in staat met hoge zekerheid onderscheid te maken tussen activeringsfuncties na voldoende metingen.
Experimentele Validatie: Het werk levert empirisch bewijs dat de voorgestelde beveiligde implementaties voor alle geteste invoer identieke cyclusaantallen bereiken, waardoor tijdslekken effectief worden onderdrukt.

Experimentele Resultaten
De methodologie werd geëvalueerd op een ARM Cortex-M4 draaiend op 84 MHz.

Tijdsregelmaat:
- In een setting met drie functies (ReLU, sigmoid, tanh) over het interval $[-8, 8]$ , voerden alle beveiligde implementaties exact 88 klokcycli uit (1,048 µs), ongeacht de invoerwaarde.
- In een uitgebreide setting met vijf functies (inclusief GELU en Swish) over het interval $[-500, 500]$ , voerden alle implementaties exact 108 klokcycli uit (1,286 µs).
- Daarentegen vertoonden onbeveiligde implementaties aanzienlijke variaties in uitvoeringstijd (bijvoorbeeld nam onbeveiligde ReLU ongeveer 12 cycli, terwijl onbeveiligde tanh ongeveer 403 cycli nam) en invoerafhankelijke fluctuaties.
Numerieke Nauwkeurigheid:
- De benaderingen behielden een hoge nauwkeurigheid. Voor het interval $[-8, 8]$ was de gemiddelde kwadratische fout (MSE) voor sigmoid $2,93 \times 10^{-12}$ en voor tanh $6,14 \times 10^{-10}$ .
- In het uitgebreide interval $[-500, 500]$ bleven de fouten verwaarloosbaar voor sigmoid en tanh (aangezien deze snel verzadigen), terwijl GELU en Swish een lage fout vertoonden die gelokaliseerd was rond verzadigingsdrempels (Maximale absolute fout voor Swish was $1,11 \times 10^{-3}$ ).
Prestatieafwegingen:
- De beveiligde ReLU-implementatie leed een toename in latentie (van ongeveer 12 naar 88/108 cycli) door het invoegen van dummy-arithmetiek voor uitlijning.
- Omgekeerd waren de beveiligde niet-lineaire functies aanzienlijk sneller dan hun onbeveiligde tegenhangers (bijvoorbeeld waren beveiligde sigmoid/tanh ongeveer 33-38% sneller dan onbeveiligde versies) omdat de rationele benadering efficiënter is dan standaardbibliotheektranscedente functies op de doelhardware.

Betekenis en Claims
Het artikel beweert dat de voorgestelde methodologie een praktische basis biedt voor het construeren van zijkanalbestendige activeringsfuncties in ingebouwde inferentie. Door te verschuiven van "verbergen" (randomisatie) naar "ontwerp met constante tijd", elimineert de aanpak de worteloorzaak van tijdslekken: invoerafhankelijke uitvoeringspaden. De auteurs stellen dat deze methodologie het mogelijk maakt om activeringsfuncties te construeren waarbij de uitgevoerde instructiesequentie onafhankelijk is van de invoerwaarde, waardoor template-gebaseerde tijdsaanvallen worden voorkomen.

Het werk positioneert zichzelf als een bouwsteen voor veilig ingebouwd machine learning, met name voor privacygevoelige randapparaten (bijvoorbeeld medische sensoren, draagbare apparaten) waar tijdsinformatie toegankelijk kan zijn voor aanvallen. De auteurs merken bescheiden op dat hoewel dit tijdslekken in activeringsfuncties aanpakt, het geen volledige tegenmaatregel vormt voor de gehele inferentiepijplijn, en dat andere zijkanalen (stroom, EM) of implementatiedetails mogelijk nog bescherming vereisen. De studie richt zich specifiek op het tijdsdomein en claimt niet alle potentiële zijkanaalvectoren aan te pakken.