💻 computer science

A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

Dieser Artikel schlägt eine Implementierungsmethodik für Aktivierungsfunktionen auf ARM-Cortex-M4-Mikrocontrollern vor und validiert diese, die zeitkonstante Abläufe gewährleistet, indem verzweigungsfreie Selektion, Padé-Approximationen mit festen Kosten und Zyklusausrichtung eingesetzt werden, um Timing-Seitenkanalangriffe zu eliminieren, und dabei gleichzeitig eine hohe numerische Genauigkeit über mehrere Funktionstypen hinweg beibehält.

Ursprüngliche Autoren: Andrii Tyvodar, Andreas Rechberger, Dirmanto Jap, Shivam Bhasin, Bernhard Jungk, Jakub Breier, Xiaolu Hou

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andrii Tyvodar, Andreas Rechberger, Dirmanto Jap, Shivam Bhasin, Bernhard Jungk, Jakub Breier, Xiaolu Hou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein intelligentes Gerät, wie einen Fitness-Tracker oder einen medizinischen Sensor, das ein „Gehirn" (ein neuronales Netzwerk) verwendet, um Entscheidungen zu treffen. Dieses Gehirn verfügt über spezielle Schalter, sogenannte Aktivierungsfunktionen, die entscheiden, wie Informationen verarbeitet werden.

Das Problem ist, dass diese Schalter Geheimnisse preisgeben. Genau wie ein Mensch schneller mit dem Fuß tippt, wenn er aufgeregt ist, oder langsamer, wenn er gelangweilt ist, benötigen diese Softwareschalter je nach den verarbeiteten Daten leicht unterschiedliche Zeiträume für ihre Arbeit. Ein hinterhältiger Hacker, der in der Nähe steht, könnte auf diese „Zeit-Tipps" lauschen und herausfinden, was das Gerät denkt, oder sogar das Gehirn des Geräts reverse-engineeren.

Der alte Weg: Das Rauschen verstecken

Früher versuchten Forscher, dieses Problem zu lösen, indem sie zufälliges Rauschen hinzufügten. Stellen Sie sich vor, Sie versuchen, einen geheimen Code zu verstecken, indem Sie ihn herausrufen, aber dann zufälliges statisches Rauschen zu Ihrer Stimme hinzufügen, damit niemand das Muster hören kann. Der Artikel nennt dies „Desynchronisation".

Die Autoren testeten dies und stellten fest, dass es nicht gut funktionierte. Selbst mit dem statischen Rauschen konnten Hacker, wenn sie lange genug lauschten und einen cleveren statistischen Trick (wie einen Template-Match) anwendeten, das Muster dennoch entschlüsseln. Es ist wie der Versuch, einen Fingerabdruck zu verstecken, indem man ihn mit Schlamm verschmiert; ein erfahrener Detektiv kann den Schlamm trotzdem abwischen und den Abdruck finden.

Die neue Lösung: Die „konstante Zeit"-Fabrik

Die Autoren schlagen einen völlig anderen Ansatz vor: Implementierung mit konstanter Zeit.

Anstatt zu versuchen, die Zeit zu verbergen, die für eine Aufgabe benötigt wird, haben sie die Aufgabe so neu gestaltet, dass sie immer exakt die gleiche Zeitspanne benötigt, unabhängig vom Eingabewert.

Stellen Sie sich dies wie eine Fließbandfabrik vor:

Der alte Weg: Wenn ein Arbeiter eine kleine Box erhält, beendet er die Arbeit in 2 Sekunden. Wenn er eine große Box erhält, benötigt er 5 Sekunden. Ein Beobachter kann die Größe der Box allein durch das Beobachten der Uhr erkennen.
Der neue Weg: Die Fabrik wird so umgestaltet, dass jeder Arbeiter, unabhängig von der Boxgröße, exakt 5 Sekunden benötigt.
- Wenn die Box klein ist, erledigt der Arbeiter die Aufgabe in 2 Sekunden, sitzt dann still da und wartet 3 Sekunden (führt „Dummy"-Arbeit aus), um die Zeit zu füllen.
- Wenn die Box groß ist, arbeitet er die vollen 5 Sekunden.
- Ergebnis: Für einen externen Beobachter dauert jede einzelne Aufgabe exakt 5 Sekunden. Das Zeit-Geheimnis ist verschwunden.

Wie sie es geschafft haben (Das Werkzeugset)

Um diese „perfekt getimte" Fabrik auf winzigen Computerchips (Mikrocontrollern) zu bauen, verwendeten die Autoren vier Hauptwerkzeuge:

Keine „Wenn/Dann"-Verzweigungen: Computer werden oft verlangsamt oder beschleunigt, je nach Entscheidungen (wie „Wenn die Zahl negativ ist, tue X; sonst tue Y"). Die Autoren entfernten diese Entscheidungen. Stattdessen berechnen sie beide Möglichkeiten und verwenden eine mathematische „Maske", um die richtige sofort auszuwählen, ohne zu zögern.
Die „Padé"-Abkürzung: Die Berechnung komplexer Kurven (wie Sigmoid oder Tanh) ist langsam und variiert in der Zeit. Die Autoren ersetzten diese aufwändigen Berechnungen durch einen cleveren, festgelegten mathematischen Abkürzungsweg (eine rationale Approximation), der immer die gleiche Anzahl von Schritten benötigt.
Dummy-Arithmetik: Für den einfachsten Schalter (ReLU), der normalerweise fast keine Zeit benötigt, fügten sie „Dummy"-Rechenschritte hinzu. Dies ist wie der Arbeiter, der still sitzt; es stellt sicher, dass der einfache Schalter genauso lange dauert wie die komplexeren.
Zyklus-Alignment: Sie zählten sorgfältig jeden einzelnen „Takt" des Computer-Takts, um sicherzustellen, dass jede Funktion exakt zum gleichen Zeitpunkt endet.

Die Ergebnisse

Das Team testete dies an fünf gängigen Aktivierungsfunktionen (ReLU, Sigmoid, Tanh, GELU und Swish) auf einem ARM-Cortex-M4-Chip (häufig in eingebetteten Geräten).

Timing: In der alten, ungeschützten Version variierte die Zeit stark. In der neuen Version benötigte jeder einzelne Eingabewert exakt 108 Taktzyklen (ca. 1,3 Mikrosekunden). Das Timing war perfekt flach.
Genauigkeit: Sie befürchteten, dass das Hinzufügen von Dummy-Schritten und Abkürzungen die Mathematik falsch machen könnte. Allerdings stellten sie fest, dass die Fehler winzig waren – so klein, dass das Gehirn des Geräts aus praktischen Zwecken immer noch korrekt denkt.
Geschwindigkeit: Überraschenderweise war die neue Methode bei den komplexen Funktionen tatsächlich schneller als die alten Standardmethoden, da die Abkürzungen effizienter waren, auch wenn sie Dummy-Schritte hinzufügten, um das Timing anzupassen.

Das Fazit

Der Artikel beweist, dass man eine „zeitfeste" Aktivierungsfunktion für kleine Geräte bauen kann. Indem man jede Berechnung zwingt, exakt die gleiche Zeitspanne zu benötigen, verhindert man, dass Hacker auf den „Herzschlag" des Geräts lauschen, um Geheimnisse zu stehlen. Es ist eine praktische und effiziente Möglichkeit, eingebettete KI sicherer zu machen, ohne die Leistung des Geräts zu beeinträchtigen.

Technisches Fazit: Methodik zur konstantzeitlichen Implementierung von Aktivierungsfunktionen auf Mikrocontrollern

Problemstellung
Die eingebettete Inferenz neuronaler Netze auf ressourcenbeschränkten Mikrocontrollern ist zunehmend anfällig für Timing-Seitenkanalangriffe. Neuere Studien haben gezeigt, dass Aktivierungsfunktionen innerhalb dieser Netze Informationen durch ausführungsdauerabhängige Variationen, die von Eingabewerten und Funktionstypen abhängen, preisgeben. Diese Leckage ermöglicht Angreifern, zwischen verschiedenen Aktivierungsfunktionen (z. B. ReLU vs. Sigmoid) zu unterscheiden und potenziell Modellarchitekturen zu rekonstruieren oder sensible Eingabedaten abzuleiten. Während bestehende Gegenmaßnahmen wie Desynchronisation (Einführung zufälliger Verzögerungen) versuchen, diese Timing-Muster zu verschleiern, eliminieren sie das zugrundeliegende eingabewertabhängige Verhalten nicht. Folglich können profilierte template-basierte Angriffe die Aktivierungsfunktionen trotz des hinzugefügten Rauschens weiterhin statistisch unterscheiden.

Methodik
Die Autoren schlagen eine Methodik zur konstantzeitlichen Implementierung vor, die darauf abzielt, eingabewertabhängige Timing-Variationen an der Quelle zu eliminieren, anstatt sie lediglich zu verschleiern. Der Ansatz wird auf einer ARM-Cortex-M4-Plattform (STM32F411) realisiert und richtet sich gegen fünf weit verbreitete Aktivierungsfunktionen: ReLU, Sigmoid, Tanh, Gaussian Error Linear Unit (GELU) und Swish.

Die Methodik stützt sich auf vier Kernkomponenten:

Zweigfreie, maskenbasierte Selektion: Um eine Divergenz des Kontrollflusses zu verhindern, vermeidet die Implementierung datenabhängige Verzweigungen. Stattdessen werden logische Maskierung und bitweise Operationen (UND/ODER) verwendet, um basierend auf der Bitdarstellung des Eingabewerts zwischen Kandidatenwerten (z. B. gesättigten Ausgaben vs. Approximationsergebnissen) zu wählen. Dies stellt sicher, dass die Instruktionsequenz unabhängig vom Eingabewert identisch bleibt.
Festkostenbasierte Padé-basierte Approximation: Für nichtlineare Funktionen (Sigmoid, Tanh, GELU, Swish) ersetzen die Autoren die Standardauswertung transzendenter Funktionen durch eine gemeinsame, festkostenbasierte rationale Approximation, die auf dem Padé-Approximanten für $\tanh(x)$ $tanh (x)$ basiert, bezeichnet als $R_{tanh}(x)$ $R_{t anh} (x)$ . Diese Approximation umfasst eine feste Sequenz von Additionen, Multiplikationen und einer einzigen Division und vermeidet Schleifen oder eingabewertabhängige Intervallauswahlen.
- Sigmoid und Swish werden unter Verwendung der Identität $S(x) = \frac{1}{2}(1 + \tanh(x/2))$ konstruiert.
- GELU wird unter Verwendung einer $\tanh$ -basierten Formulierung approximiert.
Maskenbasierte Sättigung: Um Eingaben außerhalb des Approximationsbereichs zu behandeln, wendet die Methodik Sättigungslogik (Begrenzung auf 0, 1 oder $x$ ) an, die über dieselbe verzweigungsfreie Maskierungsstrategie implementiert wird. Dies stellt sicher, dass selbst dann, wenn die rationale Approximation für gesättigte Eingaben umgangen wird, der Ausführungspfad und die Zykluszahl konstant bleiben.
Zyklusausrichtung und Dummy-Arithmetik: Um identische Ausführungszeiten für alle fünf Funktionen zu erreichen, führen die Autoren Dummy-Arithmetikoperationen ein. Konkret wird die einfache ReLU-Funktion, die natürlicherweise deutlich schneller ausgeführt wird als die nichtlinearen Approximationen, um dieselbe $R_{tanh}$ -basierte Arithmetiksequenz erweitert (ohne das Endergebnis zu beeinflussen), um ihre Zykluszahl mit den komplexeren Funktionen abzugleichen. Minimale NOP-Padding wird nur für eine feingranulare Ausrichtung verwendet.

Hauptbeiträge

Konstantzeit-Methodik: Das Papier stellt ein wiederverwendbares Konstruktionsprinzip für Aktivierungsfunktionen vor, das eine eingabeunabhängige Ausführungszeit auf eingebetteten Mikrocontrollern garantiert.
Realisierung für fünf Funktionen: Die Methodik wird erfolgreich auf ReLU, Sigmoid, Tanh, GELU und Swish angewendet, wobei eine gemeinsame rationale Approximation für die nichtlinearen Komponenten genutzt wird.
Anfälligkeit der Desynchronisation: Die Autoren zeigen, dass Desynchronisationsbasierte Gegenmaßnahmen, obwohl sie Timing-Spuren visuell verschleiern, weiterhin anfällig für profilierte template-basierte Timing-Angriffe bleiben. Eine statistische Analyse der Ausführungszeiten ermöglicht es einem Angreifer, nach ausreichenden Messungen mit hoher Sicherheit zwischen Aktivierungsfunktionen zu unterscheiden.
Experimentelle Validierung: Die Arbeit liefert empirische Belege dafür, dass die vorgeschlagenen geschützten Implementierungen für alle getesteten Eingaben identische Zykluszahlen erreichen und damit Timing-Leckagen effektiv unterdrücken.

Experimentelle Ergebnisse
Die Methodik wurde auf einem ARM-Cortex-M4 mit 84 MHz bewertet.

Timing-Regelmäßigkeit:
- In einer Drei-Funktionen-Umgebung (ReLU, Sigmoid, Tanh) über das Intervall $[-8, 8]$ führten alle geschützten Implementierungen exakt 88 Taktzyklen (1,048 µs) aus, unabhängig vom Eingabewert.
- In einer erweiterten Fünf-Funktionen-Umgebung (einschließlich GELU und Swish) über das Intervall $[-500, 500]$ führten alle Implementierungen exakt 108 Taktzyklen (1,286 µs) aus.
- Im Gegensatz dazu zeigten ungeschützte Implementierungen signifikante Timing-Schwankungen (z. B. dauerte ungeschütztes ReLU ~12 Zyklen, während ungeschütztes Tanh ~403 Zyklen dauerte) und eingabewertabhängige Fluktuationen.
Numerische Genauigkeit:
- Die Approximationen behielten eine hohe Genauigkeit bei. Für das Intervall $[-8, 8]$ betrug der mittlere quadratische Fehler (MSE) für Sigmoid $2,93 \times 10^{-12}$ und für Tanh $6,14 \times 10^{-10}$ .
- Im erweiterten Intervall $[-500, 500]$ blieben die Fehler für Sigmoid und Tanh vernachlässigbar (da sie schnell sättigen), während GELU und Swish geringe Fehler zeigten, die in der Nähe der Sättigungsschwellen lokalisiert waren (Maximaler absoluter Fehler für Swish betrug $1,11 \times 10^{-3}$ ).
Leistungsabwägungen:
- Die geschützte ReLU-Implementierung erlitt eine Latenzerhöhung (von ~12 auf 88/108 Zyklen) aufgrund des Einfügens von Dummy-Arithmetik zur Ausrichtung.
- Umgekehrt waren die geschützten nichtlinearen Funktionen deutlich schneller als ihre ungeschützten Gegenstücke (z. B. waren geschützte Sigmoid/Tanh ~33–38 % schneller als ungeschützte Versionen), da die rationale Approximation auf der Zielhardware effizienter ist als Standardbibliotheksfunktionen für transzendente Funktionen.

Bedeutung und Behauptungen
Das Papier behauptet, dass die vorgeschlagene Methodik eine praktische Grundlage für die Konstruktion von seitenkanalresistenten Aktivierungsfunktionen in der eingebetteten Inferenz bietet. Durch den Wechsel von „Verschleierung" (Randomisierung) zu einem „konstantzeitlichen" Design eliminiert der Ansatz die Ursache von Timing-Leckagen: eingabewertabhängige Ausführungspfade. Die Autoren behaupten, dass diese Methodik die Konstruktion von Aktivierungsfunktionen ermöglicht, bei denen die ausgeführte Instruktionsequenz unabhängig vom Eingabewert ist, wodurch template-basierte Timing-Angriffe verhindert werden.

Die Arbeit positioniert sich als Baustein für sicheres eingebettetes maschinelles Lernen, insbesondere für datenschutzsensible Edge-Geräte (z. B. medizinische Sensoren, Wearables), bei denen Timing-Informationen für Angreifer zugänglich sein könnten. Die Autoren vermerken bescheiden, dass dies zwar Timing-Leckagen in Aktivierungsfunktionen adressiert, aber keine vollständige Gegenmaßnahme für die gesamte Inferenz-Pipeline darstellt und andere Seitenkanäle (Strom, EM) oder Implementierungsdetails weiterhin Schutz erfordern könnten. Die Studie konzentriert sich spezifisch auf den Timing-Bereich und beansprucht nicht, alle potenziellen Seitenkanal-Vektoren zu adressieren.