⚡ electrical engineering

TinyDéjàVu: Smaller RAM and Faster Inference with Neural Networks on MCUs for Sensor Data Streams

Dieser Beitrag stellt TinyDéjàVu vor, ein Open-Source-Framework und eine Reihe von Algorithmen, die Datenflüsse für die Inferenz neuronaler Netze auf ressourcenbeschränkten Mikrocontrollern optimieren und eine Reduzierung des RAM-Verbrauchs um bis zu 90 % bei vergleichbarer Latenz gegenüber früheren Methoden zur Verarbeitung von Sensordatenströmen erreichen.

Ursprüngliche Autoren: Zhaolan Huang, Emmanuel Baccelli

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhaolan Huang, Emmanuel Baccelli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen winzigen, batteriebetriebenen Roboter (einen Mikrocontroller), der in einem Wald lebt. Seine Aufgabe ist es, dem Gesang von Vögeln zu lauschen und sofort zu erkennen, um welche Vogelart es sich handelt. Das Problem? Dieser Roboter hat ein sehr kleines Gehirn (begrenzten Speicher) und eine winzige Batterie. Wenn er versucht, ein langes Lied zu hören, indem er jedes Mal, wenn eine neue Note eintrifft, das gesamte Lied auswendig lernt, wird ihm der Speicher ausgehen und er wird sterben (die Batterie wird sich entleeren).

Dieser Artikel stellt ein neues Software-Framework namens TinyDéjàVu (ein Wortspiel auf das Gefühl, etwas bereits erlebt zu haben) vor, das diesen winzigen Robotern hilft, lange Datenströme zu hören, ohne überfordert zu werden.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die Falle des „Neulesens"

Normalerweise betrachten diese Roboter beim Analysieren von Schall die Daten in Abschnitten, die „gleitende Fenster" genannt werden. Stellen Sie sich vor, Sie lesen ein Buch, indem Sie durch ein kleines Fenster schauen, das sich Wort für Wort bewegt.

Der alte Weg: Jedes Mal, wenn sich das Fenster ein Wort nach rechts bewegt, hält der Roboter inne, wirft die alte Ansicht weg und liest das gesamte neue Fenster von vorne. Wenn das Fenster 100 Wörter lang ist und der Roboter es 90 Mal bewegt, landet er dabei, dieselben 90 Wörter immer und immer wieder neu zu lesen. Dies verschwendet enorme Mengen an Energie und Speicher.

2. Die Lösung: Der Speicher-Trick des „Zustandsraums"

TinyDéjàVu ändert die Regeln. Anstatt das gesamte Fenster neu zu lesen, verwendet es einen mathematischen Trick namens Zustandsraummodell (State-Space Model, SSM).

Die Analogie: Stellen Sie sich vor, Sie schauen einen Film. Anstatt den gesamten Film zurückzuspulen, jedes Mal wenn eine neue Szene beginnt, erinnern Sie sich einfach an den aktuellen Zustand der Geschichte. Wenn ein neuer Frame eintrifft, aktualisieren Sie Ihr Gedächtnis nur mit diesem einen neuen Informationsteil.
Wie es hilft: TinyDéjàVu verwandelt komplexe mathematische Operationen (wie Faltungen) in diesen „nur aktualisieren"-Stil. Es erkennt, dass 90 % der Daten in einem neuen Fenster identisch mit denen im vorherigen sind. Also speichert es nicht das gesamte Fenster; es speichert nur den winzigen „Zustand", der benötigt wird, um das Ergebnis zu aktualisieren.

3. Der „Déjà-Vu"-Effekt

Der Name rührt daher, dass das System erkennt, dass es diese Daten bereits „gesehen" hat.

Die Metapher: Denken Sie an ein Förderband, das Kartons transportiert. Die alte Methode erforderte, dass ein Arbeiter das Band anhalten, jeden Karton im aktuellen Sichtfeld auspacken und dann den Sichtbereich vorwärts bewegen musste. TinyDéjàVu ist wie ein Arbeiter, der nur die neue Box aufnimmt, die gerade auf dem Förderband angekommen ist, und seine mentale Liste aktualisiert. Er ignoriert die Kartons, die sich nicht verändert haben.

4. Die Ergebnisse: Kleinere Gehirne, schnellere Geschwindigkeit

Die Autoren testeten dies an echten Mikrocontrollern (wie denen in intelligenten Sensoren) und verglichen es mit früheren Methoden.

Speichereinsparungen: Sie stellten fest, dass TinyDéjàVu den benötigten Speicher um bis zu 90 % reduzieren konnte. In ihrem Beispiel mit dem Vogelgesang wurde ein Modell, das 75 kB Speicher benötigte (zu groß für einige winzige Chips), auf nur noch 1 kB verkleinert.
Geschwindigkeit: Da es aufhört, dieselbe Mathematik immer wieder zu berechnen, wurde es bei der Verarbeitung sich überlappender Datenströme bis zu 20 Mal schneller.
Genauigkeit: Trotz weniger Arbeit machte es keine Fehler. Die Antworten waren genauso genau wie bei den alten, schweren Methoden.

5. Beweis aus der realen Welt

Das Team testete dies nicht nur in einer Computersimulation. Sie setzten es tatsächlich an Sensoren in Großbritannien ein, um nach Corn-Bunting-Vögeln (Braunkehlchen) zu lauschen.

Sie führten erfolgreich komplexe KI-Modelle auf winzigen, batteriebetriebenen Geräten aus, die die Aufgabe zuvor nicht bewältigen konnten, weil ihnen der Speicher ausging.
Dies ermöglichte es den Geräten, länger in der Wildnis zu bleiben, ohne dass Batteriewechsel nötig waren.

Zusammenfassung

TinyDéjàVu ist wie ein winzigem, stromsparendem Roboter ein „Kurzzeitgedächtnis" zu verleihen, das unglaublich effizient ist. Anstatt jeden Datenteil, den es sieht, zu horten, behält es nur das, was unbedingt notwendig ist, um sein Verständnis zu aktualisieren. Dies ermöglicht es kleinen Geräten, lange, kontinuierliche Datenströme (wie Vogelgesang oder Herzschläge) zu hören, ohne dass die Batterie oder der Speicher ausgeht.

Technische Zusammenfassung: TinyD´ej`aVu

Problemstellung

Der Einsatz neuronaler Netze für die kontinuierliche Inferenz auf Zeitreihendaten von Sensoren in Internet-of-Things (IoT)-Geräten stößt auf erhebliche Ressourcenbeschränkungen. Diese Geräte, die typischerweise batteriebetrieben sind und auf Mikrocontrollern (MCUs) mit begrenztem RAM (z. B. 128 kB) laufen, müssen Echtzeitverarbeitung auf Datenströmen durchführen. Ein gängiger Ansatz für die Modellierung von Zeitreihen umfasst die Verwendung von überlappenden gleitenden Fenstern, um den zeitlichen Kontext zu erfassen. Standard-Inferenzmethoden berechnen jedoch für jedes neue Fenster das gesamte Modell neu, was zu erheblicher Redundanz führt. Diese Redundanz resultiert in einem übermäßigen Random-Access-Memory (RAM)-Verbrauch für die Pufferung interner Aktivierungen und in hoher Rechenlatenz, was komplexe Modelle für den Einsatz auf ressourcenbeschränkter Hardware oft unpraktikabel macht.

Methodik

Die Arbeit stellt TinyD´ej`aVu vor, ein Framework, das die Inferenz neuronaler Netze für Sensordatenströme optimiert, indem es zeitliche Operatoren in State-Space-Modelle (SSMs) transformiert. Die Kernmethodik umfasst drei Hauptkomponenten:

SSM-Äquivalenz und Graphentransformation:
Die Autoren formalisieren die Äquivalenz zwischen gängigen zeitlichen Operatoren (wie 1-D-Faltungen, Pooling und dichten Schichten mit zeitlicher Mischung) und SSMs. Durch die Darstellung dieser Operatoren als rekursive Zustandsaktualisierungen ( $h_t = A h_{t-1} + B x_t$ ) eliminiert das Framework die Notwendigkeit, große Eingabefenster oder intermediale Merkmalskarten zu speichern. Stattdessen wird nur ein kleiner, festgroßer Vektor des versteckten Zustands beibehalten. Das Framework unterteilt den Berechnungsgraphen des neuronalen Netzes in zwei Bereiche:
- SSM-Subgraph: Enthält lokale oder kausale zeitliche Operatoren, die in effiziente SSM-Äquivalente umgewandelt werden.
- GTA-Subgraph (Global Temporal Aggregator): Beginnt beim ersten Operator mit einem globalen rezeptiven Feld (z. B. eine dichte Schicht, die Zeitschritte flacht, oder ein Aufmerksamkeitsmechanismus). Dieser Abschnitt übernimmt die Aggregation des verarbeiteten Stroms.
Optimierung tiefer gleitender Fenster:
Für überlappende gleitende Fenster eliminiert TinyD´ej`aVu redundante Berechnungen. Anstatt das gesamte Fenster neu zu verarbeiten, aktualisiert das System nur die versteckten Zustände, die den neuen Datenpunkten entsprechen, die durch den Schritt (Stride) eingeführt werden. Der Global Temporal Aggregator (GTA) wird ebenfalls so transformiert, dass er diese aktualisierten versteckten Zustände akzeptiert, wodurch sichergestellt wird, dass Berechnungen nur ausgelöst werden, wenn notwendige neue Merkmale verfügbar sind.
Implementierung und Optimierung:
- Zirkuläre Puffer: Die SSMs werden unter Verwendung zirkulärer Puffer implementiert, um versteckte Zustände zu verwalten und dynamische Speicherzuweisung zu vermeiden.
- Globales Pooling: Ein spezialisierter Algorithmus wandelt globale Pooling-Operationen in eine Kaskade kleinerer SSMs um, wodurch die RAM-Komplexität von $O(N)$ auf $O(\lceil N/s \rceil)$ reduziert wird, wobei $N$ die Fenstergröße und $s$ der Schritt ist.
- Gemischte Genauigkeit: Das Framework unterstützt die BF16-Genauigkeit (Brain Floating Point) für die Speicherung versteckter Zustände und bietet im Vergleich zu FP32 eine 2-fache Reduzierung des RAM-Verbrauchs bei minimalen Auswirkungen auf die Genauigkeit für viele Aufgaben.
- Werkzeugkette: Das System basiert auf PyTorch für die Analyse und microTVM für das Graph-Umschreiben und die C-Code-Generierung und zielt auf MCUs wie die Arm-Cortex-M-Serie ab.

Hauptbeiträge

Neues Framework: Einführung von TinyD´ej`aVu, das die Umwandlung zeitlicher Operatoren in neuronalen Netzen in SSMs für Streaming-Inferenz automatisiert.
Algorithmische Innovation: Entwicklung von Algorithmen zur Behandlung überlappender gleitender Fenster durch Eliminierung redundanter Berechnungen sowie einer spezifischen Optimierung für globales Pooling zur drastischen Reduzierung des RAM-Fußabdrucks.
Open-Source-Implementierung: Veröffentlichung der vollständigen Implementierung, einschließlich der Logik zur Graphentransformation und Benchmarks, um die Reproduzierbarkeit sicherzustellen.
Umfassende Benchmarking: Evaluierung über verschiedene Modellarchitekturen (CNNs, TCNs, Transformer, WaveNet-Varianten) auf gängiger 32-Bit-MCU-Hardware (Arm Cortex-M).

Ergebnisse

Die Autoren präsentieren umfangreiche experimentelle Ergebnisse, die TinyD´ej`aVu mit Vanilla-Modellen und früheren Arbeiten (StreamiNNC) vergleichen:

RAM-Reduzierung: TinyD´ej`aVu erreicht eine Reduzierung des Spitzen-RAM-Verbrauchs von bis zu 90 % im Vergleich zu Vanilla-Modellen. In spezifischen Fällen wie TinyWaveNet ist die Reduzierung so erheblich, dass Modelle, die zuvor ~180 MB RAM benötigten, auf Geräten mit <350 kB RAM ausgeführt werden können.
Latenzverbesserungen: Bei Streaming-Eingaben mit überlappenden Fenstern zeigt das Framework signifikante Latenzreduzierungen. Auf einem Host-PC wird im Streaming-Stadium eine bis zu 6-fache Beschleunigung im Vergleich zu untransformierten Modellen erreicht. Auf einem STM32F7-MCU nimmt die Latenz linear mit steigender Überlappungsrate ab, wobei in spezifischen Konfigurationen Beschleunigungen von bis zu 20-fach beobachtet wurden.
Genauigkeit: Das Framework behält die numerische Korrektheit bei, wobei Abweichungen zwischen den ursprünglichen und transformierten Modellen unter $10^{-8}$ liegen. Die Genauigkeit auf Aufgabenebene bleibt mit den Vanilla-Modellen in FP32 vergleichbar. Bei Verwendung von BF16 wird ein leichter Genauigkeitsverlust beobachtet (z. B. 1–3 % Anstieg des RMSE), den die Autoren durch Nachtraining des Modells unter BF16-Genauigkeit mildern können.
Validierung in der realen Welt: Ein Anwendungsfall zur Erkennung von Vogelstimmen (bioakustische Überwachung) auf nRF52840-Sensoren zeigte eine 75-fache Reduzierung des RAM-Verbrauchs (von ~75 kB auf ~1 kB) und eine 60 %ige Reduzierung der Inferenzlatenz im Vergleich zum vorherigen State-of-the-Art (TinyChirp).

Bedeutung

Die Arbeit behauptet, dass TinyD´ej`aVu einen kritischen Engpass in TinyML adressiert: die Fähigkeit, komplexe Zeitreihenmodelle mit langen Sequenzen auf extrem ressourcenbeschränkten Geräten auszuführen. Durch die Entkopplung des RAM-Verbrauchs von der Eingabe-Sequenzlänge durch SSM-basiertes Streaming ermöglicht das Framework den Einsatz von „Always-On"-Intelligenz auf batteriebetriebenen Sensoren ohne die Notwendigkeit spezialisierter Hardware-Beschleuniger. Die Autoren betonen, dass ihr Ansatz orthogonal zu anderen Optimierungstechniken (wie Quantisierung oder Pruning) ist, was bedeutet, dass er mit diesen kombiniert werden kann, um noch höhere Effizienz zu erzielen. Die Arbeit bietet einen praktischen, open-source-fähigen Weg, um die Verarbeitung von Sensordaten mit langen Sequenzen auf Standard-Mikrocontrollern mit niedrigen Kosten realisierbar zu machen.