💻 computer science

Hardware-Software Co-Design of Scalable, Energy-Efficient Analog Recurrent Computations

Dieser Beitrag stellt einen Hardware-Software-Co-Design-Ansatz unter Verwendung bistabiler Speicher-Recurrent-Units (BMRUs) vor, um Barrieren der Rauschakkumulation zu überwinden, und ermöglicht skalierbare analoge rekurrente neuronale Netze mit ultraniedrigem Stromverbrauch für Always-on-KI-Anwendungen, die Inferenzleistungen im Sub-Mikrowatt-Bereich bei hoher Genauigkeit der Übereinstimmung zwischen Schaltung und Software erreichen.

Ursprüngliche Autoren: Arthur Fyon, Julien Brandoit, Loris Mendolia, Damien Ernst, Jean-Michel Redouté, Guillaume Drion

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arthur Fyon, Julien Brandoit, Loris Mendolia, Damien Ernst, Jean-Michel Redouté, Guillaume Drion

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein winziges, batteriebetriebenes Gerät, das rund um die Uhr auf die Welt hören muss – wie ein intelligenter Sensor in einem Wald oder ein medizinisches Implantat in Ihrem Körper. Das Problem ist, dass Batterien schwer sind und häufig gewechselt werden müssen. Um diese Geräte über Jahre hinweg betreiben zu können, müssen sie nahezu keinen Strom verbrauchen.

Lange Zeit glaubten Ingenieure, es gäbe eine harte Grenze: Man könne ein Gerät bauen, das zuhört und reagiert (wie wenn es „Ja!" sagt) und dabei sehr wenig Energie verbraucht, aber man könne es nicht dazu bringen, Dinge über die Zeit hinweg zu merken (wie das Verstehen eines Satzes), ohne viel Energie zu verbrauchen. Es war, als würde man versuchen, ein Haus aus Sand zu bauen; sobald man versuchte, ein zweites Stockwerk (Speicher) hinzuzufügen, würde das ganze Gebilde unter dem Gewicht des „Rauschens" (Störungen und Fehler) zusammenbrechen.

Dieser Artikel stellt einen neuen Weg vor, solche Geräte mit einer Mischung aus cleverer Mathematik und maßgeschneiderter Elektronik zu bauen. Hier ist, wie sie es getan haben, einfach erklärt:

1. Das Problem: Die „Sandburg" des Speichers

Stellen Sie sich einen Standard-Digitalcomputer als einen sehr präzisen Buchhalter vor. Er zählt alles perfekt, aber es kostet viel Energie, die Zahlen hin und her zu bewegen.
Stellen Sie sich eine analoge Schaltung (die Art, die dieser Artikel verwendet) als einen fließenden Fluss vor. Sie ist unglaublich energieeffizient, aber wenn Sie versuchen, eine Nachricht flussabwärts zu senden und sie dann flussaufwärts zurückzuleiten (Rekurrenz), wird das Wasser trübe. Das Signal wird bei jedem Durchlauf durch „Rauschen" (wie ein Flüstern, das in einem Windsturm untergeht) verzerrt. Schließlich wird die Nachricht zu Unsinn. Deshalb dachten Wissenschaftler, man könne keine speicherbasierte KI mit ultraniedrigem Energieverbrauch in analogen Schaltungen bauen.

2. Die Lösung: Der „bistabile Schalter"

Die Autoren fanden einen speziellen Typ mathematischen Bausteins, der als Bistable Memory Recurrent Unit (BMRU) bezeichnet wird.

Die Analogie: Stellen Sie sich einen Lichtschalter vor, der nicht nur ein- oder ausschaltet, sondern eine „klebrige" Mitte hat.
- Wenn Sie den Schalter leicht drücken, schnappt er an seinen ursprünglichen Ort zurück (und ignoriert kleine Stöße).
- Nur wenn Sie ihn kräftig drücken, schnappt er auf die andere Seite und bleibt dort.
Warum es hilft: Da der Schalter nur zwei stabile Positionen hat (Ein oder Aus), ignoriert er das „trübe Wasser" (Rauschen). Selbst wenn das Signal auf dem Rückweg etwas verzerrt wird, schnappt der Schalter einfach wieder in seinen klaren „Ein"- oder „Aus"-Zustand zurück. Dies verhindert, dass sich das Rauschen aufstaut.

3. Der Trick: Hardware-Software-Co-Design

Normalerweise schreiben Software-Ingenieure Code, und Hardware-Ingenieure bauen Chips, um diesen Code auszuführen. Oft passen sie nicht perfekt zusammen.
In diesem Artikel machte das Team Co-Design. Sie schrieben nicht nur Code und versuchten dann, einen Chip dafür zu bauen. Stattdessen entwarfen sie die Mathematik speziell, um sie mit der Physik eines winzigen elektronischen Schalters abzugleichen, den sie von Grund auf neu bauten.

Das Ergebnis: Jede einzelne Zahl in ihrem Softwaremodell (wie ein Gewicht oder ein Schwellenwert) bildet sich direkt auf einen spezifischen physikalischen Teil des Chips ab (wie die Breite eines Transistors oder einen bestimmten Strom). Es ist, als hätte man einen Bauplan, bei dem jede auf Papier gezeichnete Linie exakt einem Ziegelstein in der Wand entspricht.

4. Die „Erste-Quadrant"-Korrektur

Die Mathematik, die sie ursprünglich verwendeten, erforderte Signale, die sowohl positiv als auch negativ gehen (wie ein Thermometer, das über und unter null geht). Aber ihre winzigen, stromsparenden Chips verarbeiten nur positive Signale (wie einen Wasserfluss, der nur vorwärts gehen kann).
Sie erfanden eine neue Version namens First-Quadrant BMRU.

Die Analogie: Anstatt einer Wippe, die auf und ab geht, bauten sie ein System, das sich nur vorwärts bewegt oder stillsteht. Sie bewiesen mathematisch, dass dieses „einseitige" System exakt die gleichen Speicheraufgaben erfüllen kann wie das „auf-und-ab"-System, indem sie die Mathematik nur leicht umordneten. Dies ermöglichte ihnen, die Schaltung nur mit einfachen, energieeffizienten Teilen zu bauen.

5. Der Beweis: Der „Ja"-Detektor

Um zu beweisen, dass es funktionierte, bauten sie einen winzigen Chip (in einer Simulation), der darauf ausgelegt war, das Wort „Ja" in einem lauten Raum zu hören.

Der Chip: Er bestand aus 768 winzigen Transistoren, die alle auf einem so niedrigen Leistungsniveau arbeiteten, dass er in Nanowatt (Milliardstel Watt) gemessen wird.
Der Test: Sie führten den Chip durch Tausende von Audioaufnahmen.
Das Ergebnis: Das Verhalten des Chips stimmte fast perfekt mit der Vorhersage der Computersoftware überein. Es identifizierte das Wort „Ja" korrekt und verwendete dabei weniger als 100 Nanowatt Leistung.
Rauschimmunität: Als sie künstliches Rauschen in die Simulation einbrachten (was eine schlechte Verbindung oder einen Herstellungsfehler simuliert), funktionierte der Chip weiter. Das Design des „klebrigen Schalters" blockierte das Rauschen erfolgreich und bewies, dass Speicher in ultraniedrigenergetischen analogen Schaltungen existieren kann, ohne zusammenzubrechen.

Zusammenfassung

Der Artikel zeigt, dass durch die gemeinsame Entwicklung der Mathematik und des physikalischen Chips sowie durch die Verwendung eines „klebrigen Schalter"-Mechanismus, der kleine Fehler ignoriert, das erste analoge Gehirn gebaut wurde, das Dinge über die Zeit hinweg merken kann und dabei fast keine Energie verbraucht. Sie demonstrierten dies durch die Erstellung eines Chips, der auf ein bestimmtes Wort hören kann, und bewiesen damit, dass „immer eingeschaltete" KI-Geräte eines Tages jahrelang mit einer winzigen Batterie laufen könnten.

Technische Zusammenfassung: Hardware-Software-Co-Design skalierbarer, energieeffizienter analoger rekurrenter Berechnungen

Problemstellung

Immer aktive Anwendungen der Künstlichen Intelligenz (KI), wie Umweltsensoren und biomedizinische Implantate, erfordern einen extrem niedrigen Energieverbrauch, oft im Bereich von Sub-Mikrowatt. Während analoge Schaltungen einen Weg bieten, diese Effizienz zu erreichen, sind bestehende analoge Implementierungen weitgehend auf Feedforward-Architekturen beschränkt. Die Erweiterung dieser Systeme auf rekurrente Dynamiken wurde historisch als unpraktikabel angesehen, da dies zur Akkumulation von analogem Rauschen durch zeitliche Rückkopplungsschleifen führt. Darüber hinaus arbeiten aktuelle digitale Edge-KI-Lösungen (z. B. TinyML auf Mikrocontrollern) im Milliwatt-Bereich, also um Größenordnungen höher als das, was subthreshold-analoge Schaltungen theoretisch erreichen können. Es fehlt an Architekturen, die gleichzeitig parallelisierbares Training, multistabile Speicher, analoge Berechnungen und einen Energieverbrauch im Sub-Mikrowatt-Bereich unterstützen.

Methodik

Die Autoren schlagen einen Hardware-Software-Co-Design-Ansatz vor, der auf bistabilen Speicher-rekurrenten Einheiten (BMRUs) basiert, einer Klasse von Rekurrenten Neuronalen Netzen (RNNs), die durch diskretwertige Ausgaben und hysteretische Dynamiken gekennzeichnet sind. Die Methodik erfolgt in drei Hauptschritten:

Algorithmische Reformulierung (First-Quadrant-BMRU):
Die Standard-BMRU-Formulierung, die auf bipolarer Ausgabe und eingangsabhängigen Schwellenwerten basiert, ist mit einfachen, unipolaren Strommodus-Analogschaltungen unvereinbar. Die Autoren reformulieren die BMRU zu einer First-Quadrant (FQ) BMRU. Diese Variante arbeitet ausschließlich mit nicht-negativen Werten und nutzt feste Schwellenwerte ( $\beta_{lo}, \beta_{hi}$ ), die während des Trainings gelernt, aber während der Inferenz konstant bleiben. Diese Reformulierung ermöglicht eine direkte Abbildung auf einseitige Strommodus-Schaltungen ohne die Notwendigkeit von Differenzialpaaren oder negativen Spannungsversorgungen, wobei die Ausdruckskraft und Trainierbarkeit des ursprünglichen Modells erhalten bleiben.
Schaltungsimplementierung:
Eine maßgeschneiderte, ultra-niedrigleistungs Strommodus-Analogschaltung wird aus ersten Prinzipien entwickelt, um die FQ-BMRU zu implementieren.
- Strommodus-Betrieb: Alle Signale werden als Ströme dargestellt, wobei die exponentielle I-V-Beziehung von Subthreshold-MOS-Transistoren für eine natürliche Dynamikbereichskompression und einen Betrieb im Pikoampere-Bereich genutzt wird.
- Nur-Transistor-Design: Die Schaltung eliminiert Widerstände, Kondensatoren und Induktivitäten und erreicht eine echte monolithische Integration. Die instantane Konvergenz der BMRU macht die für traditionelle RNNs oder State-Space-Modelle (SSMs) erforderlichen On-Chip-Kondensatoren überflüssig.
- Eins-zu-eins-Abbildung: Jeder gelernte Parameter wird direkt einem spezifischen Schaltungselement zugeordnet. Gewichte entsprechen Transistorbreitenverhältnissen in Stromspiegeln, während Schwellenwerte und Verstärkungen den Vorspannungsströmen entsprechen.
- Bistabile Zelle: Die Kernzelle ist ein 9-Transistor-Strommodus-Schmitt-Trigger, der Hysterese implementiert. Sie verfügt über eine unabhängige Programmierbarkeit des hohen Schaltpunkts ( $I_{thresh}$ ), der Ausgangsamplitude ( $I_{gain}$ ) und der Hysteresebreite ( $I_{width}$ ).
Validierungspipeline:
Das Netzwerk wird vollständig in Software mit JAX/Flax trainiert. Die gelernten Parameter werden dann für die Inferenz in Transistorebenen-Simulationen mit Cadence Spectre unter Verwendung der X-FAB 180-nm-CMOS-Technologie auf Transistorabmessungen und Vorspannungsströme abgebildet. Dieses hochgenaue Softwaremodell dient als Stellvertreter für die physische Hardware und ermöglicht groß angelegte Rausch- und Leistungsanalysen, die auf Transistorebene rechnerisch prohibitiv wären.

Hauptbeiträge

Die Arbeit beansprucht vier primäre Beiträge:

Eins-zu-eins-Hardware-Software-Korrespondenz: Die FQ-BMRU-Formulierung stellt sicher, dass jeder gelernte Parameter einem einzelnen, programmierbaren Schaltungselement zugeordnet wird. Transistorebenen-Simulationen bestätigen eine nahezu perfekte Übereinstimmung zwischen Softwarevorhersagen und Schaltungsdynamiken in jedem Zwischensignalstadium.
Strukturelle Rauschimmunität: Die diskretwertigen Ausgaben der BMRU wirken als strukturelle Barriere gegen analoges Rauschen. An jeder Zellgrenze unterdrückt die hysteretische Schwellwertbildung akkumuliertes analoges Rauschen um mindestens das 20-fache und durchbricht die Rauschakkumulationsbarriere, die historisch analoge Rekurrenz verhindert hat.
Rekurrenz zu niedrigen Grenzkosten: Die Leistungs-Skalierungsanalyse zeigt, dass sich zwar Feedforward-Schichten (vollverbunden) quadratisch mit der Zustandsdimension skalieren, die BMRU-Rekurrenzschichten jedoch linear skalieren. Folglich führt die Hinzufügung zeitlicher Verarbeitungsfähigkeiten zu einer analogen Feedforward-Rückgratstruktur nur zu geringen, linear skalierenden Grenzkosten für die Leistung.
Betrieb im Sub-Mikrowatt-Bereich: Der RNN-Kern eines minimalen Proof-of-Concept-Netzwerks erreicht während der kontinuierlichen Inferenz einen Energieverbrauch von etwa 100 nW und arbeitet vollständig im Subthreshold-Bereich mit taktfreier, kontinuierlicher Dynamik.

Ergebnisse

Die Autoren validieren ihren Ansatz durch mehrere Benchmarks und Simulationen:

Keyword Spotting (KWS): Auf dem Google Speech Commands-Datensatz (speziell die Aufgabe „yes" gegen „andere") erreicht die analoge Implementierung eine Genauigkeit von 98,08 % in der Software und 96,98 % in der Transistorebenen-Simulation für eine Zustandsdimension von $d=16$ . Für die minimale $d=4$ -Konfiguration, die zur Hardwarevalidierung verwendet wurde, stimmten Hardwarevorhersagen in 49 von 50 Testfällen mit Softwarevorhersagen überein, wobei die einzige Abweichung bei einem Patt an der Entscheidungsgrenze auftrat.
Rauschrobustheit: Eine groß angelegte Rauschanalyse über die Benchmarks sMNIST, pMNIST und dKWS zeigt, dass die FQ-BMRU bei gemessenen analogen Rauschpegeln die volle Genauigkeit beibehält, während lineare rekurrente Einheiten (LRU) katastrophal versagen. Die FQ-BMRU bleibt bis zu etwa dem 2-fachen der gemessenen analogen Rauschamplitude robust.
Leistungseffizienz: Bei $d=4$ verbraucht der RNN-Kern ~100 nW. Eine Leistungszerlegungsanalyse zeigt, dass mit zunehmender Zustandsdimension der relative Leistungsbeitrag der rekurrenten Zellen im Vergleich zu den Feedforward-Schichten abnimmt, was die linearen Grenzkosten der Rekurrenz bestätigt.
Generalisierung: Der Ansatz generalisiert auf die Mehrklassen-Ziffernerkennung (11 Klassen) mit wettbewerbsfähiger Genauigkeit und verbesserter Trennung der Ausgabemargen und bleibt innerhalb der Sub-Mikrowatt-Schätzungen.

Bedeutung und Behauptungen

Die Arbeit beansprucht, die erste vollständig analoge RNN-Implementierung vorzustellen, die strukturelle Rauschimmunität mit parallelisierbarem Training kombiniert. Indem sie zeigt, dass diskretwertige, hysteretische Dynamiken auf ultra-niedrigleistungs Strommodus-Schaltungen abgebildet werden können, argumentieren die Autoren, dass die Barriere für analoge Rekurrenz überwunden wurde.

Die Bedeutung dieser Arbeit liegt in ihrem Potenzial, immer aktive Edge-KI mit zeitlichen Verarbeitungsfähigkeiten bei Leistungsniveaus zu ermöglichen, die für rekurrente Architekturen bisher unerreichbar waren. Die Autoren gehen davon aus, dass jede bestehende oder zukünftige analoge Feedforward-Plattform prinzipiell zeitliche Intelligenz gewinnen kann, indem sie BMRU-Zellen zu minimalen zusätzlichen Leistungskosten integriert. Dieser Co-Design-Ansatz überbrückt die Lücke zwischen algorithmischen Anforderungen für persistenten Speicher und den physikalischen Einschränkungen von Subthreshold-Analoghardware und bietet einen Weg zu energieeffizienter, kontinuierlicher Inferenz für Anwendungen wie Umweltüberwachung und biomedizinische Implantate.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden: Die Ergebnisse werden derzeit durch Transistorebenen-Simulationen in 180-nm-CMOS validiert und warten auf die physische Fertigung. Darüber hinaus werden, obwohl Mehrklassen- und komplexe Benchmarks in Software mit realistischen Rauschmodellen evaluiert werden, die Hardwarevalidierungen derzeit auf binäres Keyword Spotting fokussiert.