💻 computer science

Co-Optimization of Analog Kolmogorov-Arnold Networks for Low-Power Function Approximation in Flexible Electronics

Dieses Paper stellt hardware-software-optimierte analoge Kolmogorov-Arnold-Netzwerke (AKANs) vor, die durch schaltungsspezifisches Training und mehrstufiges Pruning eine Reduktion der Fläche um bis zu 55 % und des Stromverbrauchs um bis zu 50 % erreichen, während gleichzeitig eine hohe Genauigkeit für die komplexe Funktionsapproximation in ressourcenbeschränkter flexibler Elektronik beibehalten wird.

Ursprüngliche Autoren: Paula Carolina Lozano Duarte, Georgios Zervakis, Mehdi Tahoori, Sani Nassif

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Paula Carolina Lozano Duarte, Georgios Zervakis, Mehdi Tahoori, Sani Nassif

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine Smartwatch oder einen Gesundheitssensor, der Berechnungen zu den Signalen Ihres Körpers (wie Ihrem Herzschlag oder Ihrem Schweißniveau) direkt dort durchführen muss, wo die Daten erfasst werden. Normalerweise ist dies ein Problem, da komplexe mathematische Operationen viel Energie benötigen und diese winzigen, flexiblen Geräte nur über sehr wenig Spielraum bei der Batterieleistung verfügen.

Dieses Paper stellt eine clevere Lösung vor, die Analog Kolmogorov-Arnold Networks (AKANs) genannt wird. Hier ist die Aufschlüsselung dessen, was die Autoren getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Der „schwere Rucksack“

Den herkömmlichen digitalen Computer wie einen Rucksack voller schwerer Lehrbücher zu betrachten, ist sinnvoll. Um ein mathematisches Problem zu lösen, muss der Sensor:

Das Rohsignal (wie einen Herzschlag) aufnehmen.
Es in digitale Zahlen (0 und 1) übersetzen – das ist wie das Übersetzen einer Fremdsprache.
Die Zahlen mit einem digitalen Prozessor berechnen.
Das Ergebnis zurück in die Sprache der Realität übersetzen.

Dieser Prozess ist langsam und verbraucht viel Batterie. Für flexible Elektronik (wie einen Aufkleber auf Ihrer Haut) ist es unmöglich, diesen „schweren Rucksack“ zu tragen.

2. Die Lösung: Die „analoge Abkürzung“

Die Autoren schlagen vor, die Mathematik direkt in der analogen Welt (unter Verwendung von Stromfluss durch Drähte) zu erledigen, noch bevor sie jemals zu einer digitalen Zahl wird.

Die Analogie: Anstatt eine Fremdsprache zu übersetzen und dann die Mathematik zu betreiben, nutzt man einfach die Klänge und Töne der Sprache selbst, um die Rechnung zu lösen. Das ist schneller und verbraucht weniger Energie.
Das Werkzeug: Sie verwenden eine spezielle mathematische Struktur namens Kolmogorov-Arnold Network (KAN). Stellen Sie sich ein KAN als eine Reihe von flexiblen, dehnbaren Gummibändern (genannt „Splines“) vor, die so geformt werden können, dass sie fast jede Kurve oder jedes Muster in den Daten abbilden können.

3. Die Innovation: „Das Fett abschneiden“

Die große Herausforderung bei diesen analogen Schaltkreisen ist, dass sie nicht perfekt sind. Genau wie eine handgezeichnete Linie nicht perfekt gerade ist, haben auch die elektrischen Komponenten aufgrund der Fertigung winzige Fehler. Zudem sind die Schaltkreise oft sperrig.

Die Autoren entwickelten eine Methode zur Hardware-Software-Kooptimierung. Dies kann als ein zweistufiger Prozess betrachtet werden:

Schritt 1: Die Simulation (Die „Testfahrt“): Sie bauten einen digitalen Zwilling ihres physischen Schaltkreises und führten tausende Simulationen durch, um genau zu sehen, wie sich die „Gummibänder“ in der realen Welt verhalten würden, einschließlich aller winzigen Unvollkommenheiten.
Schritt 2: Das Beschneiden (Das „Skulpturieren“): Sie erkannten, dass einige Teile der Mathematik eigentlich gar nicht benötigt wurden.
- Stellen Sie sich eine Skulptur aus Ton vor. Einige Teile des Tons sind essenziell für die Form, andere Teile sind jedoch nur überschüssiges Gewicht.
- Die Autoren „beschneideten“ (entfernten) spezifische mathematische Terme (Koeffizienten), die nur wenig zum Endergebnis beitrugen, aber viel Platz und Energie beanspruchten.
- Der Clou: Normalerweise macht das Entfernen von Teilen eines Modells dieses weniger genau. Aber hier ist es so: Da sie das Netzwerk trainierten, während sie genau wussten, wie der „defekte“ Schaltkreis aussehen würde, machte das Entfernen der unnötigen Teile das Endergebnis tatsächlich genauer. Es ist wie das Entfernen eines wackeligen Beins von einem Tisch; der Tisch wird dadurch stabiler.

4. Die Ergebnisse: Leichter, schneller und besser

Sie testeten dies mit realen Daten, wie etwa Herzschlagmonitoren (EKG/PPG) und dem Stromverbrauch in Haushalten. Die Ergebnisse waren beeindruckend:

Größe: Sie reduzierten die physische Größe des Schaltkreises um bis zu 55 % (wie das Schrumpfen eines Rucksacks auf die Größe eines Portemonnaies).
Leistung: Sie senkten den Energieverbrauch um bis zu 50 % (was die Batterielaufzeit verdoppelt).
Genauigkeit: Überraschenderweise war die beschnittene, kleinere Version oft genauer als die vollständige, unbeschnittene Version, weil sie das „Rauschen“ entfernte, das durch die unnötigen Teile verursacht wurde.

5. Warum es für flexible Elektronik wichtig ist

Flexible Elektronik (die z. B. aus speziellen Kunststoffen oder Metallfolien besteht) ist großartig für Wearables, aber sie ist fragil und hat strikte Grenzen bei der Menge an Energie, die sie nutzen kann.

Die Autoren zeigten, dass ihre Methode perfekt auf IGZO-Technologie (einer Art von flexiblen Transistoren) funktioniert.
Sie bewiesen, dass das System stabil und genau bleibt, selbst wenn sich die Temperatur ändert oder die Fertigung nicht perfekt ist (was bei flexiblen Chips häufig vorkommt).

Zusammenfassung

Kurz gesagt: Die Autoren haben einen „intelligenten Bildhauer“ für elektronische Schaltkreise erschaffen. Sie nahmen ein komplexes mathematisches Werkzeug, simulierten dessen Verhalten auf einem flexiblen Chip und schnitten dann sorgfältig die unnötigen Teile weg. Das Ergebnis ist ein winziger, ultra-energieeffizienter Schaltkreis, der komplexe Berechnungen zu Ihren Körpersignalen durchführen kann, ohne Ihre Batterie zu leeren – und er funktioniert sogar besser, weil er einfacher ist.

Technische Zusammenfassung: Ko-Optimierung von analogen Kolmogorov-Arnold-Netzwerken für die leistungsarme Funktionsapproximation in der flexiblen Elektronik

Problemstellung
Wearable-Geräte und IoT-Sensoren erfordern zunehmend eine On-Sensor-Verarbeitung von Biosignalen und Umweltdaten. Diese Aufgaben beinhalten rechenintensive Operationen wie nichtlineare Aktivierungsfunktionen, Sensorkalibrierungskurven und Signalvorverarbeitung (z. B. logarithmische Kompression, Potenzoperationen). Die Implementierung dieser Funktionen digital verursacht oft einen erheblichen Energieaufwand durch die Analog-Digital-Wandlung (ADC) und die anschließende digitale Verarbeitung. Während flexible Elektronik (Flexible Electronics, FE) aufgrund ihrer mechanischen Flexibilität und kostengünstigen Fertigung eine vielversprechende Plattform für Wearable-Anwendungen bietet, stellt sie strenge Anforderungen an die Schaltungsdichte und den Stromverbrauch. Zudem sind analoge Implementierungen anfällig für Rauschen, Prozessvariationen und Bauteil-Fehlanpassungen (Mismatches), was die Approximationsgenauigkeit beeinträchtigen kann, wenn Hardware-Nichtidealitäten nicht explizit während des Modelldesigns berücksichtigt werden. Bestehende Ansätze, wie RRAM-basierte Computing-in-Memory-Verfahren oder polynombasierte Techniken, stehen vor Einschränkungen hinsichtlich der Gerätevariabilität, des Energiebedarfs oder des Mangels an spezifischer Optimierung für FE-Plattformen.

Methodik
Die Autoren schlagen Analoge Kolmogorov-Arnold-Netzwerke (AKANs) vor, die durch eine Hardware-Software-Kooptimierungsmethodik entwickelt wurden. Der Kern dieses Ansatzes ist eine einheitliche Designschleife, die Schaltungssimulation, Fehlermodellierung und Parameter-Pruning integriert.

Hardware-Architektur: Das AKAN wird unter Verwendung von Indium-Gallium-Zinkoxid (IGZO) Dünnschichttransistoren (TFTs) implementiert, einer unipolaren Technologie, die für FE geeignet ist. Das Netzwerk nutzt Analoge Bausteine (Analog Building Blocks, ABBs), um quadratische Splines darzustellen, welche die Funktion $B(x) = k_0 + k_1x + k_2x^2$ repräsentieren. Diese Splines sind über Multiplizier-Akkumulations-Operationen (MAC) mittels Widerständen zur Gewichtszuweisung miteinander verbunden.
Hardware-bewusste Fehlermodellierung: Im Gegensatz zu früheren Arbeiten, die ideales Verhalten oder statistische Fehlerverteilungen annehmen, leitet diese Arbeit eine kontinuierliche, eingangsabhängige Fehlfunktion ( $\hat{\epsilon}_{hardware}(x)$ ) direkt aus transienten SPICE-Simulationen der IG‐ZO-Schaltungen ab. Dieses Modell erfasst systematische Hardware-Nichtidealitäten über den gesamten Koeffizientenraum ( $k_0, k_1, k_2$ ) hinweg.
Koeffizienten-basiertes Pruning: Die Methodik führt eine Pruning-Strategie ein, die auf der Ebene einzelner Polynomkoeffizienten arbeitet, anstatt auf Neuronen oder Splines als Ganzes. Das Entfernen eines Koeffizienten (z. B. das Setzen von $k_1$ auf Null) entspricht dem physischen Entfernen spezifischer Schaltungsblöcke (Multiplizierer, Quadrierer oder Addierer).
Co-Design-Training: Der Pruning-Prozess wird in die KAN-Trainingsschleife integayriert. Für jede Pruning-Konfiguration wird das entsprechende Hardware-Fehlermodell als additives Rauschen ( $f_{target}(x) = f_{ideal}(x) + \hat{\epsilon}_{hardware}(x)$ ) in die Trainingszielgröße injiziert. Dies ermöglicht es dem Netzwerk, Parameterkonfigurationen zu erlernen, die unter realistischen Betriebsbedingungen und spezifischen Pruning-Beschränkungen robust bleiben.

Zentrale Beiträge
Das Paper identifiziert drei primäre Beiträge:

Technologie-bewusste analoge Fehlermodellierung: Die Ableitung kontinuierlicher, eingangsabhängiger Fehlfunktionen direkt aus transienten SPICE-Simulationen von unipolaren IGZO-TFT-Schaltungen, die systematische Hardware-Nichtidealitäten in einem kommerziell relevanten FE-Prozess erfassen.
Schaltungsblock-basiertes Koeffizienten-Pruning: Eine Pruning-Methodik, die auf einzelnen Polynomkoeffizienten ( $k_0, k_1, k_2$ ) jedes quadratischen Splines operiert. Dieser Ansatz ermöglicht das physische Entfernen von Schaltungsblöcken, was Software-Entscheidungen direkt in Hardware-Flächen- und Energieeinsparungen übersetzt.
Anwendungsgestützte Validierung: Umfassende Evaluierung über vier Datensätze (PPG-DaLiA, ECG5000, Individual Household Electric Power Consumption und Iris), die Szenarien der biomedizinischen Überwachung und Sensorik abdecken, welche für den Einsatz in FE relevant sind.

Ergebnisse
Der vorgeschlagene Rahmen wurde durch umfangreiche SPICE-Simulationen und Trainingsexperimente validiert:

Hardware-Effizienz: Das Pruning einzelner Koeffizienten führte zu signifikanten Hardware-Einsparungen. Die Best-Case-Szenarien zeigten eine Reduktion der Fläche um bis zu 55 % und des Stromverbrauchs um bis zu 50 % im Vergleich zur ungeprunten Baseline. Im Durchschnitt lagen die Reduktionen über die Datensätze hinweg bei nahezu 30 % für beide Metriken.
Verbesserungen der Genauigkeit: Entgegen der Erwartung, dass Pruning die Leistung verschlechtert, zeigten die Ergebnisse, dass Pruning die Approximationsgenauigkeit verbessern kann. Das Entfernen von nahezu Null liegenden Koeffizienten wirkte wie ein impliziter Regularisierer, der die Anfälligkeit des Modells für Overfitting und Hardware-Rauschen verringerte. In mehreren Fällen erreichte das geprunte AKAN einen niedrigeren Normalisierten mittleren prozentualen Fehler (NMPE) als die ungeprunte Baseline.
Robustheit: Eine PVT-Analyse (Prozess, Spannung, Temperatur) über 27 Betriebsecken bestätigte, dass das hardwarebewusste Training systematische Verschiebungen kompensiert. Der NMPE blieb im Bereich der tragbaren Temperaturen (27–40 °C) stabil, mit einer maximalen Abweichung von nur 0,74 Prozentpunkten gegenüber den Nominalbedingungen.
Downstream-Performance: Bei der Bewertung auf Downstream-Aufgaben (Klassifizierung für ECG5000 und Iris; Signalrekonstruktion für IHEPC und PPG-DaLiA) behielten die geprunden AKANs eine vergleichbare Leistung wie die ungeprunten Baselines und die idealen Software-only KANs bei. In Aufgaben der Signalrekonstruktion übertrafen die besten geprunden Konfigurationen sogar die ungeprunte Hardware-Baseline und reduzierten den NRMSE um bis zu 33 %.

Bedeutung
Das Paper behauptet, dass diese Arbeit einen robusten und generalisierbaren Rahmen für die leistungsarme analoge Funktionsapproximation in der flexiblen Elektronik etabliert. Durch die explizite Berücksichtigung von Schaltungsebene-Beschränkungen während des Trainings und den Einsatz einer Koeffizienten-basierten Pruning-Strategie adressieren die vorgeschlagenen AKANs den kritischen Zielkonflikt zwischen Hardware-Effizienz und Approximationsgenauigkeit. Die Ergebnisse zeigen, dass strategische Parameterreduktion nicht nur Ressourcen spart, sondern auch die Generalisierungsfähigkeit analoger neuronaler Netze verbessern kann, was sie für ressourcenbeschränkte Echtzeit-Sensorik-Anwendungen in Wearables und IoT lebensfähig macht. Dieser Ansatz bietet einen Weg zur Implementierung komplexer nichtlinearer Funktionen direkt in analoger Hardware, ohne die mit solchen Implementierungen in FE-Technologien üblichen prohibitiven Flächen- und Stromkosten.