Design-Time Optimization of Deep Neural Networks for Intermittent Learning on Microcontrollers
Dieses Paper präsentiert ein hardwarebewusstes, multiobjektives Optimierungsframework, das die Auswahl tiefer neuronaler Netze zur Designzeit für zuverlässiges, intermittierendes On-Device-Lernen auf energieautonomen Mikrocontrollern ermöglicht, indem es den Energieverbrauch pro Schicht sowie den Checkpointing-Overhead präzise vorhersagt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem winzigen, batteriebetriebenen Roboter beizubringen, die Stimme eines Freundes zu erkennen oder ein defektes Maschinenteil zu entdecken. Dieser Roboter lebt in einem abgelegenen Wald oder auf einer Boje im Meer und wird nur durch die Sonne oder den Wind mit Energie versorgt. Das Problem ist, dass die Natur launisch ist; die Sonne könnte sich hinter einer Wolke verstecken oder der Wind könnte abflauen, was dazu führt, dass die Batterie des Roboters mitten in einer Aufgabe leerläuft. In der Welt der künstlichen Intelligenz ist das ein Albtraum. Normalerweise vergisst ein Computer alles, was er gerade gelernt hat, wenn seine Stromversorgung unterbrochen wird, und man muss wieder von vorne anfangen. Diese Arbeit befasst sich genau mit diesem Kopfzerbrechen: Wie bringen wir diese winzigen, energiehungrigen Roboter bei, auch dann zu lernen, wenn ihre Stromversorgung unzuverlässig ist und ständig ein- und ausschaltet? Die Autoren arbeiten an der Schnittstelle zwischen „winzigen Computern“ (Mikrocontrollern), „Energy Harvesting“ (dem Entziehen von Energie aus der Umgebung) und „Intermittent Computing“ (einer Methode, um Fortschritte zu speichern, damit man nach einem Stromausfall genau dort weitermachen kann, wo man aufgehört hat).
Die Forscher, angeführt von Jakob Schubert und seinem Team, erkannten, dass das Entwerfen eines intelligenten Gehirns für diese Roboter so ist, als würde man versuchen, ein Haus zu bauen, ohne zu wissen, wie viel Regen es morgen regnen wird. Wenn man ein schweres, komplexes Haus baut (ein tiefes neuronales Netz), mag es zwar hervorragend beim Lernen sein, aber wenn eine einzige Schicht des Hauses mehr Energie benötigt, um gebaut zu werden, als die Batterie des Roboters auf einmal halten kann, bricht das gesamte Projekt zusammen, sobald der Strom flackert. Traditionelle Methoden, um diese Designs zu testen, bestehen darin, den Roboter zu bauen, ihn in das Feld zu stellen und zu warten, bis der Strom ausfällt, um zu sehen, was passiert. Das ist langsam, teuer und frustrierend.
Anstatt darauf zu warten, dass der Strom ausfällt, haben die Autoren eine „Kristallkugel“ für den Energieverbrauch erschaffen. Sie haben ein mathematisches Modell entwickelt, das vorhersagen kann, wie viel Energie jeder einzelne Schritt des Lernprozesses eines Roboters verbrauchen wird, noch bevor der Roboter überhaupt gebaut wird. Sie nennen dies „Design-Time Optimization“. Denken Sie an einen Videospielentwickler, der die Physik eines Sprungs in einem Computerprogramm simulieren kann, um zu sehen, ob der Charakter einen Spalt überwindet, ohne jemals ein echtes Trampolin bauen zu müssen. Ihr Modell betrachtet die „Zutaten“ eines neuronalen Netzes (wie viele Berechnungen es benötigt und auf wie viel Speicher es zugreift) und schätzt die Energiekosten mit überraschender Genauigkeit.
Der clevere Teil ist: Sie haben nicht nur vorhergesagt, wie viel Energie es kostet, Daten zu „ansehen“ (Inferenz); sie haben auch vorhergesagt, wie viel Energie es kostet, aus Daten zu „lernen“ (Training). Dies ist entscheidend, da das Lernen wesentlich energieintensiver ist. Sie berücksichtigten auch den „Checkpointing“-Overhead – den winzigen Teil der zusätzlichen Energie, die benötigt wird, um den Fortschritt des Roboters in einem speziellen, nicht-flüchtigen Speicher zu speichern (ähnlich einem digitalen Notizbuch, das keine Energie benötigt, um offen zu bleiben), jedes Mal, wenn die Batterie schwach wird.
Das Team testete seine Idee auf einem speziellen Typ winziger Computer, einem Cortex-M4-Mikrocontroller (speziell dem nRF52840). Sie nutzten ihre Energie-„Kristallkugel“, um durch Tausende möglicher Gehirn-Designs für den Roboter zu suchen, um diejenigen zu finden, die sowohl klug genug waren, Anomalien zu erkennen (wie ein defektes Maschinenlager), als auch klein genug, um in das winzige, intermittierende Energiebudget des Roboters zu passen. Sie fanden heraus, dass ihr Vorhersagemodell ziemlich gut war, mit einem gewichteten Fehler von etwa 16,6 % für die Netzwerkschichten und einem winzigen Fehler von 0,9 % für das Speichern im Speicher.
Die Ergebnisse waren beeindruckend. Indem sie ihr Modell nutzten, um das richtige Design auszuwählen, konnten sie ein Robotergehirn finden, das etwa 94 % weniger Energie verbrauchte als eine weniger optimierte Version, während es die Aufgabe dennoch korrekt ausführte. Sie zeigten, dass ein Design, das auf dem Papier effizient aussieht, tatsächlich scheitern kann, wenn ein einziger Schritt zu viel Strom auf einmal benötigt, aber ihr Modell konnte diese „Energiefallen“ erkennen, bevor sie überhaupt auftraten. Kurz gesagt: Sie haben bewiesen, dass man intelligente, selbstlernende Roboter für die Wildnis entwerfen kann, ohne hunderte von Prototypen bauen und testen zu müssen, indem man einfach einen intelligenten Rechner verwendet, um den Energiebedarf jedes winzigen Schrittes des Lernprozesses vorherzusagen. Dies schließt die Lücke zwischen komplexer künstlicher Intelligenz und der harten Realität des Betriebs mit Solar- oder Windenergie in der echten Welt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.