MAUPITI: On-Device Prototype-Based Learning on a Smart Infrared Sensor

Stellen Sie sich eine Welt vor, in der Ihre Geräte Sie „sehen“ können, ohne jemals ein Foto zu machen. Dies ist das Reich von TinyML, einem Zweig der Wissenschaft, der sich darauf spezialisiert hat, intelligente Lernalgorithmen in die winzigsten, energiehungrigsten Gadgets vorzustellen, die man sich vorstellen kann. Normalerweise benötigt ein Computer, um etwas Neues zu lernen – wie etwa das Erkennen einer neuen Handgeste –, eine Verbindung zu einem massiven, leistungsstarken Server in der Cloud. Das ist so, als würde man jedes Mal einen Brief an einen superintelligenten Bibliothekar schicken, wenn man ein neues Wort lernen möchte; es kostet Zeit, Energie und erfordert eine ständige Verbindung. Aber was wäre, wenn Ihr Gerät auf seine eigene Weise lernen könnte, direkt dort, wo es sich befindet, unter Verwendung nur eines winzigen Teils an Speicher und Energie? Dies ist die Herausforderung des On-Device-Learnings (Lernen auf dem Gerät). Das Ziel ist es, Sensoren zu entwickeln, die sich an neue Umgebungen anpassen oder neue Tricks lernen können, ohne dass sie an das Internet angeschlossen werden müssen oder durch schwere Berechnungen entleert werden. Die Kernidee besteht darin, das „Gehirn“ des Sensors so effizient zu gestalten, dass es sein eigenes Wissen sofort aktualisieren kann, wobei die Privatsphäre gewahrt bleibt, da Ihre Daten niemals nach außen gesendet werden.

Hier kommt MAUPITI ins Spiel, ein kluger kleiner smarter Sensor, der genau das tut. Stellen Sie sich MAUPITI wie einen winzigen, auf Privatsphäre bedachten Sicherheitswachmann vor, der aus einem Raster von 16 mal 16 hitzesensiblen Pixeln (einem Infrarot-Array) und einem supereffizienten Mikrocontroller besteht. Anstatt hochauflösende Fotos zu machen, die Ihre Identität preisgeben könnten, sieht er nur die warmen, verschwommenen Formen von Menschen und deren Bewegungen. Das große Problem, das die Forscher angegangen sind, war die Frage, wie man diesem Sensor neue Posen oder Gesten beibringt, nachdem er bereits gebaut wurde, ohne Daten an die Cloud senden zu müssen oder seinen winzigen Speicher zu überlasten.

Das Paper stellt eine Methode namens prototypenbasiertes Lernen vor. Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, verschiedene Obstsorten zu erkennen. Anstatt ihm tausende Bilder von Äpfeln und Orangen zu zeigen und ihn zu zwingen, jedes Detail auswendig zu lernen (was der schweren „Backpropagation“-Methode entspricht, die bei großer KI verwendet wird), zeigen Sie ihm einfach einen perfekten „Prototyp“-Apfel und einen perfekten „Prototyp“-Orange. Wenn ein neues Obst erscheint, fragt der Roboter einfach: „Sieht das eher wie mein Apfel-Prototyp oder wie mein Orangen-Prototyp aus?“ Dies ist der Nearest Class Mean (NCM)-Ansatz. Der MAUPITI-Sensor nutzt einen kleinen, vorab trainierten „Encoder“ (einen Übersetzer, der Wärmeformen in einfache Zahlen umwandelt) und speichert dann diese einfachen „Prototypen“ für jede Pose oder Geste.

Hier liegt die Magie: Wenn der Sensor eine neue Pose lernen muss, muss er nicht sein gesamtes Gehirn neu trainieren. Er berechnet einfach die durchschnittliche Form der neuen Pose und speichert diese als neuen Prototyp. Das Paper zeigt, dass dieser Ansatz auf der MAUPITI-Hardware unglaublich gut funktioniert. In Tests mit zwei verschiedenen Datensätzen – einem zur Erkennung von fünf menschlichen Posen (wie Stehen oder das Heben der Arme) und einem weiteren für neun Handgesten (wie eine Faust oder ein „Shaka“-Zeichen) – erreichte der Sensor eine Genauigkeit, die fast so gut ist wie die herkömmlicher, schwerer Methoden.

Die Forscher fanden heraus, dass diese Methode unglaublich effizient ist. Der Sensor verfügt über nur 32 kB Gesamtspeicher (16 kB für Instruktionen und 16 kB für Daten), was im Vergleich zu einem Smartphone winzig ist. Dennoch konnte er durch dieses Prototypensystem neue Klassen mit nur wenigen Beispielen (sogar nur einem, obwohl vier am besten funktionierten) lernen und seinen Speicher in weniger als 0,29 % der Zeit aktualisieren, die er für eine Entscheidung benötigt. Das bedeutet, dass der Sensor eine neue Geste in Echtzeit lernen kann, fast ohne Verzögerung.

Entscheidend ist, dass das Paper die Idee widerlegt, dass man Daten in die Cloud senden oder komplexe, speicherintensive „Replay Buffers“ (bei denen das Gerät alte Bilder speichert, um sie später erneut zu lernen) verwenden muss, um effektiv zu lernen. Sie haben demonstriert, dass man die schwere Arbeit der „Backpropagation“ (die standardmäßige, energieintensive Art des KI-Trainings) vollständig überspringen kann. Indem man statelt, den „Durchschnitt“ der neuen Form aktualisiert, bleibt der Sensor schnell, privat und anpassungsfähig. Die Studie bestätigt, dass dieser „smarte Sensor“ das kontinuierliche Lernen eigenständig bewältigen kann, was ihn zu einem leistungsstarken Werkzeug für zukünftige privatsphäre-schützende Geräte macht, die sich direkt in Ihrer Tasche oder an Ihrer Wand weiterentwickeln können.