MAUPITI: On-Device Prototype-Based Learning on a Smart Infrared Sensor

Stel je een wereld voor waarin je apparaten je kunnen "zien" zonder ooit een foto te maken. Dit is het domein van TinyML, een tak van de wetenschap die zich wijdt aan het persen van slimme, lerende algoritmen in de kleinste, meest energieverslindende gadgets die je je kunt voorstellen. Normaal gesproken heeft een computer, om iets nieuws te leren—zoals het herkennen van een nieuw handgebaar—een verbinding nodig met een enorme, krachtige server in de cloud. Dit is alsof je een brief naar een superintelligente bibliothecaris stuurt elke keer dat je een nieuw woord wilt leren; het kost tijd, energie en vereist een constante verbinding. Maar wat als je apparaat zelfstandig zou kunnen leren, precies op de plek waar het zich bevindt, met slechts een heel klein beetje geheugen en vermogen? Dit is de uitdaging van on-device learning (leren op het apparaat zelf). Het doel is om sensoren te creëren die kunnen aanpassen aan nieuwe omgevingen of nieuwe trucjes kunnen leren zonder dat ze verbonden hoeven te zijn met het internet of uitgeput raken door zware berekeningen. Het kernidee is om het "brein" van de sensor zo efficiënt te maken dat het zijn eigen kennis direct kan bijwerken, waarbij de privacy wordt gewaarborgd omdat je gegevens nooit worden verzonden.

Maak kennis met MAUPITI, een slimme kleine sensor die precies dit doet. Denk aan MAUPITI als een kleine, privacy-gerichte beveiligingsbewaker gemaakt van een raster van 16 bij 16 warmtegevoelige pixels (een infraroodarray) en een superefficiënte microcontroller. In plaats van hoogresolutiefoto's te maken die je identiteit kunnen onthullen, ziet het alleen de warme, wazige vormen van mensen en hun bewegingen. Het grote probleem dat de onderzoekers aanpakten, was hoe je deze sensor nieuwe houdingen of gebaren kunt aanleren nadat deze is gebouwd, zonder dat er gegevens naar de cloud gestuurd hoeven te worden of het kleine geheugen wordt gebruikt.

Het artikel introduceert een methode genaamd prototype-based learning (prototype-gebaseerd leren). Stel je voor dat je een robot probeert te leren om verschillende soorten fruit te herkennen. In plaats van hem duizenden foto's van appels en sinaasappels te laten zien en hem te dwingen elk detail te onthouden (wat lijkt op de zware "backpropagation"-methode die bij grote AI wordt gebruikt), laat je hem gewoon één perfect "prototype" appel en één perfect "prototype" sinaasappel zien. Wanneer er een nieuwe vrucht verschijnt, vraat de robot simpelweg: "Lijkt dit meer op mijn appel-prototype of op mijn sinaasappel-prototype?" Dit is de Nearest Class Mean (NCM)-benadering. De MAUPITI-sensor gebruikt een kleine, vooraf getrainde "encoder" (een vertaler die warmtevormen omzet in eenvoudige getallen) en slaat vervolgens deze eenvoudige "prototypes" op voor elke houding of gebaar.

Hier is de magie: wanneer de sensor een nieuwe houding moet leren, hoeft hij niet zijn hele brein opnieuw te trainen. Hij berekent simpelweg de gemiddelde vorm van de nieuwe houding en slaat deze op als een nieuw prototype. Het artikel laat zien dat deze aanpak ongelooflijk goed werkt op de MAUPITI-hardware. In tests met twee verschillende datasets—één voor het herkennen van vijf menselijke houdingen (zoals staan of het opheffen van de armen) en een andere voor negen handgebaren (zoals een vuist of een "shaka"-teken)—behaalde de sensor een nauwkeurigheid die bijna net zo goed is als die van traditionele, zware methoden.

De onderzoekers ontdekten dat deze methode ongelooflijk efficiënt is. De sensor heeft slechts 32 kB aan totaal geheugen (16 kB voor instructies en 16 kB voor gegevens), wat minuscuul is vergeleken met een smartphone. Toch kon de sensor, door dit prototypesysteem te gebruiken, nieuwe klassen leren met slechts een paar voorbeelden (slechts één, hoewel vier het beste werkten) en het geheugen bijwerken in minder dan 0,29% van de totale tijd die nodig is om een beslissing te nemen. Dit betekent dat de sensor een nieuw gebaar kan leren in realtime, met bijna geen vertraging.

Cruciaal is dat het artikel de gedachte weerlegt dat je gegevens naar de cloud moet sturen of complexe, geheugenvretende "replay buffers" (waarbij het apparaat oude afbeeldingen opslaat om ze later opnieuw te leren) nodig hebt om effectief te leren. Ze hebben aangetoond dat je de zware taken van "backpropagation" (de standaard, energie-intensieve manier om AI te trainen) volledig kunt overslaan. In plaats daarvan, door simpelweg het "gemiddelde" van de nieuwe vorm bij te werken, blijft de sensor snel, privé en aanpasbaar. De studie bevestigt dat deze "slimme sensor" zelfstandig kan omgaan met continu leren, wat het een krachtig hulpmiddel maakt voor toekomstige privacy-bewuste apparaten die kunnen evolueren in je broekzak of aan je muur.