MAUPITI: On-Device Prototype-Based Learning on a Smart Infrared Sensor

Immaginate un mondo in cui i vostri dispositivi possano "vedervi" senza mai scattare una fotografia. Questo è il regno del TinyML, un ramo della scienza dedicato a comprimere algoritmi intelligenti e capaci di apprendimento nei gadget più piccoli e con il maggior consumo energetico immaginabili. Di solito, affinché un computer possa imparare qualcosa di nuovo — come riconoscere un nuovo gesto della mano — deve essere connesso a un server massiccio e potente nel cloud. Questo è come inviare una lettera a un bibliotecario super-intelligente ogni volta che si vuole imparare una nuova parola; richiede tempo, energia e una connessione costante. Ma cosa succederebbe se il vostro dispositivo potesse imparare da solo, proprio dove si trova, usando solo una minuscola quantità di memoria e potenza? Questa è la sfida dell'apprendimento on-device (sul dispositivo). L'obiettivo è creare sensori che possano adattarsi a nuovi ambienti o imparare nuovi trucchi senza dover essere collegati a Internet o esauriti da calcoli pesanti. L'idea chiave è rendere il "cervello" del sensore così efficiente da poter aggiornare la propria conoscenza istantaneamente, preservando la privacy non inviando mai i vostri dati all'esterno.

Entra in scena MAUPITI, un piccolo e intelligente sensore che fa esattamente questo. Pensate a MAUPITI come a una piccola guardia giurata focalizzata sulla privacy, composta da una griglia di 16 per 16 pixel sensibili al calore (un array infrarosso) e un microcontrollore super-efficiente. Invece di scattare fotografie ad alta risoluzione che potrebbero rivelare chi siete, esso vede solo le forme calde e sfocate delle persone e dei loro movimenti. Il grande problema affrontato dai ricercatori è stato come insegnare a questo sensore nuove pose o gesti dopo che è stato costruito, senza dover inviare dati al cloud o consumare la sua minuscola memoria.

Il documento introduce un metodo chiamato apprendimento basato su prototipi. Immaginate di cercare di insegnare a un robot a riconoscere diversi tipi di frutta. Invece di mostrargli migliaia di foto di mele e arance e costringerlo a memorizzare ogni dettaglio (il che è simile al pesante metodo della "backpropagation" usato nella grande IA), gli basta mostrare un unico "prototipo" perfetto di mela e uno "prototipo" perfetto di arancia. Quando appare un nuovo frutto, il robot si chiede semplicemente: "Questo somiglia di più al mio prototipo di mela o al mio prototipo di arancia?". Questo è l'approccio Nearest Class Mean (NCM). Il sensore MAUPITI utilizza un piccolo "encoder" pre-addestrato (un traduttore che trasforma le forme di calore in numeri semplici) e poi memorizza questi semplici "prototipi" per ogni posa o gesto.

Ecco la magia: quando il sensore ha bisogno di imparare una nuova posa, non deve riaddestrare l'intero cervello. Calcola semplicemente la forma media della nuova posa e la memorizza come nuovo prototipo. Il documento mostra che questo approccio funziona incredibilmente bene sull'hardware MAUPITI. Nei test con due diversi dataset — uno per il riconoscimento di cinque pose umane (come stare in piedi o alzare le braccia) e un altro per nove gesti della mano (come un pugno o un segno "shaka") — il sensore ha raggiunto un'accuratezza quasi pari ai metodi tradizionali e pesanti.

I ricercatori hanno scoperto che questo metodo è incredibilmente efficiente. Il sensore ha solo 32 kB di memoria totale (16 kB per le istruzioni e 16 kB per i dati), che è minuscola rispetto a uno smartphone. Eppure, utilizzando questo sistema di prototipi, poteva imparare nuove classi con pochissimi esempi (anche solo uno, sebbene quattro fossero l'ideale) e aggiornare la sua memoria in meno dello 0,29% del tempo totale necessario per prendere una decisione. Ciò significa che il sensore può imparare un nuovo gesto in tempo reale, con quasi nessun ritardo.

Fondamentalmente, il documento esclude l'idea che sia necessario inviare dati al cloud o utilizzare "buffer di replay" complessi e affamati di memoria (dove il dispositivo salva vecchie immagini per riapprenderle in seguito) per apprendere efficacemente. Hanno dimostrato che è possibile saltare completamente il pesante lavoro della "backpropagation" (il modo standard e ad alto consumo energetico per addestrare l'IA). Invece, aggiornando semplicemente la "media" della nuova forma, il sensore rimane veloce, privato e adattabile. Lo studio conferma che questo "sensore intelligente" può gestire l'apprendimento continuo da solo, rendendolo uno strumento potente per i futuri dispositivi che preservano la privacy e possono evolversi direttamente nella vostra tasca o sul vostro muro.