Helios 2.0: A Robust, Ultra-Low Power Gesture Recognition System Optimised for Event-Sensor based Wearables

Immaginate un paio di occhiali intelligenti in grado di comprendere i movimenti delle vostre mani senza che dobbiate mai toccarli. Per anni, il sogno di controllare i dispositivi digitali con un semplice gesto è stato frenato da un problema ostinato: la tecnologia necessaria per vedere quei movimenti è troppo affamata di energia. Le telecamere tradizionali, che scattano foto molte volte al secondo, esauriscono rapidamente le batterie, rendendole poco pratiche per occhiali che devono funzionare tutto il giorno. Per risolvere questo problema, gli scienziati si sono rivolti a un tipo diverso di occhio, uno che imita la retina umana. Invece di catturare immagini complete, questi sensori notano solo quando qualcosa cambia nella luce, inviando un segnale minuscolo solo quando un pixel rileva un cambiamento. Questo approccio è incredibilmente efficiente, ma insegnare a un computer a comprendere i movimenti sottili e fugaci di una mano usando solo questi segnali sparsi è rimasto una sfida difficile.

Un team di ricercatori presso Ultraleap ha ora costruito un sistema chiamato Helios 2.0 che rende finalmente concreta questa visione. Hanno creato un modello in grado di riconoscere gesti manuali specifici e naturali su occhiali intelligenti consumando quasi zero energia. Il sistema è progettato per funzionare direttamente sugli occhiali, utilizzando un processore specializzato che gestisce il grosso dei calcoli. I ricercatori si sono concentrati su due movimenti semplici e intuitivi: far scorrere il pollice sull'indice e pizzicare il pollice e l'indice insieme. Questi non sono movimenti grandi o drammatici, ma gesti piccoli e rapidi che risultano naturali per il corpo umano. Addestrando il loro software a individuare questi micro-movimenti, hanno reso possibile una forma di controllo che è allo stesso tempo reattiva e socialmente discreta, permettendo agli utenti di interagire con i propri dispositivi senza dover toccare la montatura.

Il percorso per arrivare a questo punto ha richiesto il superamento di ostacoli significativi nel modo in cui i dati vengono raccolti e come il computer apprende da essi. Raccogliere abbastanza esempi reali di persone che compiono questi gesti è difficile, lungo e costoso. Per aggirare questo problema, il team ha costruito un simulatore sofisticato. Questo ambiente virtuale ha permesso loro di generare milioni di esempi di movimenti delle mani, completi di variazioni nell'illuminazione, nella dimensione della mano e nella tonalità della pelle. Hanno insegnato al computer a riconoscere i gesti interamente all'interno di questo mondo digitale, utilizzando un metodo che fonde diversi movimenti per creare sequenze realistiche. Questo approccio ha significato che non hanno dovuto passare mesi a filmare centinaia di persone per costruire una libreria di addestramento. Una volta che il modello ha appreso i pattern nella simulazione, lo hanno testato su persone reali in uffici veri e persino all'aperto sotto la luce intensa del sole.

I risultati sono stati sorprendenti. Quando il sistema veniva eseguito su un normale processore per computer, utilizzava una quantità moderata di energia, ma quando i ricercatori lo hanno ottimizzato per girare su un processore di segnale digitale a basso consumo, come quelli presenti negli smartphone moderni, il consumo energetico è sceso drasticamente. Il sistema opera a soli 6 o 8 milliwatt, un livello di efficienza che rende possibile mantenere il riconoscimento dei gesti attivo sugli occhiali in ogni momento senza esaurire la batteria. Nei test, il modello ha identificato correttamente i gesti più dell'80 percent delle volte tra diversi utenti e ambienti, un miglioramento significativo rispetto ai tentativi precedenti. È stato anche rapido nella reazione, prendendo decisioni in soli 2,35 millisecondi, un tempo sufficientemente breve da sembrare istantaneo per l'utente umano.

Ciò che rende questo traguardo particolarmente importante è che risolve il compromesso tra velocità, accuratezza e potenza. I sistemi precedenti richiedevano hardware ingombranti, consumavano troppa energia per essere pratici per un uso quotidiano, oppure faticavano a distinguere un gesto deliberato dal movimento naturale di una persona che cammina. Helios 2.0 riesce a essere piccolo ed efficiente quanto basta per adattarsi a un paio di occhiali, pur rimanendo abbastanza intelligente da ignorare i falsi allarmi. I ricercatori hanno dimostrato che, utilizzando un'architettura a cinque stadi, dove le parti più impegnative del calcolo sono gestite dal chip a basso consumo, potevano ridurre il consumo energetico di venticinque volte rispetto al loro lavoro precedente, migliorando simultaneamente l'accuratezza del riconoscimento. Ciò suggerisce che l'era dell'interazione sempre attiva e senza contatto con gli smart glasses non è più una possibilità lontana, ma una tecnologia pronta per essere indossata.

Il team ha prestato attenzione anche alla diversità delle persone che utilizzano il sistema. Hanno testato il loro modello con venti individui diversi, variando la dimensione delle mani e la tonalità della pelle, per garantire che funzionasse equamente per tutti. Hanno scoperto che il sistema rimaneva robusto anche quando lo sfondo cambiava, ad esempio passando da un ufficio buio a un ambiente esterno luminoso. Questa affidabilità è cruciale per un dispositivo destinato a essere usato nel mondo reale, dove l'illuminazione e l'ambiente non sono mai costanti. Dimostrando che un sistema addestrato su dati simulati può generalizzare così bene su persone reali, i ricercatori hanno aperto una nuova strada per la tecnologia indossabile. Hanno dimostrato che è possibile costruire interfacce intelligenti e reattive che non richiedono all'utente di portare hardware extra o imparare comandi complessi, ma semplicemente di muovere le mani come farebbero naturalmente.

Questo lavoro rappresenta un cambiamento nel modo in cui pensiamo all'interfaccia tra esseri umani e macchine. Per molto tempo, il modo più intuitivo per interagire con un dispositivo — usare le mani — è stato spesso il più difficile da implementare in una forma indossabile. I limiti della durata della batteria e della potenza di elaborazione hanno costretto i designer a affidarsi a pulsanti, touchpad o comandi vocali, che possono essere scomodi o intrusivi. Helios 2.0 rimuove queste barriere mostrando che una telecamera può essere sia abbastanza sensibile da vedere un piccolo movimento, sia abbastanza efficiente da poter funzionare continuamente. Il sistema non si limita a riconoscere un gesto; comprende il contesto del movimento, distinguendo tra uno scorrimento inteso per cambiare pagina e il movimento accidentale di aggiustare gli occhiali. Questo livello di sfumatura, raggiunto con un consumo energetico così basso, apre la porta a un futuro in cui i nostri assistenti digitali sono sempre in ascolto, ma rispondono solo ai sottili segnali che scegliamo di dare loro.

I ricercatori non si sono limitati a costruire il modello; hanno anche creato un set completo di strumenti per garantirne il successo. Hanno sviluppato un nuovo modo per rappresentare i dati della telecamera a eventi, scomponendoli in superfici basate sul tempo che catturano il flusso del movimento piuttosto che immagini statiche. Ciò ha permesso al computer di vedere il gesto come una storia che si svela nel tempo, piuttosto che come un singolo scatto. Combinando questo approccio con un metodo di addestramento che tiene conto del modo in cui le mani ruotano e si muovono nello spazio tridimensionale, hanno garantito che il sistema potesse gestire la naturale variabilità del movimento umano. Il risultato è una tecnologia che sembra meno una macchina che interpreta comandi e più un partner che anticipa i bisogni.

Mentre il campo della tecnologia indossabile continua a evolversi, la capacità di interagire con il mondo senza contatto fisico diventa sempre più preziosa. Il lavoro su Helios 2.0 fornisce un modello su come raggiungere questo obiettivo senza sacrificare la durata della batteria o l'esperienza dell'utente. Dimostra che, ripensando l'approccio fondamentale alla rilevazione e all'apprendimento, è possibile creare sistemi che siano al contempo potenti ed efficienti. La strada da seguire prevede l'espansione del vocabolario dei gesti e il perfezionamento del sistema per adattarlo ancora più da vicino ai singoli utenti, ma le fondamenta sono state gettate. Il sogno di occhiali intelligenti che ci comprendono attraverso i nostri movimenti naturali è ora a portata di mano, supportato da un sistema che è silenzioso, efficiente e pronto per il mondo reale.