Helios 2.0: A Robust, Ultra-Low Power Gesture Recognition System Optimised for Event-Sensor based Wearables

Stel je een paar slimme brillen voor die je handbewegingen kunnen begrijpen zonder dat je ze ooit aanraakt. Jarenlang werd de droom om digitale apparaten te besturen met een eenvoudige handbeweging tegengehouden door een hardnekkig probleem: de technologie die nodig is om die bewegingen te zien, is te hongerig naar stroom. Traditionele camera's, die vele keren per seconde foto's maken, putten batterijen snel uit, wat ze onpraktisch maakt voor brillen die de hele dag moeten meegaan. Om dit op te lossen, hebben wetenschappers zich tot een ander soort oog gewend, een dat de menselijke retina nabootst. In plaats van volledige beelden vast te leggen, merkt deze sensoren alleen op wanneer er iets verandert in het licht, waarbij ze slechts een klein signaal sturen wanneer een pixel een verschuiving ziet. Deze aanpak is ongelooflijk efficiënt, maar een computer leren om de subtiele, vluchtige bewegingen van een hand te begrijpen met behulp van alleen deze schaarse signalen, is een moeilijke uitdaging gebleven.

Een team onderzoekers bij Ultraleap heeft nu een systeem gebouwd genaamd Helios 2.0 dat deze visie eindelijk werkelijkheid maakt. Ze hebben een model gecreëerd dat specifieke, natuurlijke handgebaren kan herkennen op slimme brillen terwijl het bijna geen stroom verbruikt. Het systeem is ontworpen om op de brillen zelf te werken, gebruikmakend van een gespecialiseerde processor die het zware rekenwerk afhandelt. De onderzoekers concentreerden zich op twee eenvoudige, intuïtieve bewegingen: het over de wijsvinger vegen met de duim en het samenknijpen van de duim en de wijsvinger. Dit zijn geen grote, dramatische bewegingen, maar kleine, snelle gebaren die natuurlijk aanvoelen voor het menselijk lichaam. Door hun software te trainen om deze microbewegingen op te sporen, hebben ze een vorm van controle mogelijk gemaakt die zowel responsief als sociaal discreet is, waardoor gebruikers met hun apparaten kunnen interageren zonder naar het montuur te reiken.

De weg naar dit punt vereiste het overwinnen van aanzienlijke hindernissen in hoe gegevens worden verzameld en hoe de computer ervan leert. Het verzamelen van voldoende praktijkvoorbeelden van mensen die deze gebaren maken is moeilijk, tijdrovend en duur. Om dit te omzeilen, bouwde het team een geavanceerde simulator. Deze virtuele omgeving stelde hen in staat om miljoenen voorbeelden van handbewegingen te genereren, compleet met variaties in verlichting, handgrootte en huidskleur. Ze leerden de computer de gebaren volledig binnen deze digitale wereld te herkennen, met behulp van een methode die verschillende bewegingen met elkaar mengt om realistische sequenties te creëren. Deze aanpak betekende dat ze niet maandenlang honderden mensen hoefden te filmen om een trainingsbibliotheek op te bouwen. Zodat het model de patronen in de simulatie leerde, testten ze het op echte mensen in echte kantoren en zelfs buiten in fel zonlicht.

De resultaten waren opmerkelijk. Wanneer het systeem op een standaard computerprocessor draaide, verbruikte het een gemiddelde hoeveelheid stroom, maar toen de onderzoekers het optimaliseerden om te draaien op een energiezuinige digitale signaalprocessor die in moderne smartphones wordt gevonden, daalde het energieverbruik drastisch. Het systeem werkt op slechts 6 tot 8 milliwatt, een efficiëntieniveau dat het mogelijk maakt voor de brillen om de gebarenherkenning de hele tijd actief te houden zonder de batterij leeg te trekken. In tests identificeerde het model de gebaren meer dan 80 procent van de tijd bij verschillende gebruikers en omgevingen, een significante verbetering ten opzichte van eerdere pogingen. Het reageerde ook snel, met beslissingen in slechts 2,35 milliseconden, wat snel genoeg is om als onmiddellijk te worden ervaren door de menselijke gebruiker.

Wat deze prestatie bijzonder belangrijk maakt, is dat het de trade-off tussen snelheid, nauwkeurigheid en vermogen oplost. Eerdere systemen vereisten ofwel omvangrijke hardware, verbruikten te veel energie om praktisch te zijn voor dagelijks gebruik, of hadden moeite om een doelbewuste handbeweging te onderscheiden van de natuurlijke beweging van een persoon die loopt. Helios 2.0 slaagt erin om klein en efficiënt genoeg te zijn om op een paar brillen te passen, terwijl het slim genoeg blijft om valse alarmen te negeren. De onderzoekers toonden aan dat door een vijffasige architectuur te gebruiken, waarbij de meest veeleisende delen van de berekening door de energiezuinige chip worden afgehandeld, ze het energieverbruik met vijfentwintig keer konden verlagen ten opzichte van hun eerdere werk, terwijl ze tegelijkertig de nauwkeurigheid van de herkenning verbeterden. Dit suggereert dat het tijdperk van altijd-aan, contactloze interactie met slimme brillen niet langer een verre mogelijkheid is, maar een technologie die klaar is om gedragen te worden.

Het team besteedde ook veel aandacht aan de diversiteit van de mensen die het systeem gebruiken. Ze testten hun model met twintig verschillende individuen, variërend in handgrootte en huidskleur, om ervoor te zorgen dat het eerlijk voor iedereen werkt. Ze ontdekten dat het systeem robuust bleef, zelfs wanneer de achtergrond veranderde, zoals bij de overgang van een schemerig kantoor naar een heldere buitenomgeving. Deze betrouwbaarheid is cruciaal voor een apparaat dat bedoeld is om in de echte wereld te worden gebruikt, waar licht en omgeving nooit constant zijn. Door te bewijzen dat een systeem dat getraind is op gesimuleerde gegevens zo goed kan generaliseren naar echte mensen, hebben de onderzoekers een nieuwe weg vooruit getoond voor draagbare technologie. Ze hebben aangetoond dat het mogelijk is om intelligente, responsieve interfaces te bouken die geen extra hardware vereisen of complexe commando's moeten aanleren, maar simpelweg door de handen te bewegen zoals men dat van nature zou doen.

Dit werk vertegenwoordigt een verschuiving in hoe we denken over de interface tussen mens en machine. Lange tijd was de meest intuïtieve manier om met een apparaat te interageren — het gebruik van onze handen — vaak de moeilijkste om in een draagbare vorm te implementen. De beperkingen van batterijduur en rekenkracht dwongen ontwerpers om te vertrouwen op knoppen, touchpads of stemcommando's, die ongemakkelijk of storend kunnen zijn. Helios 2.0 verwijdert die barrières door te laten zien dat een camera zowel gevoelig genoeg kan zijn om een kleine beweging te zien als efficiënt genoeg om continu te draaien. Het systeem herkent niet alleen een gebaar; het begrijpt de context van de beweging, waarbij het onderscheid maakt tussen een swipe die bedoeld is om een pagina te veranderen en de accidentele beweging van het aanpassen van de bril. Dit niveau van nuance, bereikt met zo weinig vermogen, opent de deur naar een toekomst waarin onze digitale assistenten altijd luisteren, maar alleen naar de subtiele signalen die wij bewust geven.

De onderzoekers stopten niet bij het bouwen van het model; ze creëerden ook een uitgebreide set hulpmiddelen om het succes te garanderen. Ze ontwikkelden een nieuwe manier om de gegevens van de event camera te representeren, door deze op te splitsen in tijdgebaseerde oppervlakken die de flow van beweging vastleggen in plaats van statische beelden. Dit stelde de computer in staat om het gebaar te zien als een verhaal dat zich in de loop van de tijd ontvouwt, in plaats van als een enkele snapshot. Door dit te combineren met een trainingsmethode die rekening houdt met de manier waarop handen roteren en bewegen in een driedimensionale ruimte, zorgden ze ervoor dat het systeem de natuurlijke variabiliteit van menselijke beweging kon aan. Het resultaat is een technologie die minder aanvoelt als een machine die commando's interpreteert en meer als een partner die behoeften anticipeert.

Terwijl het veld van draagbare computing zich blijft ontwikkelen, wordt het vermogen om zonder fysiek contact met de wereld te interageren steeds waardevoller. Het werk aan Helios 2.0 biedt een blauwdruk voor hoe dit te bereiken zonder in te boeten op batterijduur of gebruikerservaring. Het laat zien dat door de fundamentele aanpak van sensing en leren te heroverwegen, het mogelijk is om systemen te creëren die zowel krachtig als efficiënt zijn. De weg vooruit houdt in dat de vocabulaire van gebaren wordt uitgebreid en het systeem wordt verfijnd om nog nauwer aan de individuele gebruiker aan te passen, maar het fundament is gelegd. De droom van slimme brillen die ons begrijpen via onze natuurlijke bewegingen is nu binnen bereik, aangedreven door een systeem dat stil, efficiënt en klaar is voor de echte wereld.