Helios 2.0: A Robust, Ultra-Low Power Gesture Recognition System Optimised for Event-Sensor based Wearables

Stellen Sie sich ein Paar smarter Brillen vor, die Ihre Handbewegungen verstehen können, ohne dass Sie sie jemals berühren müssen. Jahrelang wurde der Traum, digitale Geräte durch eine einfache Geste zu steuern, durch ein hartnäckiges Problem aufgehalten: Die Technologie, die erforderlich ist, um diese Bewegungen zu sehen, ist zu hungrig nach Energie. Traditionelle Kameras, die viele Bilder pro Sekunde aufnehmen, entladen Batterien schnell, was sie für Brillen, die den ganzen Tag über laufen sollen, unpraktisch macht. Um dies zu lösen, haben sich Wissenschaftler einer anderen Art von Auge zugewandt, das die menschliche Netzhaut nachahmt. Anstatt vollständige Bilder zu erfassen, bemerken diese Sensoren nur, wenn sich etwas im Licht verändert, und senden nur dann ein winziges Signal, wenn ein Pixel eine Verschiebung sieht. Dieser Ansatz ist unglaublich effizient, aber ein Computer darauf zu trainieren, die subtilen, flüchtigen Bewegungen einer Hand unter Verwendung dieser spärlichen Signale zu verstehen, blieb eine schwierige Herausforderung.

Ein Team von Forschern bei Ultraleap hat nun ein System namens Helios 2.0 entwickelt, das diese Vision endlich Wirklichkeit werden lässt. Sie haben ein Modell geschaffen, das spezifische, natürliche Handgesten auf smarten Brillen erkennen kann, während es fast keinen Strom verbraucht. Das System ist darauf ausgelegt, direkt auf der Brille zu laufen, wobei ein spezialisierter Prozessor die schweren Rechenarbeiten übernimmt. Die Forscher konzentrierten sich auf zwei einfache, intuitive Bewegungen: das Streichen eines Daumens über den Zeigefinger und das Zusammenführen von Daumen und Zeigefinger. Dies sind keine großen, dramatischen Bewegungen, sondern kleine, schnelle Gesten, die sich für den menschlichen Körper natürlich anfühlen. Durch das Training ihrer Software, diese Mikro-Bewegungen zu erkennen, haben sie eine Form der Steuerung ermöglicht, die sowohl reaktionsschnell als auch sozial diskret ist, sodass Nutzer mit ihren Geräten interagieren können, ohne nach dem Rahmen greifen zu müssen.

Der Weg bis hierher erforderte die Überwindung erheblicher Hürden bei der Art und Weise, wie Daten gesammelt und wie der Computer aus ihnen lernt. Das Sammeln genügend realer Beispiele von Menschen, die diese Gesten ausführen, ist schwierig, zeitaufwendig und teuer. Um dies zu umgehen, baute das Team einen hochentwickelten Simulator. Diese virtuelle Umgebung ermöglichte es ihnen, Millionen von Beispielen für Handbewegungen zu generen, komplett mit Variationen in Beleuchtung, Handgröße und Hautton. Sie brachten den Computer dazu, die Gesten vollständig innerhalb dieser digitalen Welt zu erkennen, indem sie eine Methode verwendeten, die verschiedene Bewegungen miteinander vermischt, um realistische Sequenzen zu erstellen. Dieser Ansatz bedeutete, dass sie nicht Monate damit verbringen mussten, hunderte von Menschen zu filmen, um eine Trainingsbibliothek aufzubauen. Sobald das Modell die Muster in der Simulation gelernt hatte, testeten sie es an echten Menschen in echten Büros und sogar im Freien bei hellem Sonnenlicht.

Die Ergebnisse waren beeindruckend. Wenn das System auf einem Standard-Computerprozessor lief, verbrauchte es eine moderate Menge an Energie, aber als die Forscher es optimierten, um auf einem stromsparenden digitalen Signalprozessor, wie er in modernen Smartphones zu finden ist, zu laufen, sank der Energieverbrauch drastisch. Das System arbeitet mit nur 6 bis 8 Milliwatt, einem Effizienzniveau, das es ermöglicht, dass die Brille die Gestenerkennung jederzeit aktiv halten kann, ohne die Batterie zu entladen. In Tests identifizierte das Modell die Gesten in über 80 Prozent der Fälle bei verschiedenen Nutzern und Umgebungen korrekt, was eine signifikante Verbesserung gegenüber früheren Versuchen darstellt. Es reagierte zudem schnell und traf Entscheidungen in nur 2,35 Millisekunden, was schnell genug ist, um sich für den menschlichen Nutzer unmittelbar anzufühlen.

Was diese Errungenschaft besonders wichtig macht, ist, dass sie den Zielkonflikt zwischen Geschwindigkeit, Genauigkeit und Leistung löst. Frühere Systeme erforderten entweder sperrige Hardware, verbrauchten zu viel Energie, um für den ganztägigen Gebrauch praktikabel zu sein, oder hatten Schwierigkeiten, zwischen einer bewussten Geste und der natürlichen Bewegung einer gehenden Person zu unterscheiden. Helios 2.0 schafft es, klein und effizient genug zu sein, um auf ein Paar Brillen zu passen, während es gleichzeitig intelligent genug bleibt, um Fehlalarme zu ignorieren. Die Forscher zeigten, dass sie durch die Verwendung einer fünfstufigen Architektur, bei der die anspruchsvollsten Teile der Berechnung vom stromsparenden Chip übernommen werden, den Energieverbrauch im Vergleich zu ihrer früheren Arbeit um das Zwanzigfache senken konnten, während sie gleichzeitig die Genauigkeit der Erkennung verbesserten. Dies deutet darauf hin, dass die Ära der Always-on-Interaktion ohne Berührung mit smarten Brillen kein ferner Traum mehr ist, sondern eine Technologie, die bereit ist, getragen zu werden.

Das Team achtete auch auf die Vielfalt der Menschen, die das System nutzen. Sie testeten ihr Modell mit zwanzig verschiedenen Personen, wobei sie Handgröße und Hautton variierten, um sicherzustellen, dass es für alle fair funktioniert. Sie fanden heraus, dass das System selbst robust blieb, wenn sich der Hintergrund änderte, etwa beim Wechsel von einem dunklen Büro in eine helle Außenumgebung. Diese Zuverlässigkeit ist entscheidend für ein Gerät, das in der realen Welt eingesetzt werden soll, wo Lichtverhältnisse und Umgebung niemals konstant sind. Indem sie bewiesen, dass ein aus simulierten Daten trainiertes System so gut auf echte Menschen generalisieren kann, haben die Forscher einen neuen Weg für die Wearable-Technologie aufgezeigt. Sie haben demonstriert, dass es möglich ist, intelligente, reaktionsschnelle Schnittstellen zu bauen, die keine zusätzliche Hardware erfordern oder komplexe Befehle erlernen müssen, sondern einfach nur die Bewegung der Hände so vorzunehmen, wie man es natürlich tun würde.

Diese Arbeit stellt einen Wandel in der Art und Weise dar, wie wir über die Schnittstelle zwischen Mensch und Maschine denken. Lange Zeit war die intuitivste Art, mit einem Gerät zu interagieren – mit unseren Händen –, oft die am schwersten umzusetzende in einer tragbaren Form. Die Einschränkungen der Batterielaufzeit und der Rechenleistung zwangen Designer dazu, sich auf Tasten, Touchpads oder Sprachbefehle zu verlassen, die unbequem oder störend sein können. Helios 2.0 beseitigt diese Barrieren, indem es zeigt, dass eine Kamera sowohl empfindlich genug sein kann, um eine winzige Bewegung zu sehen, als auch effizient genug, um kontinuierlich zu laufen. Das System erkennt nicht nur eine Geste; es versteht den Kontext der Bewegung und unterscheidet zwischen einem Wischen, das eine Seite umblättern soll, und der unbeabsichtigten Bewegung beim Justieren der Brille. Diese Ebene der Nuancierung, die mit so geringem Stromverbrauch erreicht wird, öffnet die Tür für eine Zukunft, in der unsere digitalen Assistenten immer zuhören, aber nur auf die subtilen Signale reagieren, die wir ihnen bewusst geben.

Die Forscher hörten nicht damit auf, nur das Modell zu bauen; sie entwickelten auch ein umfassendes Set an Werkzeugen, um dessen Erfolg zu gewährleisten. Sie entwickelten eine neue Art, die Daten der Ereigniskamera darzustellen, indem sie diese in zeitbasierte Oberflächen zerlegten, die den Fluss der Bewegung erfassen, anstatt statische Bilder. Dies ermöglichte es dem Computer, die Geste als eine sich über die Zeit entfaltende Geschichte zu sehen, statt als einen einzelnen Schnappschuss. Durch die Kombination mit einer Trainingsmethode, die berücksichtigt, wie sich Hände im dreidimensionalen Raum drehen und bewegen, stellten sie sicher, dass das System die natürliche Variabilität menschlicher Bewegungen bewältigen kann. Das Ergebnis ist eine Technologie, die sich weniger wie eine Maschine anfühlt, die Befehle interpretiert, sondern eher wie ein Partner, der Bedürfnisse antizipiert.

Während sich das Feld des Wearable Computing weiterentwickelt, wird die Fähigkeit, mit der Welt ohne physischen Kontakt zu interagieren, zunehmend wertvoll. Die Arbeit an Helios 2.0 liefert einen Bauplan dafür, wie man dies erreicht, ohne die Batterielaufzeit oder das Nutzererlebnis zu opfern. Sie zeigt, dass es durch ein Überdenken des grundlegenden Ansatzes der Sensorik und des Lernens möglich ist, Systeme zu schaffen, die sowohl leistungsstark als auch effizient sind. Der Weg nach vorn besteht darin, das Vokabular der Gesten zu erweitern und das System noch enger an den individuellen Nutzer anzupassen, aber das Fundament ist gelegt. Der Traum von smarten Brillen, die uns durch unsere natürlichen Bewegungen verstehen, ist nun in Reichweite, angetrieben durch ein System, das leise, effizient und bereit für die reale Welt ist.