Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications
Diese Studie zeigt, dass die HoloLens 2 und hochmoderne Algorithmen zur Pose-Schätzung eine vergleichbare Genauigkeit für Personen mit Halswirbelsäulenverletzungen und gesunde Kontrollpersonen bei Interaktionen mit sowohl klaren als auch opaken Objekten beibehalten, was deren Eignung für Anwendungen der Handrehabilitation auf Basis von Augmented Reality bestätigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie tragen eine hochmoderne Brille (wie die HoloLens 2), die versucht, ein digitales Skelett über Ihre echte Hand zu zeichnen. Diese Technologie wird getestet, um Menschen bei der Wiederherstellung der Handfunktion nach einer Rückenmarksverletzung zu helfen. Die große Frage, die die Forscher gestellt haben, lautete: Funktioniert dieses digitale Skelett genauso gut für eine verletzte Hand, die sich anders bewegt, und wird es verwirrt, wenn man echte Objekte greift?
Hier ist eine Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben, unter Verwendung einiger alltäglicher Vergleiche.
Der Aufbau: Der „digitale Schatten“ vs. die echte Hand
Betrachten Sie die HoloLens 2 als einen sehr eifrigen, aber manchmal tollpatschigen Künstler, der versucht, einen „digitalen Schatten“ Ihrer Hand zu zeichnen. Um zu sehen, ob der Künstler gut ist, haben die Forscher eine „Wahrheits-Truppe“ aufgestellt. Sie umgaben die Teilnehmer mit fünf Hochgeschwindigkeitskameras (wie ein Sicherheitssystem), um eine perfekte 3D-Karte davon zu erstellen, wo jedes Fingergelenk exakt lag. Dies ist die „Ground Truth“ (die wahre Ausgangslage) – der Goldstandard.
Sie testeten zwei Gruppen von Menschen:
- Die „Unverletzten“: Menschen mit normaler Handbewegung.
- Die „cSCI“-Gruppe: Menschen mit zervikalen Rückenmarksverletzungen (Tetraplegie). Ihre Hände bewegen sich anders, oft mit einzigartigen Haltungen oder schwächerem Griff, ähnlich wie eine Puppe mit leicht verhedderten Fäden.
Die Herausforderung: Der „Hindernisparcours“
Die Teilnehmer mussten nach dem Greifen, Heben und Drehen drei verschiedene Objekte erreichen: einen Block, eine Kreditkarte und eine Murmel.
- Der Dreh: Einige Objekte waren opak (undurchsichtig, wie ein Holzblock) und einige waren klar (wie Glas oder Kunststoff).
- Das Problem: Wenn man ein festes Objekt greift, verdeckt es Teile der Finger aus der Sicht der Kamera. Es ist, als würde man versuchen, das Bild einer Hand zu zeichnen, die ein dickes Buch hält; das Buch blockiert die Sicht auf die Finger dahinter. Dies nennt man Okklusion (Verdeckung). Die Forscher wollten wissen, ob der „digitale Schatten“-Künstler die Orientierung verliert, wenn die Sicht blockiert ist.
Die Erkenntnisse: Was die Daten sagten
1. Die Verletzung hat das System nicht beeinträchtigt
Man könnte denken, dass der „digitale Schatten“-Künstler durch die einzigartige Art und Weise, wie sich verletzte Hände bewegen, verwirrt werden würde. Das passierte nicht.
- Die Analogie: Stellen Sie sich ein GPS vor, das sowohl perfekt für einen Sportwagen als auch perfekt für einen Lkw mit plattem Reifen funktioniert. Dem System war es egal, ob die Hand verletzt war oder nicht; die Genauigkeit war für beide Gruppen gleich.
- Das Ergebnis: Die HoloLens 2 und die anderen getesteten Computerprogramme konnten die Handposition für verletzte Menschen genauso gut vorhersagen wie für unverletzte Menschen.
2. Klare Objekte waren etwas besser (aber kaum merklich)
Wenn die Menschen klare Objekte griffen, war das System bei klaren Objekten ein winziges Stück genauer als bei soliden Objekten.
- Die Analogie: Es ist wie der Unterschied zwischen dem Versuch, einen Fisch in einem klaren Teich gegenüber einem schlammigen Teich zu sehen. Man kann den Fisch im klaren Wasser besser sehen.
- Der Haken: Der Unterschied war unglaublich gering, etwa 0,1 Millimeter. Das ist in etwa die Dicke eines menschlichen Haares. Obwohl dies statistisch messbar ist, ist es in der realen Welt fast so, als würde man sagen: „Klares Glas ist besser als trübes Glas“, aber der Nebel ist so dünn, dass man den Unterschied kaum bemerken kann.
3. Die „Pro“-Künstler schlugen die „integrierten“ Künstler
Die Forscher haben nicht nur die integrierte Verfolgung der Brille getestet, sondern spielten das Video auch durch vier andere fortschrittliche Computerprogramme (WiLoR, HaMeR, WildHands, MediaPipe).
- Das Ergebnis: Das integrierte System der Brille (HoloLens 2) war gut, aber die spezialisierten „Pro“-Computerprogramme (WiLoR und HaMeR) waren etwas besser.
- Die Lücke: Die „Pro“-Programme waren etwa 2 Millimeter genauer als die Brille.
- Der Kompromiss: Die Brille ist darauf ausgelegt, sofort auf dem Gerät, das man trägt, zu laufen (wie eine Smartphone-App). Die „Pro“-Programme sind wie Schwerlastsoftware, die vielleicht einen Supercomputer benötigt, um zu laufen. Die Arbeit weist darauf hin, dass, obwohl die „Pro“-Programme genauer sind, unklar ist, ob die winzige Verbesserung von 2 mm den zusätzlichen Rechenaufwand wert ist, der nötig ist, um sie in Echtzeit laufen zu lassen.
4. Eine Ausnahme
Es gab ein spezifisches Computerprogramm (WildHands), das anscheinend etwas mehr Probleme bekam, je schwerwiegender die Handverletzung wurde. Für das Hauptsystem (die Brille) und die anderen Top-Programme spielte der Schweregrad der Verletzung jedoch keine Rolle.
Das Fazit
Die Studie kommt zu dem Schluss, dass die HoloLens 2 ein taugliches Werkzeug für die Handrehabilitation ist. Sie wird nicht durch verletzte Hände verwirrt und kommt mit dem Greifen von realen Objekten recht gut zurecht.
- Die gute Nachricht: Sie müssen sich keine Sorgen machen, dass die Technologie versagt, nur weil ein Patient eine Rückenmarksverletzung hat.
- Der Realitätscheck: Während schicke neue Computerprogramme etwas genauer sind, ist das integrierte System der Brille bereits „gut genug“ für die Aufgabe, und der winzige Unterschied in der Genauigkeit ist es möglicherweise nicht wert, den zusätzlichen technischen Aufwand zu betreiben, das System zu wechseln.
Die Forscher haben auch einen neuen Datensatz erstellt (eine Bibliothek aus Videos und 3D-Karten), der Menschen mit Handverletzungen enthält. Dies ist das erste Mal, dass dies geschieht, und sie hoffen, dass andere Wissenschaftler diese Bibliothek nutzen werden, um in Zukunft noch bessere Werkzeuge zu entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.