Impact of Hand Impairment and Occlusions on Hand Pose Estimation Accuracy in Augmented Reality Applications

Stel je voor dat je een hoogtechnologische bril draagt (zoals de HoloLens 2) die probeert een digitaal skelet over je echte hand te tekenen. Deze technologie wordt getest om mensen te helpen bij het herstel van de handfunctie na een dwarslaesie. De grote vraag die de onderzoekers stelden was: Werkt dit digitale skelet net zo goed voor een hand die gewond is en anders beweegt, en raakt het in de war wanneer je echte objecten vastpakt?

Hier is een overzicht van wat ze hebben gedaan en wat ze hebben gevonden, met behulp van alledaagse vergelijkingen.

De Opstelling: De "Digitale Schaduw" vs. de Echte Hand

Zie de HoloLens 2 als een zeer enthousiaste maar soms onhandige kunstenaar die probeert een "digitale schaduw" van je hand te tekenen. Om te zien of de kunstenaar goed is, hebben de onderzoekers een "Waarheidspanel" samengesteld. Ze omringden de deelnemers met vijf hogesnelheidscamera's (zoals een beveiligingssysteem) om een perfecte, 3D-kaart te maken van exact waar elk vingergewricht zich bevond. Dit is de "Ground Truth" — de gouden standaard.

Ze testten twee groepen mensen:

1. De "Ongekwonde" Groep: Mensen met een normale handbeweging.
2. De "cSCI" Groep: Mensen met cervicale dwarslaesies (tetraplegie). Hun handen bewegen anders, vaak met unieke houdingen of een zwakkere grip, een beetje zoals een pop met licht verstrengelde touwtjes.

De Uitdaging: De "Obstakelbaan"

De deelnemers moesten drie verschillende objecten reiken, pakken, optillen en draaien: een blok, een creditcard en een knikker.

• De Twist: Sommige objecten waren opaak (solide, zoals een houten blok) en sommige waren transparant (zoals glas of plastic).
• Het Probleem: Wanneer je een solide object vastpakt, verberg je delen van je vingers voor het zicht van de camera. Het is also kind dat een tekening probeert te maken van een hand die een dik boek vasthoudt; het boek blokkeert het zicht op de vingers erachter. Dit wordt occlusie genoemd. De onderzoekers wilden zien of de "digitale schaduw"-kunstenaar de weg kwijtraakte wanneer het zicht werd geblokkeerd.

De Bevindingen: Wat de Data Zeiden

1. De Blessure Heeft het Systeem Niet Gebroken
Je zou kunnen denken dat de "digitale schaduw"-kunstenaar in de war raakt door de unieke manier waarop gewonde handen bewegen. Dat gebeurde niet.

• De Analogie: Stel je een GPS voor die perfect werkt voor een sportwagen én ook perfect werkt voor een vrachtwagen met een lekke band. Het systeem maakte geen onderscheid tussen een gezonde of een gewonde hand; de nauwkeurigheid was voor beide groepen gelijk.
• Het Resultaat: De HoloLens 2 en de andere geteste computerprogramma's konden de handpositie net zo goed voorspellen voor gewonde mensen als voor ongekwonde mensen.

2. Transparante Objecten Waren Iets Beter (Maar Nauwelijks)
Wanneer mensen transparante objecten vastpakten, was het systeem een klein beetje nauwkeuriger dan wanneer ze solide objecten vasthielden.

• De Analogie: Het is als het verschil tussen proberen een vis te zien in een heldere vijver versus een modderige vijver. Je ziet de vis beter in het heldere water.
• De Nuance: Het verschil was extreem klein — ongeveer 0,1 millimeter. Dat is ongeveer de dikte van een menselijke haar. Hoewel statistisch meetbaar, is het verschil in de echte wereld zo klein dat het bijna alsof je zegt: "helder glas is beter dan beslagen glas," terwijl de mist zo dun is dat je het verschil nauwelijks ziet.

3. De "Pro"-Kunstenaars Versloegen de "Ingebouwde" Kunstenaar
De onderzoekers testten niet alleen de ingebouwde tracking van de bril; ze draaiden de video ook door vier andere geavanceerde computerprogramma's (WiLoR, HaMeR, WildHands, MediaPipe).

• Het Resultaat: Het ingebouwde systeem in de brillen (HoloLens 2) was goed, maar de gespecialiseerde "Pro"-computerprogramma's (WiLoR en HaMeR) waren iets beter.
• Het Gat: De "Pro"-programma's waren ongeveer 2 millimeter nauwkeuriger dan de bril.
• De Afweging: De brillen zijn ontworpen om direct op het apparaat dat je draagt te draaien (zoals een smartphone-app). De "Pro"-programma's zijn als zware software die misschien een supercomputer nodig heeft om te draaien. De paper merkt op dat hoewel de "Pro"-programma's nauwkeuriger zijn, het onduidelijk is of die kleine verbetering van 2 mm de extra rekenkracht waard is die nodig is om ze in real-time te laten draaien.

4. Eén Uitzondering
Er was één specifiek computerprogramma (WildHands) dat iets meer moeite leek te hebben naarmate de handbeschadiging ernstiger werd. Echter, voor het hoofdprogramma (de bril) en de andere top-programma's maakte het niveau van de blessure niet uit.

De Kernboodschap

De studie concludeert dat de HoloLens 2 een bruikbaar hulpmiddel is voor handrevalidatie. Het raakt niet in de war van gewonde handen en het gaat redelijk goed om met het vastpakken van echte objecten.

• Het Goede Nieuws: Je hoeft je geen zorgen te maken dat de technologie zal falen simpelweg omdat een patiënt een dwarslaesie heeft.
• De Realiteitscheck: Hoewel fancy nieuwe computerprogramma's iets nauwkeuriger zijn, is het ingebouwde systeem in de brillen al "goed genoeg" voor de klus, en is het kleine verschil in nauwkeurigheid het extra technische gedoe van het overstappen naar een ander systeem waarschijnlijk niet waard.

De onderzoekers hebben ook een nieuwe dataset (een bibliotheek van video's en 3D-kaarten) gemaakt die mensen met handletsels bevat. Dit is een primeur, en zij hopen dat andere wetenschappers deze bibliotheek zullen gebruiken om in de toekomst nog betere tools te bouwen.