Recovering Biomechanical Signals from Missing Keypoints Using Temporal Interpolation in Monocular Gait Analysis

Wandelen is een ritme waar we zelden bij stilstaan, een naadloze stroom van beweging die ons lichaam uitvoert zonder bewuste inspanning. Toch is het voor wetenschappers die de menselijke beweging bestuderen, het vastleggen van dit ritme met een eenvoudige camera, een verrassend moeilijk puzzelstuk. Decennialang vertrouwden onderzoekers op dure laboratoria vol reflecterende markers en gespecialiseerde sensoren om te volgen hoe onze gewrichten bewegen. Tegenwoordig maakt goedkopere technologie het mogelijk om een enkele videocamera te gebruiken om te schatten waar onze lichaamsdelen zich in de ruimte bevinden, een proces dat pose-estimatie wordt genoemd. Deze technologie belooft hoogwaardige bewegingsanalyse naar klinieken, sportscholen en zelfs huizen te brengen. Deze camera-gebaseerde systemen zijn echter fragiel. Als een been van een persoon even wordt geblokkeerd vanuit het zicht, of als de software in de war raakt door bewegingsonscherpte, verliest het systeem het spoor van een specifiek punt op het lichaam, een zogenaamd keypoint. Wanneer een keypoint verdwijnt, valt de berekening van hoe een gewricht buigt vaak volledig uit elkaar, waardoor een vloeiend, bruikbaar signaal verandert in statische ruis. De vraag die onderzoekers bezighoudt, is of dit kapotte signaal kan worden hersteld met complexe, zware computermodellen, of dat een veel eenvoudigere aanpak net zo goed zou kunnen werken.

In een recente studie pakte een onderzoeker aan de Singapore University of Technology and Design dit probleem aan door zich te concentreren op de knie, een gewricht dat bij elke stap buigt en strekt. De onderzoeker gebruikte een enkele video van een man die liep en vroeg een computer om zijn lichaam te volgen met behulp van standaardsoftware. Om de zwakte van het systeem te testen, verwijderde de onderzoeker doelbewust het datapunt van de enkel in elk enkel frame van de video, waarmee een situatie werd gesimuleerd waarin de enkel verborgen is voor de camera. Zonder de enkel kon de computer de hoek van de knie niet meer berekenen. Het resultaat was onmiddellijk en dramatisch: de gegevens voor de kniehoek stopten volledig met bewegen. Het signaal vlakte af, verloor alle natuurlijke op en neer bewegingen van een wandelpas, en de fout in de meting sprong naar een gemiddelde van 23,4 graden. Het systeem was effectief bevroren, niet in staat om te raden waar de knie moest zijn zonder het ankerpunt van de voet.

De onderzoeker probeerde vervolgens een andere aanpak, die niet gericht was op het trainen van een complexe kunstmatige intelligentie om de ontbrekende gegevens te "raden". In plaats daarvan werd een eenvoudige methode gebruikt die temporele interpolatie wordt genoemd. Deze techniek kijkt naar waar de enkel zich bevond in het frame vlak voordat deze verdween en waar hij zich bevond in het frame vlak nadat deze weer verscheen, en vult de leemte in met een vloeiende, berekende positie op basis van die buren. Het is een eenvoudige wiskundige smoothing, vergelijkbaar met hoe men de positie van een auto tussen twee bekende punten op een weg zou inschatten. Wanneer deze eenvoudige oplossing werd toegepast, kwam het signaal van de kniehoek weer tot leven. De bevroren lijn begon weer te bewegen, herwon haar natuurlijke vorm en ritme. De gemiddelde fout daalde van 23,4 graden naar slechts 1,1 graad, en de vloeiendheid van de beweging keerde terug naar bijna hetzelfde niveau als wanneer de enkel niet ontbrak.

De studie vond dat deze eenvoudige oplossing werkte omdat het menselijk wandelen een sterk, voorspelbaar ritme heeft over zeer korte perioden. De positie van de enkel in de volgende fractie van een seconde wordt zwaar beïnvloed door waar deze zich in de vorige fractie van een seconde bevond. Dit betekent dat voor een enkel ontbrekend frame het lichaam geen complex model nodig heeft om zijn toekomst te voorspellen; het hoeft alleen zijn directe verleden te kennen. Het onderzoek suggereert dat voor veel toepassingen in de echte wereld, zoals het monitoren van het looppatroon in een drukke kliniek of een thuisomgeving, we geen dure, rekenintensieve systemen nodig hebben om incidentele storingen op te lossen. Een basis, goedkope berekening kan het signaal met hoge getrouwheid herstellen. De bevindingen wijzen erop dat de natuurlijke redundantie in hoe wij lopen voldoende is om eenvoudige software te laten herstellen van veelvoorkomende fouten zoals een verloren keypoint, waardoor de analyse soepel blijft verlopen, zelfs wanneer het camerazicht imperfect is.

Natuurlijk kent deze ontdekking duidelijke grenzen. De studie werd uitgevoerd op één persoon die liep in één enkele sequentie, dus het is nog niet bekend of deze eenvoudige oplossing werkt voor elk type loopje, elke camerahoek, of of het een lange periode kan aan waarbij de voet voor vele seconden achter elkaar verborgen is. De onderzoekers merkten ook op dat hun "perfecte" referentiedata afkomstig waren van hetzelfde camerasysteem, wat betekent dat de resultaten laten zien hoe goed het systeem zichzelf intern kan herstellen, in plaats van te bewijzen dat het overeenkomt met een gouden standaard laboratoriummeting. Ondanks deze beperkingen biedt het werk een geruststellend pad vooruit. Het laat zien dat we in de zoektocht naar het begrijpen van menselijke beweging met eenvoudige camera's, niet altijd de krachtigste computers nodig hebben. Soms ligt het antwoord in het stille, voorspelbare ritme van de stap zelf, dat een eenvoudige berekening zelfs kan horen wanneer de gegevens ontbreken.