Learning human joint torques from pixels

Stel je voor dat je een slow-motion video bekijkt van een basketballer die een bal dunkt. Met het blote oog ziet het eruit als pure atletische gratie. Maar voor een biomechanicus is dat enkelvoudige moment een chaotische storm van onzichtbare krachten. Binnen het lichaam van de speler vuren spieren af als kleine motoren, en hun gewrichten fungeren als scharnieren onder enorme druk. Wetenschappers noemen de draaikracht die deze gewrichten in beweging zet "torque" (koppel). Decennialang was het uitzoeken van hoeveel torque er precies in het spel is, alsof je probeerde het pk-vermogen van een motor te raden door alleen naar de uitlaatpijp van een auto te kijken. Je kunt de draaiende tandwielen niet zien, dus moet je sensoren over de huid van de persoon plakken, ze in een lab met gigantische camera's vastzetten, of een robot bouwen die hen nadoet. Deze methoden zijn accuraat, maar ze zijn ook lomp, duur en onmogelijk te gebruiken terwijl iemand in een park voetbalt of in hun woonkamer danst. De grote vraag is altijd geweest: Kunnen we naar een simpele video kijken en direct de verborgen fysica van de beweging kennen?

Dit artikel zegt: "Ja, dat kunnen we," en zij hebben de tools gebouwd om dat te bewijzen. De onderzoekers hebben een enorme nieuwe dataset gemaakt genaamd VID, wat een soort gigantische bibliotheek is van 63.369 gesynchroniseerde videoframes van echte mensen die bewegen. Maar dit is niet zomaar een verzameling films; het is een "superbibliotheek" waar elk enkel frame wordt vergezeld door een geheim spiekbriefje. Naast de video staat de exacte wiskundige data voor hoe snel de gewrichten bewogen en hoeveel torque ze genereerden, berekend met geavanceerde fysica-software. Vervolgens hebben ze een speciale AI getraind, die ze VID-Network noemden, om naar de videoframes te kijken en de verbinding te leren tussen hoe de persoon eruitziet en de onzichtbare krachten binnen hen. De resultaten zijn indrukwekkend: de AI leerde de gewrichtstorsies direct te voorspellen vanuit de pixels van een standaard camera, waarmee het de beste eerdere methoden met bijna 40% versloeg. Het is alsoof de AI heeft geleerd om de "spier-wiskunde" te lezen door simpelweg naar de dans te kijken, zonder dat er sensoren of robots nodig waren om te helpen.

De Onzichtbare Machinekamer

Om te begrijpen waarom dit zo'n grote zaak is, moeten we het probleem ontleden. Menselijke beweging is een complexe dans tussen botten, spieren en zwaartekracht. Wanneer je een bal trapt, buigt je knie niet alleen; het moet een specifieke hoeveelheid draaikracht, of torque, genereren om de zwaartekracht en je eigen lichaamsgewicht te overwinnen. In het verleden, als een wetenschapper dat getal wilde weten, moest hij de persoon in een "lab-kooi" plaatsen. Ze plakten sensoren op de huid om elektrische signalen van spieren af te lezen, plaatsten de persoon op een speciale vloer die meet hoe hard ze naar beneden duwen, en omringden hen met camera's om kleine markeringen op hun gewrichten te volgen. Het is alsof je probeert te begrijpen hoe een automotor werkt door de motor uit elkaar te halen, elke bout te meten en hem op een testbaan te rijden. Het werkt, maar je kunt dat niet doen terwijl je over de snelweg rijdt.

Andere wetenschappers probeerden een alternatieve aanpak door middel van videogames en simulaties. Ze leerden computers om naar een digitale robot te kijken die beweegt en de krachten te raden. Maar er is een addertje onder het gras: robots in videogames bewegen niet precies zoals echte mensen. Ze zijn te perfect, te vloeiend, en missen de kleine wiebelingen en imperfecties van echt vlees en bot. Het is alsof je probeert te leren hoe je in een echte auto rijdt door alleen maar een racespel te spelen; je kent misschien de regels, maar je weet niet hoe het stuur voelt wanneer de weg hobbelig wordt.

De Nieuwe "Super-Kijker"

De auteurs van dit artikel besloten de lab-kooien en de video game-robots over te slaan. In plaats daarvan bouwden ze een brug tussen de chaotische echte wereld en de precieze wereld van de fysica. Hun eerste stap was het creëren van de VID-dataset. Ze namen bestaande open-source data van echte mensen die bewegen en deden het harde werk om deze te synchroniseren. Stel je voor dat je een video maakt van een springend persoon en een apart spreadsheet van fysica-berekeningen hebt, en deze dan zorgvuldig op één lijn brengt zodat elk enkel frame van de video exact overeenkomt met het exacte fractie van een seconde van de berekening. Ze kwamen uit op meer dan 63.000 frames van echte mensen, compleet met hun lengte, gewicht en de exacte torque-waarden voor hun gewrichten. Deze dataset is het "leerboek" waar de AI uit zal studeren.

Vervolgens bouwden ze het VID-Network, een slim computerprogramma ontworpen om een "super-kijker" te zijn. Dit netwerk heeft drie hoofdonderdelen die samenwerken als een team van detectives:

1. De Pose-detective: Eerst kijkt het naar de afbeelding en bepaalt exact waar de gewrichten van de persoon zich in de 3D-ruimte bevinden. Het is alsof de AI mentaal een stokfiguur-skelet over de video tekent.
2. De Marker-tracker: Vervolgens voorspelt het waar specifieke punten op het lichaam (zoals waar een spier aanhecht) zouden zijn, ook al kun je ze niet zien. Dit helpt de AI de lichaamsstructuur beter te begrijpen.
3. De Tijdreiziger: Ten slotte kijkt het niet naar één bevroren beeld. Het kijelt naar een reeks frames, zoals het doorbladeren van een stripboek, om te begrijpen hoe het lichaam in de loop van de tijd beweegt. Het gebruikt een speciale "Transformer"-hersenen (hetzelfde type technologie dat slimme chatbots aandrijft) om de verbanden tussen het verleden, het heden en de toekomst van de beweging te leggen om de krachten te raden.

De Resultaten: Het Onzichtbare Zien

Toen ze deze nieuwe AI testten, waren de resultaten een gamechanger. Ze vergeleken VID-Network met de twee beste methoden die momenteel beschikbaar zijn: één die een mix van fysica en sensoren gebruikt, en een andere die vertrouwt op robot-simulaties. De oude methoden maakten fouten, met een gemiddelde fout van ongeveer 2,93 en 2,92 eenheden (gemeten in Newton-meter per kilogram). Het nieuwe VID-Network verlaagde die fout echter naar 1,7612 N·m/kg. Dat is een verbetering van 39,81%.

Het artikel laat zien dat deze nieuwe methode beter is in bijna alles. Of de persoon nu loopt, een squat doet of naar beneden springt, de AI raadde de krachten nauwkeuriger dan de oude manieren. Het was bijzonder goed in lastige bewegingen zoals "lumbale extensie" (het buigen van de onderrug), waarbij het de nauwkeurigheid met een enorme marge verbeterde. De enige keer dat het een beetje struikelde, was bij specifieke loopbewegingen waarbij de simulatie-gebaseerde methode een licht voordeel had, waarschijnlijk omdat er zoveel voorbeelden van lopen in de trainingsdata zaten dat de simulatie erg goed werd in dat specifiek ding. Maar over het algemeen won de real-image aanpak.

Waarom dit ertoe doet

Het meest opwindende deel van dit artikel is niet alleen dat de cijfers beter zijn; het is dat de AI heeft geleerd dit te doen met alleen echte beelden. Het had geen sensoren, krachtplaten of een robot-simulatie nodig. Het heeft geleerd de onzichtbare fysica in een standaard video te zien. De auteurs suggereren dat dit de eerste keer is dat iemand er succesvol een benchmark voor heeft kunnen bouwen voor dit soort "vision-based inverse dynamics" met echte menselijke data.

Dit opent de deur naar een toekomst waarin we kunnen analyseren hoe atleten bewegen, hoe patiënten herstellen van blessures, of hoe mensen bewegen in de vrije natuur, simpelweg door een camera op hen te richten. Hoewel het artikel opmerkt dat er nog werk te verrichten is — zoals ervoor zorgen dat de AI werkt op mensen die het systeem nog niet eerder heeft gezien of het omgaan met chaotische "in-the-wild" omgevingen — heeft het bewezen dat de droom om menselijke beweging uit een simpele video te lezen niet langer slechts een fantasie is. Het is een realiteit die nu klaar is om in de echte wereld getest te worden.