Learning human joint torques from pixels

Stellen Sie sich vor, Sie beobachten eine Zeitlupenaufnahme eines Basketballspielers, der einen Korb verwandelt. Mit dem bloßen Auge sieht es nach reiner athletischer Anmut aus. Doch für einen Biomechaniker ist dieser einzelne Moment ein chaotischer Sturm unsichtbarer Kräfte. Im Körper des Spielers feuern die Muskeln wie winzige Motoren, und seine Gelenke wirken wie Scharniere unter immensem Druck. Wissenschaftler nennen die Drehkraft, die diese Gelenke bewegt, „Drehmoment“ (Torque). Jahrzehntelang war das Herausfinden, wie viel Drehmoment genau im Spiel ist, so, als würde man versuchen, die Pferdestärken eines Motors allein durch den Blick auf das Auspuffrohr eines Autos zu erraten. Man kann die rotierenden Zahnräder nicht sehen, also muss man den Menschen mit Sensoren über den ganzen Körper bestücken, ihn in ein Labor mit riesigen Kameras schnallen oder einen Roboter bauen, der ihn vorgibt. Diese Methoden sind genau, aber sie sind auch klobig, teuer und unmöglich einzusetzen, während jemand in einem Park Fußball spielt oder in seinem Wohnzimmer tanzt. Die große Frage war immer: Können wir ein einfaches Video betrachten und sofort die verborgene Physik der Bewegung kennen?

Dieses Paper sagt: „Ja, das können wir“, und sie haben die Werkzeuge gebaut, um dies zu beweisen. Die Forscher erstellten einen massiven neuen Datensatz namens VID, der wie eine riesige Bibliothek aus 63.369 synchronisierten Videoframes echter Menschen ist, die sich bewegen. Aber das ist nicht nur eine Sammlung von Filmen; es ist eine „Super-Bibliothek“, in der jeder einzelne Frame mit einem geheimen Spickzettel versehen ist. Neben dem Video gibt es die exakten mathematischen Daten darüber, wie schnell sich die Gelenke bewegten und wie viel Drehmoment sie erzeugten, berechnet mithilfe fortschrittlicher Physiksoftware. Dann trainierten sie eine spezielle KI, die sie VID-Network nannten, damit sie die Videoframes betrachtet und die Verbindung zwischen dem Aussehen der Person und den unsichtbaren Kräften in ihrem Inneren lernt. Die Ergebnisse sind beeindruckend: Die KI lernte, diese Gelenkdrehmomente direkt aus den Pixeln einer Standardkamera vorherzusagen, und schlug damit die besten bisherigen Methoden um fast 40 %. Es ist, als hätte die KI gelernt, die „Muskel-Mathematik“ allein durch das Beobachten des Tanzes zu lesen, ohne dass Sensoren oder Roboter ihr dabei helfen mussten.

Das unsichtbare Maschinenzimmer

Um zu verstehen, warum das so eine große Sache ist, lassen Sie uns das Problem aufschlüsseln. Die menschliche Bewegung ist ein komplexer Tanz zwischen Knochen, Muskeln und der Schwerkraft. Wenn Sie einen Ball kicken, beugt sich Ihr Knie nicht einfach nur; es muss eine spezifische Menge an Drehkraft, also ein Drehmoment, erzeugen, um die Schwerkraft und das eigene Körpergewicht zu überwinden. In der Vergangenheit mussten Wissenschaftler, wenn sie diese Zahl wissen wollten, die Person in einen „Laborkäfig“ sperren. Sie klebten Sensoren auf die Haut, um elektrische Signale der Muskeln zu lesen, platzierten die Person auf einem speziellen Boden, der misst, wie stark sie nach unten drückt, und umstellten sie mit Kameras, um winzige Marker auf ihren Gelenken zu verfolgen. Es ist, als würde man versuchen, die Funktionsweise eines Automotors zu verstehen, indem man den Motor auseinanderbaut, jede Schraube misst und ihn auf einer Teststrecke fährt. Es funktioniert, aber man kann das nicht machen, während man auf der Autobahn fährt.

Andere Wissenschaftler versuchten einen alternativen Ansatz, indem sie Videospiele und Simulationen nutzten. Sie brachten Computern bei, einem digitalen Roboter beim Bewegen zuzusehen und die Kräfte zu erraten. Aber es gibt einen Haken: Roboter in Videospielen bewegen sich nicht exakt wie echte Menschen. Sie sind zu perfekt, zu glatt und es fehlt ihnen an den winzigen Wacklern und Unvollkommenheiten aus Fleisch und Blut. Es ist, als würde man versuchen, das Fahren eines echten Autos zu lernen, indem man nur ein Rennspiel spielt; man kennt zwar die Regeln, aber man weiß nicht, wie sich das Lenkrad anfühlt, wenn die Straße holprig wird.

Der neue „Super-Zuschauer“

Die Autoren dieses Papers entschieden sich dazu, die Laborkäfige und die Videospiel-Roboter zu überspringen. Stattdessen bauten sie eine Brücke zwischen der chaotischen realen Welt und der präzisen Welt der Physik. Ihr erster Schritt war die Erstellung des VID-Datensatzes. Sie nahmen bestehende Open-Source-Daten von sich bewegenden Menschen und leisteten die harte Arbeit der Synchronisierung. Stellen Sie sich vor, Sie nehmen ein Video einer springenden Person und eine separate Tabelle mit Physikberechnungen und bringen diese dann sorgfältig in Einklang, sodass jeder einzelne Frame des Videos exakt mit dem Bruchteil einer Sekunde der Berechnung übereinstimmt. Sie endeten mit über 63.000 Frames echter Menschen, komplett mit deren Größe, Gewicht und den exakten Drehmomentwerten für ihre Gelenke. Dieser Datensatz ist das „Lehrbuch“, das die KI studieren wird.

Als Nächstes bauten sie das VID-Network, ein intelligentes Computerprogramm, das als „Super-Zuschauer“ konzipiert ist. Dieses Netzwerk besteht aus drei Hauptteilen, die wie ein Detektiv-Team zusammenarbeiten:

1. Der Pose-Detektiv: Zuerst betrachtet es das Bild und findet genau heraus, wo sich die Gelenke der Person im 3D-Raum befinden. Es ist, als würde die KI im Geist ein Strichmännchen-Skelett über das Video zeichnen.
2. Der Marker-Tracker: Es sagt dann voraus, wo bestimmte Punkte am Körper (wie etwa dort, wo ein Muskel ansetzt) liegen würden, obwohl man sie nicht sehen kann. Dies hilft der KI, die Körperstruktur besser zu verstehen.
3. Der Zeitreisende: Schließlich betrachtet es nicht nur ein einzelnes eingefrorenes Bild. Es betrachtet eine Sequenz von Frames, wie beim Durchblättern eines Comics, um zu verstehen, wie sich der Körper über die Zeit bewegt. Es nutzt ein spezielles „Transformer“-Gehirn (die gleiche Technologie, die intelligente Chatbots antreibt), um die Verbindung zwischen der Vergangenheit, der Gegenwart und der Zukunft der Bewegung herzustellen, um die Kräfte zu erraten.

Die Ergebnisse: Das Unsichtbare sehen

Als sie dieses neue KI-System testeten, waren die Ergebnisse bahnbrechend. Sie verglichen das VID-Network mit den zwei derzeit besten verfügbaren Methoden: einer, die eine Mischung aus Physik und Sensoren nutzt, und einer anderen, die auf Robotersimulationen basiert. Die alten Methoden machten Fehler mit einem Durchschnitt von etwa 2,93 und 2,92 Einheiten (gemessen in Newtonmetern pro Kilogramm). Das neue VID-Network hingegen senkte diesen Fehler auf 1,7612 N·m/kg. Das ist eine Verbesserung von 39,81 %.

Das Paper zeigt, dass diese neue Methode in fast jeder Hinsicht besser ist. Ob die Person geht, kaukert oder springt – die KI errat die Kräfte genauer als die alten Wege. Sie war besonders gut bei schwierigen Bewegungen wie der „Lendenwirbelsäulen-Extension“ (Beugen des unteren Rückens), bei der sie die Genauigkeit massiv verbesserte. Nur bei bestimmten Gehmustern geriet sie etwas ins Straucheln, bei denen die simulationsbasierte Methode einen leichten Vorsprung hatte, wahrscheinlich weil es so viele Beispiele für das Gehen in den Trainingsdaten gab, dass die Simulation in diesem speziellen Bereich sehr gut wurde. Aber insgesamt gewann der Ansatz mit realen Bildern.

Warum das wichtig ist

Der aufregendste Teil dieses Papers ist nicht nur, dass die Zahlen besser sind; es ist, dass die KI gelernt hat, dies nur mit realen Bildern zu tun. Sie benötigte keine Sensoren, keine Kraftmessplatten oder eine Robotersimulation. Sie lernte, die unsichtbare Physik in einem Standardvideo zu sehen. Die Autoren deuten an, dass dies das erste Mal ist, dass jemand erfolgreich einen Benchmark für diese Art von „visionsbasierter inverser Dynamik“ unter Verwendung realer menschlicher Daten aufgebaut hat.

Dies öffnet die Tür zu einer Zukunft, in der wir analysieren können, wie Athleten sich bewegen, wie Patienten sich erholen oder wie Menschen in der freien Welt gehen, indem wir einfach eine Kamera auf sie richten. Während das Paper anmerkt, dass noch Arbeit zu leisten bleibt – etwa sicherzustellen, dass die KI auch bei Menschen funktioniert, die sie noch nicht gesehen hat, oder mit chaotischen Umgebungen „in freier Wildbahn“ umgehen kann –, hat es bewiesen, dass der Traum, die menschliche Bewegung aus einem einfachen Video heraus zu lesen, nicht länger nur eine Fantasie ist. Es ist eine Realität, die nun bereit ist, in der echten Welt getestet zu werden.