Im Bereich des Computer Vision stellt das Lehren von Maschinen, menschliche Bewegungen zu verstehen, eine Herausforderung dar, die weit über das bloße Erkennen eines Gesichts oder das Identifizieren eines Objekts hinausgeht. Während Kameras problemlos sehen können, wie eine Person aussieht, erfordert das Verständnis dessen, was sie tut, die Interpretation der komplexen, sich verändernden Geometrie ihres Körpers. Jahrzehntelang verließen sich Forscher auf Videokameras, die Farbe und Textur erfassen, doch diese visuellen Details sind fragil; sie verschwinden in der Dunkelheit, werden durch eine Menge verdeckt oder verzerren sich, wenn sich der Kamerawinkel ändert. Um dies zu lösen, wandten sich Wissenschaftler Skelettdaten zu, einer digitalen Repräsentation, die den menschlichen Körper auf eine Serie verbundener Punkte oder Gelenke reduziert, ähnlich einer Strichmännchen-Figur. Dieser Ansatz entfernt den ablenkenden Hintergrund und konzentriert sich rein auf die Mechanik der Bewegung, was eine robuste Methode zur Analyse von Handlungen bietet, die von einem einfachen Winken bis hin zu einer komplexen Kampfkunst-Routine reicht. Die Kernschwierigkeit liegt darin, dem Computer beizubringen, die Beziehungen zwischen diesen Punkten zu sehen. Ein menschlicher Körper ist kein flaches Bild, sondern ein Netzwerk, in dem die Bewegung einer Schulter den Ellbogen beeinflusst, welcher wiederum die Hand beeinflusst. Frühe Methoden behandelten diese Verbindungen als fixiert und gingen davon aus, dass sich der Abstand zwischen den Gelenken nie ändert, doch menschliche Bewegung ist flüssig und kontextabhängig. Jüngere Fortschritte ermöglichten es Computern, diese Verbindungen dynamisch zu lernen und die „Wichtigkeit“ jedes Gelenks basierend auf der spezifisch ausgeführten Handlung anzupassen, dennoch blieb eine Lücke in der Frage, wie gut diese Systeme die subtilen, schnellen Veränderungen erfassen konnten, die von einem Moment zum nächsten geschehen.

Ein Team von Forschern der Southwest Jiaotong University hat diese verbleibenden Lücken mit einem neuen System adressiert, das darauf ausgelegt ist, die Geschichte der Bewegung klarer zu lesen. Sie entwickelten ein Netzwerk namens STME-GCN, das die Art und Weise verbessert, wie Computer Skelettdaten analysieren, indem es sich auf zwei spezifische Schwächen bisheriger Modelle konzentriert: darauf, wie sie entscheiden, welche Körperteile miteinander in Beziehung stehen, und wie sie die Geschwindigkeit und Intensität der Bewegung zwischen den Frames verfolgen. Die Forscher fanden heraus, dass ältere Methoden die Details der Bewegung oft zu früh glätteten, indem sie die Position der Gelenke über die Zeit hinweg im Durchschnitt berechneten und so die scharfen, flüchtigen Signale verloren, die eine Handlung von einer anderen unterscheiden. Beispielsweise könnten ein schnelles Klatschen und ein langsames Reiben der Hände ähnlich aussehen, wenn man nur die durchschnittliche Position der Hände betrachtet, aber sie fühlen sich völlig unterschiedlich an, wenn man die schnelle Veränderung des Abstands zwischen ihnen beobachtet. Um dies zu beheben, führt das neue System eine Methode ein, die die Verbindungen zwischen den Gelenken unter Verwendung eines reichhaltigeren Satzes an Hinweisen über die Zeit verfeinert, sowie einen parallelen Pfad, der explizit den Unterschied zwischen einem Moment und dem nächsten berechnet, anstatt einfach vorauszusetzen, dass das Netzwerk dies von selbst herausfindet.

Die erste große Innovation dieser Arbeit ist ein Modul, das wie ein intelligenter Kartograf für die Gelenke des Körpers fungiert. In früheren Systemen, wenn der Computer versuchte zu entscheiden, welche Gelenke miteinander kommunizieren sollten, betrachtete er oft die durchschnittliche Position dieser Gelenke über die gesamte Sequenz der Bewegung hinweg. Dies ist vergleichbar mit dem Versuch, ein Gespräch zu verstehen, indem man nur das durchschnittliche Volumen der Stimmen der Sprecher liest; man verliert die Pausen, die Betonung und den Rhythmus. Das neue System ersetzt diesen einfachen Durchschnitt durch eine vielschichtige Beschreibung der Zeit. Es betrachtet den Gesamtzustand der Handlung, die Intensität kurzfristiger Bewegungen und wie sich die Handlung durch verschiedene Phasen entwickelt. Indem das System diese detaillierten zeitlichen Hinweise in den Entscheidungsprozess einspeist, kann es eine einzigartige, dynamische Karte der Beziehungen für jede spezifische Handlung generieren. Wenn der Computer jemanden klatschen sieht, verstärkt er die Verbindung zwischen den Händen; wenn er jemanden schreiben sieht, konzentriert er sich auf die Beziehung zwischen dem Handgelenk und dem Ellbogen. Dies ermöglicht es dem Netzwerk, seine interne Struktur an die spezifische Bewegung anzupassen, die es beobachtet, anstatt sich auf einen Einheitsansatz zu verlassen.

Die zweite Innovation befasst sich direkt mit der Bewegung. Während das erste Modul die Karte der Verbindungen verbessert, stellt das zweite Modul sicher, dass der Computer der tatsächlichen Geschwindigkeit und Veränderung der Bewegung Aufmerksamkeit schenkt. Traditionelle Methoden verlassen sich darauf, dass das Netzwerk diese Veränderungen implizit lernt, indem es eine Sequenz statischer Posen betrachtet, was langsam und unpräzise sein kann. Die Forscher fügten einen dedizierten Pfad hinzu, der die Differenz zwischen aufeinanderfolgenden Frames explizit berechnet. Stellen Sie sich vor, Sie schauen ein Video, bei dem Sie zusätzlich zur Person auch einen zweiten Stream sehen, der genau zeigt, wie stark sich jedes Gelenk gegenüber der vorangegangenen Sekunde bewegt hat. Das System nutzt diese expliziten Differenzdaten, insbesondere in den frühen Schichten, in denen die Details der Bewegung am deutlichsten sind, um die aktivsten Teile des Körpers hervorzuheben. Diese „Pose-Motion“-Kollaboration ermöglicht es dem Netzwerk, zwischen Handlungen zu unterscheiden, die in ihrer Endform ähnlich aussehen, sich aber in ihrer Ausführung unterscheiden, wie etwa das rhythmische Annähern und Trennen der Hände beim Klatschen im Gegensatz zum kontinuierlichen, kleinteiligen Reiben der Hände.

Die Forscher testeten dieses neue System an drei großen Datensätzen, die tausende von aufgezeichneten Handlungen von Hunderten verschiedener Personen enthalten. Die Ergebnisse zeigten, dass das System durch die Kombination dieser beiden Verbesserungen ein hohes Maß an Genauigkeit bei der Erkennung von Handlungen erreichte, wobei es viele bestehende Methoden übertraf und gleichzeitig weniger Rechenressourcen verbrauchte. Auf dem größten Datensatz, der über 114.000 Sequenzen umfasste, identifizierte das System die Handlung in 90,0 Prozent der Fälle unter Verwendung eines Standard-Testprotokolls korrekt. Auf einem anderen Datensatz mit 56.880 Sequenzen erreichte es eine Genauigkeit von 92,6 Prozent. Diese Zahlen sind signifikant, da sie ohne das Hinzufügen einer massiven Menge an zusätzlicher Komplexität oder die Anforderung an den Computer, mehrere, separate Videostreams zu verarbeiten, erreicht wurden. Das System bewies, dass es durch die Verfeinerung des Verständnisses der Beziehungen zwischen den Gelenken und durch die explizite Modellierung der Veränderungen zwischen den Momenten das Wesen der menschlichen Bewegung effektiver erfassen konnte.

Die Studie beinhaltete auch visuelle Analysen, um aufzuzeigen, was das System genau lernte. Als die Forscher die vom Netzwerk generierten internen Karten betrachteten, sahen sie, dass sich die Verbindungen zwischen den Gelenken je nach Handlung änderten. Für eine Klatschbewegung verknüpfte das System die Hände stark, während es für ein Telefonat auf die Hand und das Ohr fokussierte. Dies bestätigte, dass das System nicht einen festen Satz von Regeln anwandte, sondern sein Verständnis in Echtzeit anpasste. Darüber hinaus beobachteten die Forscher beim Vergleich des Systems mit und ohne das neue Bewegungsverbesserungsmodul, dass die verbesserte Version ihre Aufmerksamkeit auf die spezifischen Gelenke und Momente konzentrierte, in denen die Aktion am dynamischsten war. Es reagierte nicht einfach auf alles gleichermaßen; es lernte, die Stillstandphasen zu ignorieren und sich auf die Bewegung zu konzentrieren, wodurch es zwischen der scharfen, periodischen Bewegung eines Klatschens und der anhaltenden, glatten Bewegung des Händereibens unterschied.

Diese Arbeit legt nahe, dass der Schlüssel zu besserer Aktionserkennung nicht nur darin liegt, den Körper zu sehen, sondern die Geschichte seiner Bewegung über die Zeit zu verstehen. Durch die Abkehr von einfachen Durchschnitten und die explizite Modellierung der Unterschiede zwischen den Momenten haben die Forscher ein System geschaffen, das sowohl effizient als auch hochgradig genau ist. Die Ergebnisse deuten darauf hin, dass zukünftige Fortschritte in diesem Bereich von ähnlichen Strategien abhängen könnten: die Daten, die zur Entscheidungsfindung verwendet werden, anzureichern und sicherzustellen, dass die flüchtigen Details der Bewegung im Prozess der Analyse nicht verloren gehen. Das System bleibt ein spezialisiertes Werkzeug für Skelettdaten, und die Autoren merken an, dass es noch nicht die Objekte berücksichtigt, die eine Person halten könnte, oder die feinen Details von Handgesten, die über die Standard-Gelenkpunkte hinausgehen. Durch die erfolgreiche Balance zwischen Modelleffizienz und hoher Erkennungsleistung bietet dieser Ansatz jedoch eine vielversprechende Richtung, um Maschinen sensibler für die Nuancen menschlicher Aktivitäten zu machen.