Human action recognition based on cascade graph convolutional network

Um zu verstehen, wie ein Computer eine menschliche Handlung erkennen kann, muss man zuerst verstehen, wie er einen Menschen sieht. Die traditionelle Videoanalyse stützt sich oft auf die Farben und Formen einer Szene und versucht, eine Person anhand ihrer Kleidung oder des Hintergrunds, in dem sie steht, zu identifizieren. Dieser Ansatz ist fragil; eine Änderung der Beleuchtung oder eine geschäftige Menge kann die Maschine verwirren. Eine robustere Methode konzentriert sich auf das Skelett selbst, eine skelettale Karte des Körpers, die durch die Positionen von Gelenken wie Schultern, Ellbogen und Knien definiert ist. Durch das Verfolgen dieser Punkte im Zeitverlauf kann ein Computer die Ablenkungen der Umgebung ignorieren und sich rein auf die Bewegung konzentrieren. Dies ist das Fundament der skelettbasierten Aktionserkennung, einem Feld, das sich von einfachem Regelbefolgen zu komplexen Lernsystemen entwickelt hat. Unter diesen ist ein Typ der künstlichen Intelligenz, bekannt als Graph Convolutional Network, zum Standardwerkzeug geworden. Es behandelt den menschlichen Körper als einen verbundenen Graphen, bei dem die Gelenke Knoten und die sie verbindenden Knochen Kanten sind, was es dem Computer ermöglicht zu lernen, wie die Bewegung eines Körperteils die eines anderen beeinflusst.

Trotz dieser Fortschritte bleibt ein erheblicher Engpass bestehen. Die meisten bestehenden Systeme behandeln jede Bewegung so, als würde sie die vollständige, detaillierte Karte des gesamten Körpers erfordern, um sie zu verstehen. Sie zwingen den Computer dazu, alle fünfzehn Gelenke für jede einzelne Aktion zu verarbeiten, sei es ein einfaches Winken oder ein komplexer Sprung. Dies ist rechenintensiv und langsam, ganz so, als würde man eine ganze Enzyklopädie lesen, um ein einziges Wort zu finden. Darüber hinaus verlassen sich diese Systeme oft auf eine feste Verbindungskarte und gehen davon aus, dass nur physisch berührende Gelenke einander beeinflussen können. Dies ignoriert die subtilen, nicht-physischen Beziehungen, die bei komplexen Bewegungen auftreten, wie etwa die Art und Weise, wie eine Hand sich in Erwartung eines Schrittfußes bewegt oder wie der Torso einen ausstreckenden Arm stabilisiert. Das Ergebnis ist ein System, das entweder zu langsam für den Echtzeitgebrauch oder zu starr, um die Nuancen feingliedrigen menschlichen Verhaltens zu erfassen.

Forscher der Jiangxi University of Chinese Medicine und der Nanchang University haben einen neuen Ansatz vorgeschlagen, um diese zwei Probleme von Geschwindigkeit und Genauigkeit zu lösen. Sie entwickelten ein System namens Cascade Graph Convolutional Network. Anstatt den Computer zu zwingen, den gesamten Körper für jede Aktion zu analysieren, arbeitet dieses System in Stufen, ähnlich wie eine Sicherheitskontrolle, die Menschen basierend auf dem Risiko filtert. Der Prozess beginnt mit einer sehr einfachen Ansicht des Körpers, die nur fünf Schlüsselgelenke verwendet: den Kopf und die vier Hauptgelenke der Gliedmaßen. Wenn der Computer aufgrund dieser spärlichen Informationen sicher genug in seiner Vermutung ist, stoppt er dort und deklariert die identifizierte Aktion. Nur wenn die Bewegung mehrdeutig oder komplex ist, geht das System zur nächsten Stufe über und fügt weitere Gelenke zur Analyse hinzu, zuerst auf zehn und schließlich auf den vollständigen Satz von fünfzehn. Diese schrittweise Verfeinerung bedeutet, dass einfache Handlungen, wie Aufstehen oder Gehen, fast augenblicklich mit minimalen Daten erkannt werden, während nur die schwierigen, subtilen Bewegungen die volle Rechenleistung des vollständigen Skeletts erfordern.

Um dieses System noch präziser zu machen, haben die Forscher auch geändert, wie der Computer die Verbindungen zwischen den Gelenken versteht. Traditionelle Methoden verwenden eine statische Karte basierend auf der Anatomie, bei der eine Hand nur mit einem Ellbogen verbunden ist. Das neue System hingegen lernt eine dynamische Karte, die sich basierend auf der Bewegung selbst verändert. Es berechnet, wie sich verschiedene Körperteile im Verhältnis zueinander über die Zeit bewegen, und identifiziert verborgene Beziehungen, die zwar nicht physisch verbunden, aber funktionell gekoppelt sind. Es kann beispielsweise erkennen, dass die Geschwindigkeit der Bewegung eines Knies mit der Beschleunigung eines Handgelenks korreliert, obwohl sie weit voneinander entfernt am Körper liegen. Durch die Kombination dieses dynamischen Verständnisses mit einem reichhaltigeren Datensatz, der nicht nur beinhaltet, wo sich die Gelenke befinden, sondern auch, wie schnell sie sich bewegen und wie sie beschleunigen, gewinnt das System ein viel tieferes Verständnis der Handlung.

Das Team testete diese neue Methode an drei verschiedenen Datensätzen, einschließlich eines neu gesammelten Datensatzes alltäglicher Bewegungen. Die Ergebnisse zeigten, dass das System Handlungen mit hoher Genauigkeit identifizieren konnte, während es gleichzeitig signifikant schneller als bisherige Methoden war. Auf dem UT-3D-Datensatz erreichte der neue Ansatz eine Genauigkeit von 97,50 %, setzte damit einen neuen State-of-the-Art-Benchmark und übertraf die zweitbeste Methode um 5,00 Prozentpunkte. Auf dem Florence-3D-Datensatz erreichte er 93,48 % und rangierte nur hinter einem viel langsameren, komplexeren System. Entscheidend war, dass die neue Methode dramatisch effizienter war. Während andere Systeme hunderte Millisekunden zur Verarbeitung einer einzigen Aktion benötigten, schloss dieses Kaskadensystem oft in weniger als 16 Millisekunden ab. Bei der Bewertung des Gesamtverhältnisses zwischen Geschwindigkeit und Genauigkeit erzielte die neue Methode nahezu perfekte Werte, während die langsameren, genaueren Systeme deutlich niedriger abschnitten.

Die Forscher räumen ein, dass ihr System nicht ohne Grenzen ist. Es hat Schwierigkeiten, wenn Körperteile aus der Sicht verborgen sind oder wenn sich mehrere Personen im Bild überschneiden, da die Skelettkarte dann unvollständig wird. Es stützt sich zudem auf Daten, die in kontrollierten Umgebungen gesammelt wurden, was bedeutet, dass es möglicherweise noch nicht bereit für die chaotische Unvorhersehbarkeit einer belebten Straße oder eines überfüllten Raumes ist. Die Kerninnovation bietet jedoch einen klaren Weg nach vorn. Indem sie bewiesen haben, dass ein Computer nicht den ganzen Körper sehen muss, um eine einfache Aktion zu verstehen, und indem sie der Maschine beigebracht haben, nach verborgenen Verbindungen zwischen beweglichen Teilen zu suchen, zeigt diese Arbeit, dass Effizienz und Intelligenz koexistieren können. Das System erkennt nicht nur, was eine Person tut; es versteht die Handlung mit einem Grad an Nuancierung, der zuvor komplexeren, ressourcenintensiveren Modellen vorbehalten war, und bringt die Möglichkeit einer intelligenten Bewegungsanalyse in Echtzeit näher an die Realität.