Human action recognition based on cascade graph convolutional network

Om te begrijpen hoe een computer een menselijke handeling kan herkennen, moet men eerst begrijpen hoe de computer een persoon ziet. Traditionele videoanalyse vertrouwt vaak op de kleuren en vormen van een scène, waarbij geprobeerd wordt een persoon te identificeren aan de hand van hun kleding of de achtergrond waarin zij staan. Deze aanpak is fragiel; een verandering in belichting of een drukke menigte kan de machine in verwarring brengen. Een robuustere methode richt zich op het skelet zelf, een skeletale kaart van het lichaam gedefinieerd door de posities van gewrichten zoals de schouders, ellebogen en knieën. Door deze punten in de loop van de tijd te volgen, kan een computer de afleidingen van de omgeving negeren en zich puur op de beweging concentreren. Dit is het fundament van skeletgebaseerde actieherkenning, een veld dat is verschoven van simpel regelvolgend naar complexe leersystemen. Onder deze systemen is een type kunstmatige intelligentie, bekend als een graph convolutional network, een standaardinstrument geworden. Het behandelt het menselijk lichaam als een verbonden graaf, waarbij gewrichten knopen zijn en de botten die hen verbinden randen zijn, waardoor de computer kan leren hoe de beweging van één deel van het lichaam een ander deel beïnvloedt.

Ondanks deze vooruitgang blijft er een aanzienlijke flessenhals bestaan. De meeste bestaande systemen behandelen elke beweging alsof de volledige, gedetailleerde kaart van het hele lichaam nodig is om de handeling te begrijpen. Ze dwingen de computer om alle vijftien gewrichten te verwerken voor elke enkele handeling, of het nu gaat om een simpele zwaai of een complexe sprong. Dit is rekentechnisch duur en traag, vergelijkbaar met het lezen van een hele encyclopedie om één enkel woord te vinden. Bovendien vertrouwen deze systemen vaak op een vaste kaart van verbindingen, waarbij wordt aangenomen dat alleen fysiek contactmakende gewrichten elkaar kunnen beïnvloeden. Dit negeert de subtiele, niet-fysieke relaties die optreden tijdens complexe bewegingen, zoals hoe een hand beweegt in anticipatie op een voetstap, of hoe het bovenlichaam een reikende arm stabiliseert. Het resultaat is een systeem dat ofwel te traag is voor real-time gebruik, of te rigide om de nuances van fijnmazig menselijk gedrag te vangen.

Onderzoekers aan de Jiangxi University of Chinese Medicine en Nanchang University hebben een nieuwe aanpak voorgesteld om deze tweeledige problemen van snelheid en nauwkeurigheid op te lossen. Ze ontwikkelden een systeem genaamd een Cascade Graph Convolutional Network. In plaats van de computer te dwingen om voor elke handeling het volledige lichaam te analyseren, werkt dit systeem in fasen, vergelijkbaar met een controlepost bij een beveiliging die mensen filtert op basis van risico. Het proces begint met een zeer eenvoudige weergave van het lichaam, waarbij slechts vijf sleutelgewrichten worden gebruikt: het hoofd en de vier grote gewrichten van de ledematen. Als de computer voldoende vertrouwen heeft in zijn vermoeden op basis van deze schaarse informatie, stopt het proces daar en verklaart de geïdentificeerde handeling. Alleen als de beweging ambigu of complex is, gaat het systeem over naar de volgende fase, waarbij meer gewrichten aan de analyse worden toegevoegd, eerst naar tien, en uiteindelijk naar de volledige set van vijftien. Deze stapsgewijze verfijning betekent dat eenvoudige handelingen, zoals opstaan of lopen, bijna onmiddellijk worden herkend met minimale gegevens, terwijl alleen de moeilijke, subtiele bewegingen de volledige rekenkracht van het complete skelet vereisen.

Om dit systeem nog nauwkeuriger te maken, hebben de onderzoekers ook veranderd hoe de computer de verbindingen tussen gewrichten begrijpt. Traditionele methoden gebruiken een statische kaart gebaseerd op anatomie, waarbij een hand alleen verbonden is met een elleboog. Het nieuwe systeem leert echter een dynamische kaart die verandert op basis van de beweging zelf. Het berekent hoe verschillende delen van het lichaam in relieu tot elkaar bewegen in de loop van de tijd, en identificeert verborgen relaties die niet fysiek verbonden zijn maar wel functioneel gelinkt zijn. Het kan bijvoorbeeld detecteren dat de snelheid van de beweging van een knie gecorreleerd is met de versnelling van een pols, ook al bevinden zij zich ver uit elkaar op het lichaam. Door deze dynamische kennis te combineren met een rijkere set gegevens die niet alleen bevat waar de gewrichten zich bevinden, maar ook hoe snel ze bewegen en hoe ze versnellen, krijgt het systeem een veel dieper begrip van de handeling.

Het team testte deze nieuwe methode op drie verschillende datasets, incluson een nieuw verzamelde dataset van alledaagse bewegingen. De resultaten toonden aan dat het systeem handelingen met hoge nauwkeurigheid kon identificeren terwijl het aanzienlijk sneller was dan eerdere methoden. Op de UT-3D dataset bereikte de nieuwe aanpak een nauwkeurigheid van 97,50%, waarmee een nieuwe state-of-the-art benchmark werd gezet en de op één na beste methode met 5,00 procentpunt versloeg. Op de Florence-3D dataset bereikte het 93,48%, waarbij het slechts de tweede plaats bezette achter een veel langzamer, complexer systeem. Cruciaal was dat de nieuwe methode dramatisch efficiënter was. Terwijl andere systemen honderden milliseconden nodig hadden om een enkele handeling te verwerken, voltooide dit cascade-systeem de taak vaak in minder dan 16 milliseconden. Bij het evalueren van de algehele balans tussen snelheid en nauwkeurigheid behaalde de nieuwe methode bijna perfecte scores, terwijl de langzamere, nauwkeurigere systemen aanzienlijk lager scoorden.

De onderzoekers erkennen dat hun systeem niet zonder beperkingen is. Het heeft moeite wanneer lichaamsdelen buiten het zicht zijn of wanneer meerdere mensen elkaar in het beeld overlappen, omdat de skeletkaart dan incompleet wordt. Het vertrouwt ook op gegevens verzameld in gecontroleerde omgevingen, wat betekent dat het mogelijk nog niet klaar is voor de chaotische onvoorspelbaarheid van een drukke straat of een overvolle kamer. De kerninnovatie biedt echter een duidelijke weg vooruit. Door te bewijzen dat een computer niet het hele lichaam hoeft te zien om een eenvoudige handeling te begrijpen, en door de machine te leren zoeken naar verborgen verbindingen tussen bewegende onderdelen, laat dit werk zien dat efficiëntie en intelligentie samen kunnen gaan. Het systeem herkent niet alleen wat een persoon doet; het begrijpt de handeling met een niveau van nuance dat voorheen was voorbehouden aan veel langzamere, meer resource-intensieve modellen, waardoor de mogelijkheid van real-time, intelligente bewegingsanalyse dichter bij de realiteit komt.