Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

In de wereld van computer vision is het aanleren van machines om menselijke bewegingen te begrijpen een fundamentele uitdaging met diepgaande implicaties voor robotica, beveiliging en geautomatiseerde surveillance. Decennialang hebben onderzoekers op twee belangrijke strategieën vertrouwd om dit puzzelstuk op te lossen. De eerste strategie observeert de gehele scène en analyseert kleuren, verlichting en de achtergrond om te raden wat er gebeurt. De tweede strategie negeert het decor volledig en concentreert zich enkel op het bewegende skelet van een persoon—de specifieke rangschikking van gewrichten en ledematen. Hoewel de eerste benadering intuïtief is, faalt deze vaak wanneer de achtergrond verandert of wanneer de verlichting slecht is. De tweede benadering, die het skelet volgt, is veel robuuster tegen deze omgevingsveranderingen, maar heeft historisch gezien een ander probleem gehad: het vereist een enorme hoeveelheid menselijke arbeid om te leren. Om een computer te trainen om een specifieke actie te herkennen, zoals een vallend of vechtend persoon, moesten onderzoekers traditioneel elke persoon in elk frame van duizenden video's nauwgezet omkaderen met boxen en precies labelen wat zij deden. Dit proces is zo duurzaam en tijdrovend dat het de mogelijkheid beperkt om computers snel nieuwe acties aan te leren.

Een team van onderzoekers heeft nu een nieuwe methode ontwikkeld die deze zware last van handmatige labeling omzeilt, waardoor computers kunnen leren hoe ze nieuwe acties kunnen spotten zonder daar vooraf een enkel voorbeeld van te hebben gezien. Hun aanpak, die in een recente studie wordt toegelicht, introduceert een systeem dat leert van brede, algemene videobeschrijvingen in plaats van frame-per-frame annotaties. In plaats van te horen "deze persoon slaat op dit exacte moment", wordt het systeem getraind op volledige video's met eenvoudige tekstlabels die de algemene activiteit beschrijven, zoals "golf spelen" of "rijden". Door een techniek te gebruiken die de visuele gegevens van menselijke skeletten afstemt op de tekstuele beschrijvingen van acties, leert het systeem een universele taal van beweging. Eenmaal getraind kan het een video bekijken waarin mensen een actie uitvoeren die het nog nooit eerder heeft gezien, en accuraat identificeren wie het doet en wat zij doen. De onderzoekers hebben aangetoond dat deze methode niet alleen de nauwkeurigheid evenaart van systemen die getraind zijn met enorme hoeveelheden gedetailleerde labels, maar ook aanzienlijk veerkrachtiger blijkt bij een slechte videokwaliteit of een rommelige achtergrond.

De kern van deze innovatie ligt in een slimme verschuiving in de manier waarop de computer informatie verwerkt, een mechanisme dat de auteurs "Skeleton-Language feature Pooling Switching" noemen. Stel je een systeem voor dat eerst leert de algemene stemming van een kamer te begrijpen door te luisteren naar een samenvatting van het gesprek, en dan, wanneer gevraagd wordt om een specifieke spreker te identificeren, zijn focus verlegt om naar individuele stemmen te luisteren. Tijdens de trainingsfase bekijkt de computer een video en verzamelt alle skeletgegevens van iedereen in de clip tot één enkele samenvatting. Vervolgens vergelijkt het deze samenvatting met het tekstlabel dat bij de gehele video hoort. Dit stelt het systeem in staat om de verbinding te leren tussen een type beweging en een woord, zonder precies te hoeven weten wie er beweegt of wanneer. Echter, wanneer het systeem overgaat naar de testfase, schakelt het van koers. Het stopt met het bekijken van de video als geheel en isoleert in plaats daarvan elk persoonlijk skelet afzonderlijk. Omdat het tijdens de trainingsfase al de verbinding heeft geleerd tussen bewegingspatronen en woorden, kan het nu naar het skelet van één persoon kijken en vragen: "Lijkt dit op de tekstuele beschrijving van 'boksen'?" Deze schakeling stelt het systeem in staat om specifieke acties voor specifieke personen te pinpointen zonder ooit een video te hebben gezien waarin die specifieke personen gelabeld waren.

Om dit werkend te krijgen in complexe scènes waar meerdere mensen tegelijk bewegen, moesten de onderzoekers een lastig probleem oplossen: hoe leer je de computer onderscheid te maken tussen verschillende mensen wanneer er slechts één label voor de hele video wordt gegeven? Als een video één persoon laat zien die rent en een ander die loopt, en het label is simpelweg "oefening", kan de computer in de war raken over welke beweging bij welk label hoort. Om dit op te lossen, introduceerde het team een techniek genaamd "Scene-Mixed Discriminative Contrastive Learning". Deze methode neemt fragmenten uit verschillende video's en mengt deze kunstmatig tijdens het trainingsproces. Door een chaotische omgeving te creëren waarin meerdere acties zij aan zij plaatsvinden, wordt het systeem gedwongen om de subtiele verschillen tussen hen te leren. Het leert dat de beweging van een rennend persoon onderscheidend is van de beweging van een springend persoon, zelfs wanneer zij in dezelfde gemengde context verschijnen. Dit zorgt ervoor dat wanneer het systeem een echte video tegenkomt met meerdere mensen, het met vertrouwen de juiste actie aan de juiste persoon kan toewijzen.

De resultaten van deze aanpak werden getest tegen verschillende standaarddatasets die worden gebruikt om te evalueren hoe goed computers acties in video's kunnen vinden en labelen. Op een dataset met vierentwintig verschillende acties behaalde de nieuwe methode een nauwkeurigheid van 34,1 procent, waarmee zij eerdere zwak gesuperviseerde methoden die vertrouwden op minder geavanceerde training overtrof. Nog indrukwekkender is dat, wanneer getest op een dataset die specifiek is ontworpen voor het volgen van vallende mensen, het nieuwe systeem een nauwkeurigheid van 73,3 procent bereikte, waarmee het bestaande methoden die vertrouwen op het volgen van menselijke posities over de tijd aanzienlijk versloeg. De onderzoekers ontdekten ook dat hun systeem veel robuuster is tegen slechte videokwaliteit. Wanneer de invoervideo's wazig waren of ontbrekende frames hadden, daalde de prestatie van systemen die afhankelijk zijn van visueel uiterlijk scherp, terwijl het skeletgebaseerde systeem zijn hoge nauwkeurigheid behield. Dit suggereert dat door de focus te leggen op de structuur van het lichaam in plaats van op het uiterlijk van de scène, het systeem betrouwbaar kan functioneren in real-world condities waarbij camera's trillen of de verlichting gedimd is.

Een ander cruciaal bevinding was de efficiëntie van het systeem. Terwijl veel moderne kunstmatige intelligentiemodellen die video en tekst kunnen begrijpen, miljarden parameters en enorme rekenkracht vereisen om te draaien, werkt deze nieuwe methode met een model dat slechts ongeveer 70 miljoen parameters bevat. Ondanks dat het veel kleiner is, bereikte het een nauwkeurigheid van 84,0 procent op een dataset van gewelddadige acties, waarmee het veel grotere en complexere modellen overtrof. Bovendien is het systeem ongelooflijk snel en verwerkt het video met een snelheid van ongeveer 1900 frames per seconde, wat ongeveer 240 keer sneller is dan sommige van de grote taalmodellen die voor soortgelijke taken worden gebruikt. Deze combinatie van hoge nauwkeurigheid, lage computationele kosten en het vermogen om nieuwe acties te leren zonder dure hertraining suggereert een praktische weg vooruit voor het inzetten van intelligente surveillance en robotica die zich kunnen aanpassen aan nieuwe situaties zonder dat daar een team van mensen voor nodig is om wekenlang data te labelen.

De studie concludeert dat door de focus te verschuiven van dure, frame-per-frame labeling naar een flexibeler, door tekst gestuurd leerproces, het mogelijk is om systemen te bouwen die menselijke actie begrijpen met een niveau van verfijning dat voorheen voorbehouden was aan zwaar gesuperviseerde modellen. De onderzoekers hebben aangetoond dat het haalbaar is om een computer te trainen om ongeziene acties te herkennen door het de relatie tussen lichaamsbewegingen en taal aan te leren, in plaats van te eisen dat hij elke mogelijke variatie van een specifieke gebeurtenis uit het hoofd leert. Deze aanpak vermindert niet alleen de kosten en de tijd die nodig zijn voor het ontwikkelen van nieuwe actieherkenningssystemen, maar creëert ook modellen die robuuster en aanpasbaarder zijn aan de rommelige, onvoorspelbare aard van de echte wereld. Naarmate de technologie rijpt, zou dit een nieuwe generatie toepassingen kunnen mogelijk maken die de veiligheid monitoren, assisteren bij sportanalyse of robots aansturen, allemaal zonder de prohibitieve kosten van handmatige data-annotatie die al lang een bottleneck vormt in het vakgebied.