Automatic dance movement quality assessment via spatiotemporal skeletal representation learning
Dit artikel stelt RSDQ-Net voor, een referentiebewust spatiotemporeel netwerk dat heterogene dansgegevens verenigt in een canoniek skelet om ruimtelijke uitvoering en temporele faseafwijkingen afzonderlijk te modelleren, waarmee het de beste prestaties bereikt in de automatische beoordeling van de kwaliteit van dansbewegingen over meerdere datasets.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van computer vision zijn machines bijzonder goed geworden in het herkennen van wat een persoon doet. Ze kunnen naar een video kijken en het verschil zien tussen iemand die springt, rent of met een hand zwaait. Deze vaardigheid berust op het volgen van de posities van de gewrichten van het lichaam, waarbij een digitaal skelet wordt gecreëerd dat door de tijd beweegt. Het herkennen van een actie is echter iets anders dan beoordelen hoe goed deze wordt uitgevoerd. Een computer kan weten dat een persoon een specifieke beweging probeert te maken, maar het heeft moeite om de subtiele verschillen te begrijpen tussen een onhandige poging en een meesterlijke uitvoering. Deze kloof is bijzonder groot in velden zoals dans, waar de kwaliteit van een uitvoering afhangt van precieze timing, lichaamsuitlijning en de coördinatie van ledematen die ver van elkaar verwijderd zijn. Decennialang waren experts de enigen die in staat waren om deze fijne onderscheidingen te maken, een proces dat traag, subjectief en moeilijk schaalbaar is.
Een team van onderzoekers heeft een nieuwe methode ontwikkeld om computers te helpen de kwaliteit van menselijke beweging te beoordelen door de prestatie van een leerling te vergelijken met een standaardvoorbeeld. Hun aanpak, die in een recente studie wordt beschreven, gaat verder dan eenvoudige herkenning en richt zich op de specifieke fouten in timing en houding die een beginner van een expert onderscheiden. Door een computer te leren zoeken naar afwijkingen in zowel ruimte als tijd, kan het systeem een consistente, objectieve beoordeling van de kwaliteit van de beweging geven. Dit werk suggereert dat machines kunnen leren de nuances van menselijke prestaties te begrijpen, wat een potentieel hulpmiddel biedt voor training en evaluatie dat niet afhankelijk is van de constante aanwezigheid van een menselijke leraar.
De onderzoekers bouwden een systeem ontworpen om twee bewegende lichamen te vergelijken: een doelprestatie, zoals een student die een routine oefent, en een referentieprestatie, die een hoogwaardig voorbeeld is van dezelfde beweging. De kernuitdaging waarmee ze werden geconfronteerd, was dat mensen met verschillende snelheden bewegen en verschillende lichaamsverhoudingen hebben. Als een computer simpelweg frame voor frame vergelijkt, kan het een lichte vertraging in de timing aanzien voor een fout in de beweging zelf. Om dit op te lossen, zet het systeem alle bewegingen eerst om in een standaard digitaal skelet met negentien sleutelpunten, die het hoofd, de romp en de ledematen beslaan. Hierdoor kan de computer verschillen in lengte of kleding negeren en zich puur richten op de geometrie van de beweging.
Zodra de bewegingen zijn gestandaardiseerd, gebruikt het systeem een slim mechanisme om de prestatie van de student uit te lijnen met die van de expert. In plaats van een rigide, seconde per seconde match af te dwingen, leert de computer de meest waarschijnlijke overeenkomstige momenten tussen de twee sequenties te vinden. Het begrijpt dat een student een pose een fractie van een seconde later kan bereiken dan de expert, of deze een iets andere duur kan aanhouden. Cruciaal is dat het systeem deze verschillen niet simpelweg gladstrijkt om de twee hetzelfde te laten lijken. Het behandelt de timingmismatch als een specifiek type data. De computer splitst de fouten op in twee categorieën: ruimtelijke afwijking, die meet hoe ver de lichaamsdelen van hun juiste posities af liggen, en temporele afwijking, die meet hoe ver de timing afwijkt. Door deze twee soorten fouten strikt gescheiden te houden, kan het systeem vertellen of een student worstelt met zijn evenwicht of met zijn ritme, in plaats van alleen een enkel, vaag cijfer te geven.
De onderzoekers testten dit systeem op drie verschillende collecties bewegingsdata, elk met een eigen manier om kwaliteit te definiëren. Eén dataset bevatte video's van mensen die diverse dansstijlen uitvoerden, die het systeem gebruikte om de basisstructuur van menselijke beweging te leren. Een andere set bevatte opnames van beginners, intermediates en experts die dezelfde routines uitvoerden, waardoor het systeem de volgorde van vaardigheidsniveaus kon leren. Een derde set bestond uit video's uit de echte wereld waarin mensen al paren van prestaties hadden gerangschikt om te beslissen welke beter was. Het systeem werd getraind om deze rangschikkingen en vaardigheidsniveaus te voorspellen zonder ooit een specifiek numeriek cijfer voor een prestatie te krijgen. Het leerde dat een "betere" prestatie simpelweg een prestatie is die dichter bij de referentie ligt in zowel timing als houding, en dat deze kwaliteiten een logische volgorde volgen.
De resultaten toonden aan dat het systeem zeer effectief was in het onderscheiden van verschillende niveaus van vaardigheid. Wanneer het werd getest op de dataset met beginners, intermediates en experts, identificeerde het systeem het vaardigheidsniveau van een prestatie ongeveer achtentig procent van de tijd correct. Dit was een significante verbetering ten opzichte van eerdere methoden, die vaak moeite hadden om het verschil te zien tussen een novice en een intermediate performer. In tests waarbij het systeem de betere prestatie moest kiezen tussen twee opties, stemde het in meer dan achtentig procent van de gevallen overeen met menselijke juryleden. De onderzoekers ontdekten dat het vermogen van het systeem om te leren van het referentievoorbeeld de sle factor was; wanneer zij de mogelijkheid wegnamen om tegen een standaard te vergelijken, daalde de prestatie van het systeem merkbaar. Op dezelfde manier, wanneer zij het systeem dwongen om de tijdsverschillen te negeren en zich alleen op de lichaamsposities te concentreren, leed de nauwkeurigheid onder deze beperking, wat bewees dat beide elementen essentieel zijn voor een ware beoordeling.
De studie onderzocht ook hoe robuust het systeem is wanneer de invoerdata imperfect is. In scenario's uit de echte wereld kunnen camera's een gewricht missen, of kan de video licht trillen. De onderzoekers testten het systeem door kunstmatig ruis aan de data toe te voegen en door delen van het skelet te verbergen. Zelfs onder deze moeilijke omstandigheden behield het systeem een duidelijk voordeel ten opzeste van oudere methoden. Deze veerkracht komt voort uit de manier waarop het systeem de relatie tussen verschillende lichaamsdelen gebruikt. Als de computer een hand niet duidelijk kan zien, kan het de waarschijnlijke positie nog steeds afleiden op basis van de beweging van de arm en de rest van het lichaam. De referentiegebaseerde vergelijking helpt ook, aangezien het systeem de beweging van de student evalueert in de context van de volledige sequentie van de expert, in plaats van geïsoleerde frames in een vacuüm te beoordelen.
Hoewel het systeem veelbelovend is, benadrukken de onderzoekers voorzichtig de beperkingen ervan. Het is ontworpen om de technische uitvoering van een beweging tegen een specifieke referentie te beoordelen, niet om artistieke expressie, muzikaliteit of emotionele impact te beoordelen. Het systeem vervangt geen menselijke leraar, maar biedt een manier om consistente, onmiddellijke feedback te geven over de mechanische aspecten van een uitvoering. Het kan een student vertellen of hij uit de maat loopt of dat zijn houding niet klopt, maar het kan niet de artistieke intentie achter een beweging uitleggen. De onderzoekers suggereren dat dit hulpmiddel bijzonder nuttig kan zijn voor zelfstudie of afstandsonderwijs, waarbij een leerling een routine kan oefenen en een objectieve analyse kan ontvangen van zijn timing en uitlijning.
Het werk vertegenwoordigt een verschuiving in hoe machines menselijke beweging begrijpen. In plaats van alleen te vragen "wat doet deze persoon?", vraagt het systeem "hoe goed doet hij het?". Door het probleem op te splitsen in ruimtelijke en temporele afwijkingen en te leren van een standaardvoorbeeld, hebben de onderzoekers een model gecreëerd dat de subtiele verschillen tussen een goede uitvoering en een geweldige uitvoering vastlegt. De bevindingen suggereren dat met de juiste aanpak computers kunnen leren de precisie van menselijke vaardigheid te waarderen, wat de deur opent naar nieuwe vormen van geautomatiseerde feedback en training die zowel schaalbaar als diep afgestemd zijn op de details van menselijke beweging.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.