Robust Motion Generation using Part-level Reliable Data from Videos
Dit artikel behandelt de uitdaging van occlusies en off-screen opnames in video-gebaseerde bewegingsdata door een robuust deel-bewust gemaskeerd autoregressief model voor te stellen dat uitsluitend geloofwaardige informatie op deelniveau benut om hoogwaardige menselijke beweging te genereren, vergezeld van de introductie van een nieuwe grootschalige benchmark genaamd K700-M.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een computer probeert te leren hoe hij een digitale mens moet bewegen door alleen een zin te lezen. Je typt misschien: "De persoon danst," en verwacht dat het scherm een vloeiende, realistische uitvoering laat zien. Dit veld, bekend als text-to-motion generatie, heeft opmerkelijke vooruitgang geboekt, maar is tegen een muur gelopen. De beste resultaten tot nu toe komen van het trainen van computers op speciale, hoogwaardige opnames van echte mensen die bewegen, vastgelegd met dure sensoren in gecontroleerde studio's. Hoewel deze opnames perfect zijn, zijn ze zeldzaam, beperkt in variëteit en missen ze vaak de rommelige, complexe manieren waarop mensen zich in de echte wereld bewegen. Om deze barrière te doorbreken, hebben onderzoekers zich tot het internet gewend, in de hoop te kunnen leren van de miljarden gewone video's die online beschikbaar zijn. Het idee is simpel: als een computer kan leren van de enorme bibliotheek van het web, zou hij een veel breder scala aan acties kunnen begrijpen. Maar er is een addertje onder het gras. Wanneer een computer probeert te achterhalen hoe een persoon beweegt in een gewone video, kan hij vaak niet het hele lichaam zien. Een persoon kan gedeeltelijk verborgen zijn achter een boom, buiten het kader van de camera vallen, of geblokkeerd worden door een ander persoon. Op die momenten moet de computer raden waar de ontbrekende ledematen zijn.
Dit raden creëert een fundamenteel probleem voor het leren. Als een computer een video wordt getoond waarin alleen het bovenlichaam zichtbaar is, en hij wordt gedwongen te leren van een volledige lichaamsschatting die ook onzichtbare benen bevat, kan hij de verkeerde dingen leren. Hij zou kunnen gaan geloven dat de onzichtbare benen echt bewijs zijn, in plaats van slechts een gok. Lange tijd stonden onderzoekers voor een moeilijke keuze: ofwel elke videoclip weggooien die niet perfect duidelijk was, waardoor de meeste data verloren ging, ofwel alle clips behouden en hopen dat de computer de slechte gokken kon negeren. Beide benaderingen hadden serieuze gebreken. Het weggooien van clips betekende het verlies van waardevolle informatie over specifieke bewegingen, zoals hoe een persoon zijn armen beweegt terwijl hij zit. Alles behouden betekende het onderwijzen van de computer met valse informatie. Een team van onderzoekers heeft nu een manier gevonden om dit op te lossen door de manier waarop de computer naar de data kijkt te veranderen. In plaats van de hele videoclip als goed of slecht te behandelen, hebben ze de computer geleerd om naar het lichaam deel voor deel te kijken.
De onderzoekers ontwikkelden een nieuw systeem dat werkt als een zorgvuldige editor. Wanneer het systeem een video analyseert, controleert het eerst welke delen van het lichaam daadwerkelijk zichtbaar zijn en welke delen verborgen zijn. Als de benen van een persoon worden geblokkeerd door een tafel, weet het systeem dat het de beweging van de armen en de romp moet vertrouwen, maar de computergok over de benen moet negeren. Het behandelt de zichtbare delen als harde feiten en de verborgen delen als invulvelden voor later. Deze aanpak stelt het systeem in staat om te leren van duizenden video's die voorheen als te rommelig werden beschouwd om te gebruiken. Door zich alleen te concentreren op de delen van het lichaam die de camera daadwerkelijk ziet, bouwt het systeem een betrouwbaar begrip van beweging op zonder in de war te raken door zijn eigen gokken. Het is als het leren herkennen van een vogel door alleen de vleugels te bestuderen wanneer de staart verborgen is, in plaats van te proberen een tekening van de hele vogel te onthouden die een verzonnen staart bevat.
Om dit idee te testen, creëerde het team een enorme nieuwe collectie data van het internet, bestaande uit bijna tweehonderdduizend paren videoclips en tekstbeschrijvingen. Ze analyseerden deze clips en ontdekten dat in meer dan drie kwart van de frames ten minste één deel van het lichaam niet volledig zichtbaar was. Dit bevestigde dat het probleem van ontbrekende informatie niet zeldzaam is; het is de norm voor webvideo's. Met deze dataset trainden ze hun nieuwe systeem en vergeleken ze het met oudere methoden die ofwel de rommelige clips weggooiden, ofwel probeerden te leren van alle clips zonder te filteren. De resultaten waren duidelijk. Het nieuwe systeem, dat aandacht besteedt aan welke delen zichtbaar zijn, produceerde veel nauwkeurigere en realistischere bewegingen dan de oudere methoden. Het was in staat om bewegingen te genereren die niet alleen trouwer waren aan de tekstbeschrijving, maar ook vloeiender en natuurlijker waren.
De studie toonde aan dat het behouden van de rommelige clips en het aanleren aan de computer om de onzichtbare delen te negeren, veel beter was dan het weggooien van de clips. Wanneer de onderzoekers hun systeem testten op een grote pool van tweehonderdduizend clips, presteerde het aanzienlijk beter dan de beste bestaande methoden. De oudere methoden die alle data behielden, maakten veel fouten omdat ze probeerden te leren van de onzichtbare delen, terwijl de methoden die de slechte data weggooide te veel variëteit verloren. Het nieuwe systeem slaagde erin de variëteit van de grote dataset te behouden terwijl het de fouten vermeed. Het leerde dat een persoon die zit en drums speelt, zijn benen verborgen kan hebben, maar dat de armbewegingen nog steeds echt en nuttig zijn om van te leren. Door zich te concentreren op de betrouwbare delen, kon het systeem een compleet beeld van de beweging samenstellen zonder te worden misleid door de ontbrekende stukken.
Dit werk suggereert een nieuwe manier om computers over de fysieke wereld te leren met imperfecte data. Het laat zien dat we geen perfecte opnames van studio-kwaliteit nodig hebben om een machine te leren hoe hij moet bewegen. In plaats daarvan kunnen we de enorme, rommelige collectie video's van het internet gebruiken als we de machine leren slim te zijn over wat hij vertrouwt. Het systeem hoeft niet het hele lichaam te zien om te begrijpen hoe een persoon beweegt; het heeft alleen genoeg van het lichaam nodig om de actie te begrijpen. Deze aanpak opent de deur naar het trainen van veel grotere en meer capabele systemen in de toekomst, die in staat zijn om een breder scala aan menselijke gedragingen te begrijpen dan ooit tevoren. De onderzoekers ontdekten dat door de grenzen van wat de camera kan zien te respecteren, de computer meer kan leren, en niet minder. Deze verschuiving in strategie, van het eisen van perfecte data naar het leren van partiële bewijslast, markeert een belangrijke stap voorwaarts in het aanleren van menselijke beweging aan machines.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.