Robust Motion Generation using Part-level Reliable Data from Videos
Cet article aborde le défi des occlusions et des captures hors champ dans les données de mouvement vidéo en proposant un modèle d'autorégression masqué robuste et sensible aux parties qui exploite uniquement des informations crédibles au niveau des parties pour générer un mouvement humain de haute qualité, accompagné de l'introduction d'un nouveau benchmark à grande échelle appelé K700-M.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez essayer d'apprendre à un ordinateur à faire bouger un humain numérique simplement en lisant une phrase. Vous pourriez taper : « La personne danse », et vous attendre à ce que l'écran affiche une performance fluide et réaliste. Ce domaine, connu sous le nom de génération de mouvement à partir de texte, a réalisé des progrès remarquables, mais il s'est heurté à un mur. Les meilleurs résultats actuels proviennent de l'entraînement d'ordinateurs sur des enregistrements spéciaux et de haute qualité de personnes réelles en mouvement, capturés avec des capteurs coûteux dans des studios contrôlés. Bien que ces enregistrements soient parfaits, ils sont rares, limités en variété et omettent souvent les manières complexes et désordonnées dont les gens se déplacent réellement dans le monde réel. Pour briser cette barrière, les chercheurs se sont tournés vers Internet, espérant apprendre des milliards de vidéos ordinaires disponibles en ligne. L'idée est simple : si un ordinateur peut apprendre de la vaste bibliothèque du web, il pourrait comprendre une gamme beaucoup plus large d'actions. Mais il y a un piège. Lorsqu'un ordinateur tente de comprendre comment une personne se déplace dans une vidéo ordinaire, il ne parvient souvent pas à voir le corps entier. Une personne peut être partiellement cachée par un arbre, coupée par le bord du cadre de la caméra ou bloquée par une autre personne. Dans ces moments-là, l'ordinateur doit deviner où se trouvent les membres manquants.
Cette supposition crée un problème fondamental pour l'apprentissage. Si un ordinateur est confronté à une vidéo où seule la partie supérieure du corps est visible, et qu'il est contraint d'apprendre à partir d'une estimation du corps complet qui inclut des jambes invisibles, il pourrait apprendre de mauvaises choses. Il pourrait commencer à croire que les jambes invisibles sont des preuves réelles, plutôt qu'une simple supposition. Pendant longtemps, les chercheurs ont été confrontés à un choix difficile : soit jeter chaque clip vidéo qui n'était pas parfaitement clair, perdant ainsi la majeure partie des données, soit garder tous les clips en espérant que l'ordinateur puisse ignorer les mauvaises suppositions. Les deux approches présentaient de graves défauts. Jeter les clips signifiait perdre des informations précieuses sur des mouvements spécifiques, comme la façon dont une personne bouge ses bras en étant assise. Garder tout le contenu signifiait enseigner à l'ordinateur avec des informations erronées. Une équipe de chercheurs a maintenant trouvé un moyen de résoudre cela en changeant la façon dont l'ordinateur regarde les données. Au lieu de traiter l'ensemble du clip vidéo comme étant bon ou mauvais, ils ont appris à l'ordinateur à regarder le corps partie par partie.
Les chercheurs ont développé un nouveau système qui agit comme un éditeur méticuleux. Lorsque le système analyse une vidéo, il vérifie d'abord quelles parties du corps sont réellement visibles et quelles parties sont cachées. Si les jambes d'une personne sont bloquées par une table, le système sait qu'il doit faire confiance au mouvement des bras et du torse, mais ignorer la supposition de l'ordinateur concernant les jambes. Il traite les parties visibles comme des faits solides et les parties cachées comme des blancs à remplir plus tard. Cette approche permet au système d'apprendre de milliers de vidéos qui étaient auparavant considérées comme trop désordonnées pour être utilisées. En se concentrant uniquement sur les parties du corps que la caméra voit réellement, le système construit une compréhension fiable du mouvement sans être confondu par ses propres suppositions. C'est comme apprendre à reconnaître un oiseau en étudiant seulement les ailes lorsque la queue est cachée, plutôt que d'essayer de mémoriser un dessin de l'oiseau entier qui inclut une queue inventée.
Pour tester cette idée, l'équipe a créé une nouvelle collection massive de données provenant d'Internet, contenant près de deux cent mille paires de clips vidéo et de descriptions textuelles. Ils ont analysé ces clips et ont constaté que dans plus des trois quarts des images, au moins une partie du corps n'était pas entièrement visible. Cela a confirmé que le problème de l'information manquante n'est pas rare ; c'est la norme pour les vidéos du web. En utilisant ce jeu de données, ils ont entraîné leur nouveau système et l'ont comparé aux anciennes méthodes qui soit jetaient les clips désordonnés, soit tentaient d'apprendre de tous les clips sans filtrage. Les résultats étaient clairs. Le nouveau système, qui prête attention aux parties visibles, produisait des mouvements beaucoup plus précis et réalistes que les anciennes méthodes. Il était capable de générer des mouvements non seulement plus fidèles à la description textuelle, mais aussi plus fluides et plus naturels.
L'étude a montré que conserver les clips désordonnés et apprendre à l'ordinateur à ignorer les parties invisibles était bien meilleur que de jeter les clips. Lorsque les chercheurs ont testé leur système sur un large ensemble de deux cent mille clips, il a nettement surpassé les meilleures méthodes existantes. Les anciennes méthodes qui conservaient toutes les données commettaient de nombreuses erreurs car elles essayaient d'apprendre à partir des parties invisibles, tandis que les méthodes qui jetaient les mauvaises données perdaient trop de variété. Le nouveau système a réussi à conserver la variété du grand jeu de données tout en évitant les erreurs. Il a appris qu'une personne assise jouant de la batterie peut avoir les jambes cachées, mais que les mouvements de ses bras sont toujours réels et utiles pour l'apprentissage. En se concentrant sur les parties fiables, le système pouvait assembler une image complète du mouvement sans être induit en erreur par les pièces manquantes.
Ce travail suggère une nouvelle façon d'enseigner aux ordinateurs le monde physique à l'aide de données imparfaites. Il montre que nous n'avons pas besoin d'enregistrements parfaits de qualité studio pour apprendre à une machine comment bouger. Au lieu de cela, nous pouvons utiliser la vaste et désordonnée collection de vidéos d'Internet si nous apprenons à la machine à être intelligente quant à ce en quoi elle croit. Le système n'a pas besoin de voir le corps entier pour apprendre comment une personne bouge ; il a juste besoin de voir suffisamment de parties du corps pour comprendre l'action. Cette approche ouvre la porte à l'entraînement de systèmes beaucoup plus vastes et plus capables à l'avenir, capables de comprendre une gamme plus large de comportements humains que jamais auparavant. Les chercheurs ont découvert qu'en respectant les limites de ce que la caméra peut voir, l'ordinateur peut apprendre plus, et non moins. Ce changement de stratégie, passant de l'exigence de données parfaites à l'apprentissage à partir de preuves partielles, marque une étape importante dans l'enseignement de la compréhension du mouvement humain par les machines.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.