Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos
Cet article présente RS-Avatar, une méthode qui reconstruit des avatars 3D de type Gaussian nets et animables à partir de vidéos à obturateur progressif (rolling-shutter) en remplaçant le rendu de flou de mouvement standard par un opérateur de composition sensible aux lignes de balayage qui prend correctement en compte la lecture séquentielle des différentes parties du corps au sein d'une même image.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'imagerie numérique, il existe une hypothèse tacite selon laquelle chaque photographie capture un instant unique et figé dans le temps. Lorsqu'un appareil photo prend une photo, on croit généralement que toute la scène — du sommet de la tête d'une personne jusqu'à ses pieds — est enregistrée au même instant précis. Cette croyance sous-tend une grande partie de la vision par ordinateur, ce domaine dédié à l'enseignement aux machines comment voir et comprendre le monde. Elle permet aux chercheurs de construire des modèles 3D complexes de personnes, appelés avatars, qui peuvent être animés et observés sous n'importe quel angle. Ces doubles numériques deviennent essentiels pour tout, de la téléprésence virtuelle à la production cinématographique, en passant par l'analyse sportive et l'intelligence artificielle. Cependant, cette hypothèse est presque jamais vraie dans le monde réel. La vaste majorité des caméras, des smartphones dans nos poches aux capteurs haute vitesse des studios professionnels, ne capturent pas une image d'un seul coup. Au lieu de cela, elles scannent l'image ligne par ligne, de haut en bas, en une fraction de seconde. Cette méthode, appelée obturateur de type « rolling shutter » (obturateur à balayage progressif), signifie qu'au moment où la caméra finit de lire le bas du cadre, le haut a déjà été enregistré quelques millisecondes plus tôt. Pour une personne bougeant ses bras ou marchant, ces quelques millisecondes suffisent pour que son corps change de position de manière significative, créant une distorsion subtile mais omniprésente où différentes parties du corps sont capturées à des moments différents.
Pendant des années, les chercheurs tentant de construire ces avatars 3D à partir de vidéos ont largement ignoré ce décalage temporel, traitant chaque image comme s'il s'agissait d'un cliché parfait. Le résultat a été un fantôme numérique : un modèle 3D qui semble correct lorsqu'il est vu sous les mêmes angles que la vidéo originale, mais qui s'effondre lorsque le spectateur tente de le regarder sous un nouvel angle ou de déplacer l'avatar dans une nouvelle pose. La distorsion est intégrée à la forme du modèle, faisant apparaître les membres vacillants, déformés ou anormalement épais. Un chercheur a désormais abordé ce problème directement, non pas en essayant de corriger la vidéo avant de construire le modèle, mais en apprenant au modèle lui-même comment comprendre le comportement de balayage de la caméra. Il a développé un nouveau système qui reconstruit des avatars 3D nets et non déformés directement à partir de vidéos à obturateur progressif, en reconnaissant que chaque ligne de pixels dans une image représente un moment légèrement différent dans le temps.
Le cœur de cette nouvelle approche, que le chercheur appelle RS-Avatar, repose sur un changement de perspective simple mais puissant. Au lieu de demander à l'ordinateur de deviner l'apparence de la personne à un instant donné, le système accepte que la personne était en mouvement tout au long de la durée du balayage. Le logiciel construit un modèle du mouvement du corps suffisamment précis pour savoir où se trouvait chaque partie du corps à n'importe quelle fraction de seconde donnée. Lorsqu'il crée l'image finale, il ne fait pas la moyenne des différentes positions, ce qui résulterait en un flou. Au lieu de cela, il agit comme un monteur méticuleux, sélectionnant la position exacte du corps pour la ligne supérieure de pixels, une position légèrement différente pour la ligne suivante, et ainsi de suite, correspondant au moment spécifique où chaque ligne a été capturée par la caméra. Ce processus est distinct du fonctionnement du flou de mouvement ; alors qu'un flou est comme le mélange de toutes les couleurs d'un objet en mouvement en une seule traînée, un obturateur progressif est plutôt comme un découpage précis du temps, où chaque tranche contient une image claire et nette du corps à un instant spécifique.
Pour tester son idée, le chercheur a créé un nouveau benchmark utilisant des données provenant d'un studio de capture de mouvement standard. Il a pris des enregistrements de haute qualité de personnes en mouvement et a simulé artificiellement l'effet de l'obturateur progressif, créant un ensemble de données où la réponse réelle et nette est connue. Il a ensuite comparé sa nouvelle méthode à plusieurs approches existantes. Une stratégie courante consiste à essayer de « corriger » la vidéo d'abord, en utilisant un logiciel pour redresser les lignes déformées avant de construire le modèle 3D. Une autre stratégie consiste à utiliser un modèle conçu pour le flou de mouvement, qui suppose que la caméra a moyenné le mouvement au fil du temps. Les résultats ont été clairs et surprenants. La méthode qui tentait de corriger la vidéo d'abord améliorait légèrement l'image, mais les modèles 3D résultants étaient toujours imparfaits car le logiciel de correction ne pouvait pas garantir que les différents angles de caméra concordaient entre eux dans l'espace tridimensionnel. Le modèle de flou de mouvement a donné des résultats encore moins bons, produisant en réalité des résultats de moindre qualité que si l'on avait simplement ignoré le problème de l'obturateur. Cela s'explique par le fait que les mathématiques utilisées pour gérer le flou sont fondamentalement différentes de celles nécessaires pour l'obturateur progressif ; le modèle de flou tente de deviner la direction du mouvement, tandis que l'obturateur progressif fournit déjà cette direction grâce à l'ordre dans lequel les lignes sont scannées.
Le nouveau système, qui modélise l'obturateur directement, a surpassé toutes les autres méthodes. Il a produit des avatars nettement plus nets et plus précis, préservant des détails fins comme l'effilement d'un bras et l'écart entre une main et une hanche que les autres méthodes avaient lissé ou déformé. Le chercheur a constaté qu'il n'était pas nécessaire de rendre les tranches temporelles plus fines ou plus nombreuses pour obtenir de meilleurs résultats ; le modèle de mouvement existant était déjà assez détaillé pour capturer le mouvement au sein d'une seule image. La clé était simplement de changer la façon dont l'ordinateur combinait les différents moments du mouvement du corps dans l'image finale. En traitant le balayage de la caméra comme un calendrier d'événements plutôt que comme un instantané unique, le système a pu reconstruire un corps 3D propre et non déformé, capable d'être animé et observé sous n'importe quel angle sans le vacillement ou la déformation qui tourmentaient les tentatives précédentes.
Ce travail démontre que la façon dont une caméra capture une image n'est pas seulement un détail technique à corriger plus tard, mais une partie fondamentale de la physique de la vision. En intégrant le comportement de la caméra directement dans le processus de reconstruction 3D, le chercheur a montré qu'il est possible de récupérer une représentation numérique claire et précise d'une personne en mouvement à partir de vidéos imparfaites. Les conclusions suggèrent que les outils utilisés pour corriger un type de distorsion d'image, tel que le flou, ne peuvent pas être simplement échangés pour corriger un autre, comme l'obturateur progressif, car la nature de l'erreur est différente. Bien que le système actuel fonctionne mieux avec plusieurs caméras et des conditions d'éclairage optimales, et bien qu'il repose sur un modèle mathématique des articulations du corps, il ouvre une nouvelle voie pour la création d'humains numériques réalistes à partir des séquences vidéo quotidiennes qui nous entourent. Le chercheur laisse ouverte la question de savoir si cet échantillonnage dense du temps pourrait éventuellement être utilisé pour créer des vidéos qui défilent plus rapidement que la caméra ne les a capturées, mais pour l'instant, l'accomplissement est une image plus claire et plus fidèle de la forme humaine en mouvement.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.