Encoder-based 3D GAN inversion: A systematic review
Cette revue systématique de 33 études révèle que, bien que l'inversion de GAN 3D basée sur un encodeur permette une reconstruction et une édition en temps réel principalement sur du matériel haut de gamme utilisant des architectures basées sur EG3D, son adoption généralisée est actuellement limitée par les défis liés à l'équilibre entre la vitesse et la cohérence 3D, ainsi que par un manque d'évaluation géométrique robuste au-delà des ensembles de données de visages de face.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez une boîte magique capable de transformer une photo plate en deux dimensions en un objet 3D entièrement rond que vous pouvez faire pivoter et observer sous tous les angles. Ce n'est pas seulement un tour impressionnant pour les jeux vidéo ; c'est la recette secrète derrière la réalité virtuelle, les avatars numériques et l'avenir de notre communication en ligne. Mais voici le hic : une simple photo est comme un puzzle auquel il manque la moitié des pièces. L'ordinateur doit deviner à quoi ressemble l'arrière de la tête ou comment le nez s'arrondit sur le côté, tout en veillant à ce que le résultat paraisse réel et ne vacille pas ou ne bugue pas lorsque vous le déplacez.
Pendant longtemps, la seule façon de résoudre ce puzzle était d'utiliser un ordinateur super lent et super intelligent qui allait « réfléchir » à chaque image pendant plusieurs minutes, sculptant lentement la réponse jusqu'à ce qu'elle soit parfaite. C'était comme sculpter une statue à la main : magnifique, mais beaucoup trop lent pour un appel vidéo en direct ou un jeu en temps réel. Récemment, des scientifiques ont tenté de construire un autre type de machine : un bouton « avance rapide ». Au lieu de réfléchir pendant des minutes, cette nouvelle machine est censée regarder la photo et recracher instantanément le modèle 3D en une fraction de seconde. Mais cette vitesse a-t-elle un coût ? Le modèle 3D ressemble-t-il à un amas flou, ou reste-t-il parfait ? C'est la grande question à laquelle une équipe de chercheurs de la Technological University Dublin a décidé de répondre.
Ils ne se sont pas contentés de deviner ; ils se sont lancés dans une véritable chasse au trésor à travers le monde de l'informatique, déterrant 1 179 articles de recherche différents pour trouver les 33 meilleurs exemples de ces machines « avance rapide ». Ce qu'ils ont découvert ressemble un peu à une course entre différents types de moteurs. Ils ont découvert que si certaines machines sont incroyablement rapides, elles ont souvent du mal à maintenir la cohérence de la forme 3D lorsque vous la faites pivoter. Les seuls modèles qui ont réussi à être à la fois assez rapides pour une utilisation en temps réel (moins de 50 millisecondes, ce qui est plus rapide qu'un clin d'œil humain) et assez performants pour paraître réels étaient ceux utilisant un mélange spécifique de cellules cérébrales « convolutionnelles » à l'ancienne et de cellules « hybrides » plus récentes.
Cependant, les chercheurs ont également trouvé de sérieux nids-de-poule sur la route. Presque toutes ces machines ont été entraînées sur des photos de visages humains regardant droit vers la caméra. Si vous essayez de les utiliser sur la photo de quelqu'un regardant de côté, ou sur un chat, ou même juste sur un type de visage différent, elles se confondent souvent et commencent à halluciner des formes étranges. De plus, la vitesse « en temps réel » dont elles se vantent n'a été mesurée que sur de massifs et coûteux supercalculateurs trouvés dans des centres de données, et non sur les ordinateurs portables ou les téléphones que nous utilisons réellement. Les auteurs suggèrent que bien que la technologie soit prometteuse et prête pour le matériel haut de gamme, nous n'en sommes pas encore là pour un usage quotidien. Ils soutiennent que le plus gros problème n'est pas nécessairement la conception des machines elles-mêmes, mais plutôt le manque de terrains d'essai adéquats et le fait que nous n'avons pas assez de données pour apprendre à ces machines à gérer le monde réel et désordonné. Tant que nous ne réglerons pas ces problèmes, la boîte magique pourrait encore être un peu trop instable pour votre prochain appel vidéo.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.