Human-in-the-Loop Atlas-Based 3D Asset Segmentation for Interactive Content Workflows
Cet article présente un pipeline avec intervention humaine qui génère des atlas paramétrés 2D segmentés à partir de modèles 3D en combinant la sélection de vues gourmande, la segmentation interactive avec SAM 2 et Label Studio, et la rétroprojection, permettant ainsi des tâches en aval efficaces telles que l'assignation de matériaux et le transfert de style pour les flux de travail de contenu interactif.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de peindre une sculpture géante et complexe, mais qu'au lieu de tenir un pinceau, vous devez envelopper toute la statue dans une immense feuille de papier plate qui épouse parfaitement chaque courbe et chaque bosse. C'est le monde de la segmentation d'actifs 3D, un recoin de l'infographie où les artistes et les ingénieurs tentent de découper des modèles numériques en morceaux significatifs afin de pouvoir les colorer, les texturer ou les animer. Considérez un modèle 3D comme un château de Lego complexe ; pour changer la couleur uniquement des fenêtres ou du toit, vous devez savoir exactement quels briques de Lego appartiennent aux fenêtres et lesquelles appartiennent au toit. Pendant longtemps, les ordinateurs ont eu du mal à faire cela automatiquement, se confondant souvent face à des formes étranges ou des surfaces lisses qui se ressemblent toutes. Bien que des programmes informatiques intelligents (appelés « modèles de fondation ») soient devenus très doués pour repérer des choses sur des photos 2D plates, ils trébuchent encore lorsqu'on leur demande de comprendre comment découper un objet 3D d'une manière qui soit cohérente pour une expérience spécifique de jeu vidéo ou de réalité virtuelle. C'est pourquoi les chercheurs cherchent une meilleure méthode : une approche qui permet à un humain de guider l'ordinateur, combinant la vitesse de l'IA avec l'œil attentif d'un expert humain.
Ce document présente un nouveau pipeline ingénieux qui agit comme une équipe de haute technologie composée d'un robot et d'un artiste humain pour résoudre ce casse-tête. Les chercheurs, travaillant à la Fraunhofer IGD, ont créé un système qui détermine d'abord l'ensemble parfait d'angles de caméra pour prendre des photos d'un objet 3D sous tous les côtés possibles, garantissant qu'aucun endroit ne soit laissé dans l'obscurité. Ils appellent cela une « stratégie de couverture d'ensemble gourmande » (greedy set cover strategy), ce qui est une façon sophistiquée de dire que l'ordinateur joue au jeu de « combien de photos puis-je prendre pour tout voir ? ». Une fois qu'il a ces photos, il utilise un outil d'IA puissant appelé SAM 2 pour deviner où se trouvent les différentes parties de l'objet. Mais voici le rebondissement : l'ordinateur ne le fait pas seul. Un humain intervient pour vérifier le travail de l'IA, corrigeant les erreurs et traçant des lignes là où l'IA s'est trompée. Enfin, l'ordinateur prend tous ces dessins 2D corrigés et les enveloppe à nouveau sur le modèle 3D comme une feuille d'autocollants sur mesure, créant un « atlas segmenté ». Cet atlas est une carte plate où chaque minuscule carré sait exactement à quelle partie de l'objet 3D il appartient, prêt pour l'étape suivante de la création d'un jeu vidéo ou d'un film.
L'équipe a testé cette méthode sur huit objets du patrimoine culturel différents, allant d'une tête de marbre du David de Michel-Ange à une chaise victorienne et une épée médiévale. Ils ont constaté que le système fonctionne très bien pour les zones larges et claires, mais qu'il nécessite encore une main humaine pour les endroits délicats comme les détails minuscules, les trous profonds ou les parties qui ressemblent exactement à leurs voisines. Par exemple, sur la statue de David, l'IA pouvait facilement repérer les cheveux et le cou, mais les yeux et les oreilles minuscules ont nécessité qu'un humain les dessine à la main car le marbre était si lisse et manquait de contraste. De même, sur une chaise avec un dessous creux, les caméras ont eu du mal à voir dans les coins sombres, nécessitant un travail manuel supplémentaire. Dans l'ensemble, le processus a pris entre 15 et 35 minutes par objet, les statues les plus complexes prenant plus de temps. Les résultats ont montré que si l'IA est une aide précieuse, elle n'est pas encore parfaite ; les meilleurs résultats proviennent d'une approche « l'humain dans la boucle » (human-in-the-loop) où l'ordinateur fait le gros du travail et l'humain effectue l'ajustement fin. Les auteurs suggèrent que cette méthode est une étape solide et utilisable pour la création de contenu interactif, bien qu'ils admettent qu'elle n'est pas une baguette magique qui résout automatiquement tout problème. Ils prévoient de la tester avec plus de personnes à l'avenir pour voir si elle tient la route dans des contextes professionnels réels.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.