💻 computer science

NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field

NeuMesh++ introduit un champ implicite basé sur un maillage neuronal polyvalent et efficace qui dissocie la géométrie, la texture et les codes sémantiques sur les sommets du maillage afin de permettre des capacités d'édition 3D complètes, incluant la manipulation de géométrie guidée, l'échange et la peinture de textures, ainsi que des modifications guidées par la sémantique.

Auteurs originaux : Chong Bao, Yuan Li, Bangbang Yang, Yujun Shen, Hujun Bao, Zhaopeng Cui, Yinda Zhang, Guofeng Zhang

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chong Bao, Yuan Li, Bangbang Yang, Yujun Shen, Hujun Bao, Zhaopeng Cui, Yinda Zhang, Guofeng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un hologramme 3D magique d'un objet, comme une voiture en Lego ou un ours en peluche. Par le passé, si vous vouliez changer la forme de cet hologramme (comme plier un bras) ou le repeindre (comme mettre des lunettes de soleil à l'ours), vous deviez utiliser des mathématiques très complexes et opaques (« black box »). Vous ne pouviez pas facilement saisir une partie spécifique pour la déplacer sans que l'ensemble ne bugue, et vous ne pouviez pas simplement « peindre » dessus comme vous le feriez sur une véritable toile.

Le papier NeuMesh++ présente une nouvelle façon de construire ces hologrammes 3D qui les fait ressembler à un modèle 3D traditionnel que l'on peut tenir en main, tout en conservant l'aspect ultra-qualitatif d'un film généré par ordinateur.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'idée de l'« Échafaudage »

Considérez un objet 3D comme un squelette (un maillage filaire ou « wireframe ») recouvert de chair et de peau.

L'ancienne méthode : Les méthodes précédentes essayaient de construire l'objet à partir d'un « brouillard » invisible ou d'une immense grille de pixels en 3D. Le résultat était superbe, mais si vous essayiez de plier le bras, le brouillard devenait désordonné et flou.
La méthode NeuMesh++ : Cette méthode construit l'objet sur un échafaudage (un maillage). Imaginez un oiseau en fil de fer. La magie ne réside pas dans le fil lui-même, mais dans la « peinture intelligente » attachée à chaque point (sommet) de ce fil.

2. La « Peinture Intelligente » (Codes Désenchevêtrés)

Sur chaque point du maillage, le système stocke trois « cadrans » ou « codes » distincts :

Code de Forme (Shape Code) : Contrôle la géométrie.
Code de Texture (Texture Code) : Contrôle la couleur et les motifs.
Code Sémantique (Semantic Code) : Une étiquette qui indique ce qu'est cette partie (ex: « roue », « œil », « fourrure »).

Parce que ces éléments sont séparés, vous pouvez tourner le cadran « Forme » sans dérégler le cadran « Texture ». C'est comme avoir une sculpture en argile où vous pouvez étirer l'argile (la forme) sans étaler la peinture (la texture) qui y était déjà appliquée.

3. Les Superpouvoirs (Édition)

Parce que l'objet est construit sur cet échafaudage intelligent, les auteurs présentent trois manières principales d'éditer l'objet :

Plier le Maillage (Édition de la Géométrie) :
Si vous voulez plier la tête d'un microphone, il vous suffit de saisir le maillage dans un programme 3D et de le plier. Comme la « peinture intelligente » est collée au fil, l'hologramme se plie parfaitement avec lui. Pas besoin de rendu complexe ou de mathématiques ardues. C'est comme plier un cintre métallique, mais le cintre reste photoréaliste.
Échanger et Remplir (Édition de la Texture) :
- Échanger : Imaginez que vous avez un lapin doré et une canette en argent. Vous pouvez prendre la « peau dorée » du lapin et la coller sur la canette. Le système comprend comment étirer le motif doré pour qu'il s'adapte parfaitement à la forme de la canette, tout en gardant le texte sur la canette bien net.
- Remplir : Si vous voulez couvrir un endroit spécifique d'une statue de Bouddha avec de la « fourrure d'ours en peluche », vous pouvez sélectionner cette zone et le système la remplira avec le motif de la fourrure, en le répétant naturellement comme un papier peint.
Peindre et Cliquer (La Magie du « Ce que vous voyez est ce que vous obtenez ») :
- Peindre : Vous pouvez ouvrir une image 2D de l'objet 3D et peindre une moustache sur l'ours en peluche avec un pinceau numérique. Le système sait instantanément où cette peinture se situe sur l'objet en 3D. Il ne se contente pas d'étaler la peinture ; il l'enveloppe autour de l'objet pour que vous puissiez voir la moustache sous tous les angles.
- Cliquer : C'est la partie la plus facile. Si vous voulez changer la couleur des « roues » d'une voiture, il vous suffit de cliquer sur une roue dans une seule photo. Le système trouve automatiquement toutes les roues dans le monde 3D (même celles qui sont cachées de vue) et les modifie toutes. C'est comme avoir une baguette magique qui comprend le concept de « roue » sans que vous ayez besoin de dessiner un cercle autour de chacune d'elles.

4. Pourquoi est-ce meilleur ?

Les auteurs expliquent que les méthodes précédentes étaient comme essayer d'éditer un nuage de fumée ; vous pouviez déplacer tout le nuage, mais vous ne pouviez pas facilement façonner un doigt spécifique ou peindre un point précis sans tout gâcher.

NeuMesh++ est comme éditer une marionnette numérique.

C'est rapide : Il peut générer des images en temps réel (comme un jeu vidéo).
C'est précis : Vous pouvez éditer des détails minuscules sans créer de flou.
C'est facile : Vous n'avez pas besoin d'être un génie des mathématiques pour cliquer et peindre ; le système s'occupe de tout le travail difficile.

En résumé, le papier présente une nouvelle façon de créer des mondes 3D qui combine l'aspect haute qualité de l'IA moderne avec les outils d'édition intuitifs et faciles que les artistes utilisent depuis des décennies.

Résumé Technique : NeuMesh++

Énoncé du Problème

Bien que les techniques de rendu neural implicite (par exemple, NeRF) aient connu un succès significatif dans la synthèse de vues inédites et la reconstruction de scènes 3D grâce à leur haute qualité de rendu, elles s'avèrent insuffisantes pour les flux de travail de modélisation et d'édition 3D. Les méthodes de rendu neural existantes pour l'édition sont limitées aux transformations rigides ou à des opérations spécifiques à une catégorie. Elles manquent de la précision et de la flexibilité requises par les artistes, qui préfèrent les flux de travail basés sur les maillages (par exemple, dans Blender ou Maya) permettant la déformation non rigide de la géométrie, l'édition fine de la texture (échange, remplissage, peinture) et la manipulation sémantique. De plus, les méthodes existantes nécessitent souvent des annotations manuelles extensives pour une édition fine et éprouvent des difficultés avec la distinction spatiale locale (par exemple, distinguer les points à l'intérieur versus à l'extérieur d'une face de maillage) lors de l'utilisation d'une simple interpolation sur les sommets du maillage.

Méthodologie

Les auteurs proposent NeuMesh++, une nouvelle représentation de radiance neurale basée sur un maillage qui encode le champ neural implicite sur un échafaudage de maillage. Cette approche comble le fossé entre le rendu neural volumétrique et la modélisation traditionnelle par maillage.

Représentation Centrale

La scène est décomposée en un ensemble de champs de radiance locaux liés aux sommets. Chaque sommet $v$ de l'échafaudage du maillage stocke quatre paramètres apprenables distincts :

Code de Géométrie ( $l_g$ ) : Encode la géométrie locale.
Code de Texture ( $l_t$ ) : Encode l'apparence locale.
Code Sémantique ( $l_s$ ) : Encode les attributs sémantiques.
Couleur de Modification ( $c_m$ ) : Un attribut de couleur indépendant de la vue et sans décodeur, pour améliorer la fidélité de l'édition de texture.

Pipeline de Rendu

Pour un point de requête $x$ le long d'un rayon de caméra :

Paramétrage de l'Espace Local : Le système identifie les $K$ sommets les plus proches du maillage. Au lieu d'utiliser des coordonnées globales, il projette $x$ sur la normale de chaque voisin pour calculer un indicateur local $h_k = (p_k, w_k)$ , où $p_k$ est la distance de projection et $w_k$ est l'inverse de la distance normalisée. Cela résout le problème de distinction spatiale (intérieur/extérieur de la surface) sans nécessiter de champs de distance signés (SDF).
Décodage : Les décodeurs de géométrie et de radiance ( $F_G, F_R$ ) prennent les codes locaux et les indicateurs en entrée pour prédire la densité $\sigma_k$ et la couleur $c_k$ pour chaque voisin. La couleur finale inclut la couleur de modification : $c_k = F_R(l_t^k, h_k, d, n_k) + c_m^k$ .
Post-Interpolation : Une stratégie d'interpolation spatiale fusionne les contributions des sommets voisins pour obtenir la densité $\sigma$ et la couleur $c$ finales au point $x$ . Cela crée un "champ de radiance local" autour de chaque sommet, agnostique à la topologie du maillage (incluant les maillages non étanches).

Capacités d'Édition

La nature désengagée de la représentation permet plusieurs fonctionnalités d'édition :

Édition de Géométrie Guidée par le Maillage : Puisque le champ de radiance est aligné sur le maillage, la déformation des sommets du maillage (par exemple, via ARAP ou une simulation physique) déforme directement l'objet rendu sans réentraînement.
Échange de Texture : En alignant les maillages sources et cibles (en utilisant Umeyama et ARAP), les codes de texture et les couleurs de modification sont transférés entre les sommets basés sur la proximité euclidienne.
Remplissage de Texture : Utilise une approche par tuiles dans l'espace UV pour répéter des textures modèles provenant d'un modèle pré-capturé sur une région cible.
Peinture de Texture : L'utilisateur peint sur une vue 2D. Une stratégie d'optimisation spatialement consciente identifie les couleurs de modification affectées via des rayons de sondage et affine uniquement ces couleurs spécifiques, évitant ainsi le surapprentissage sur une seule vue et préservant les effets dépendants de la vue.
Édition Guidée par la Sémantique : Les codes sémantiques sont distillés à partir de segmentations 2D à vocabulaire ouvert (par exemple, DINO, SAM). Un mécanisme de propagation transfère le clic de l'utilisateur en un masque sémantique 3D, permettant la sélection de régions et l'édition avec un simple clic.

Contributions Clés

Nouvelle Représentation Basée sur le Maillage : Un champ de radiance neural encodé sur les sommets du maillage avec des codes de géométrie, de texture et de sémantique désengagés, permettant une intégration transparente avec les flux de travail basés sur les maillages.
Améliorations Techniques pour la Stabilité et la Fidélité :
- Paramétrage de l'Espace Local : Une nouvelle méthode utilisant des indicateurs locaux et la post-interpolation pour stabiliser l'entraînement sans modèle enseignant pré-entraîné et améliorer la distinction spatiale.
- Couleur de Modification Apprenable : Un paramètre de couleur indépendant de la vue sur chaque sommet qui améliore la fidélité de l'édition de texture, particulièrement pour les couleurs situées en dehors du spectre appris par le décodeur.
- Optimisation Spatialement Consciente : Une stratégie pour la peinture de texture qui affine sélectivement les couleurs de modification pour maintenir la cohérence entre les vues.
Propagation Sémantique : Un mécanisme pour agréger les priors sémantiques 2D dans les codes de sommets 3D, permettant une sélection de région sans effort via une interaction par clic unique.
Efficacité : La méthode atteint un rendu en temps réel (environ 15 fps) et une édition rapide (quelques secondes pour les opérations de géométrie/texture) en utilisant des codes latents compacts et un échantillonnage guidé par l'occupation.

Résultats

Des expériences approfondies ont été menées sur des jeux de données réels (DTU) et synthétiques (NeRF 360°).

Qualité de Rendu : NeuMesh++ surpasse les autres méthodes de rendu neural éditable (NeuTex, NeuManifold, BakedSDF, NeuMesh) en termes de PSNR, SSIM et LPIPS. Il atteint une qualité comparable aux méthodes de pointe non éditables comme Neuralangelo et DVGO, tout en offrant des capacités d'édition supérieures.
Performance d'Édition :
- Géométrie : A démontré avec succès la déformation non rigide et la simulation physique (par exemple, des chaises qui rebondissent, des plantes qui oscillent) sans réentraînement.
- Texture : A montré une conservation de détails supérieure dans l'échange et le remplissage de textures par rapport à NeuMesh, qui produit souvent des résultats flous ou déformés. La couleur de modification a permis une peinture de haute fidélité de nouvelles couleurs (par exemple, des verts peu saturés) que les décodeurs standards ne pouvaient pas générer.
- Sémantique : A permis avec succès la sélection et l'édition de régions 3D via un simple clic 2D.
Efficacité : La méthode rend des images 800x800 à environ 15 fps, ce qui est nettement plus rapide que Neuralangelo (~~28s) et NeuMesh (~~99s). Les opérations d'édition (déformation de géométrie, échange/remplissage de texture, peinture) prennent environ 1 à 2 secondes.

Signification

L'article affirme que NeuMesh++ parvient à briser la barrière entre le rendu neural volumétrique et la modélisation 3D traditionnelle par maillage. En encodant les champs neuraux sur un échafaudage de maillage avec des codes désengagés, il offre un ensemble polyvalent de fonctionnalités d'édition (déformation de géométrie, échange/remplissage/peinture de texture, et édition sémantique) qui sont à la fois efficaces et de haute fidélité. La méthode élimine le besoin d'annotations manuelles extensives pour l'édition sémantique et évite les problèmes de convergence sous-optimale des champs implicites basés sur le maillage précédents en supprimant la dépendance aux modèles enseignants pré-entraînés. Les auteurs soulignent que cette approche fournit un flux de travail pratique et adapté aux artistes pour l'édition de scènes neurales implicites.