💻 computer science

Interactive Stroke-based Neural SDF Sculpting

Cet article introduit un cadre interactif qui permet aux utilisateurs d'effectuer une sculpture par traits en temps réel directement sur des représentations SDF implicites neurales, surmontant les limitations précédentes d'optimisation lente et de modifications localisées pour offrir une manipulation de formes 3D intuitive et performante.

Auteurs originaux : Fizza Rubab, Yiying Tong

Publié 2026-08-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Fizza Rubab, Yiying Tong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la conception tridimensionnelle, les artistes se sont longtemps appuyés sur des maillages numériques, qui sont essentiellement des réseaux complexes de minuscules triangles formant la peau d'un objet virtuel. Ces maillages sont puissants car un artiste peut saisir un point spécifique sur la surface et le tirer, créant ainsi un changement fluide et prévisible. Cependant, une nouvelle façon de décrire les formes 3D a émergé, qui n'utilise plus du tout de maillage de triangles. Au lieu de cela, ces formes sont définies par un champ mathématique continu, une sorte de nuage de données invisible qui indique à un ordinateur à quelle distance n'importe quel point de l'espace se trouve de la surface de l'objet. Cette méthode, connue sous le nom de fonction de distance signée neurale, permet d'obtenir des formes incroyablement lisses et détaillées que l'on peut zoomer sans jamais perdre en qualité. Le problème est que, bien que ces formes soient magnifiques et efficaces à stocker, elles sont notoirement difficiles à modifier. Parce que la forme est cachée à l'intérieur des poids complexes d'un programme informatique plutôt que dans des points visibles, essayer de la sculpter ou de la mouler revenait à essayer de sculpter un nuage en ajustant les modèles météorologiques qui l'ont créé.

Des chercheurs de l'Université d'État du Michigan ont développé un nouvel outil qui permet enfin aux artistes de sculpter ces formes neurales invisibles avec la même facilité intuitive que l'argile traditionnelle ou les maillages numériques. Leurs travaux introduisent un système où un utilisateur peut tracer une ligne continue, ou un trait, à travers un modèle 3D, et l'ordinateur remodèle instantanément la surface le long de ce chemin. Contra irement aux tentatives précédentes qui nécessitaient à l'utilisateur de cliquer sur des points individuels et d'attendre des calculs lents, cette nouvelle méthode fonctionne en temps réel. Le système permet à l'artiste de définir une forme de pinceau personnalisée, décidant exactement de la largeur ou de la finesse de l'outil, et de la façon dont la pression du trait change du début à la fin de la ligne. Cela signifie qu'un artiste peut creuser une rainure profonde qui s'estompe sur les bords, ou bâtir une crête qui est plus forte au milieu, le tout en un seul mouvement fluide.

Le secret de cette vitesse réside dans la manière dont l'ordinateur échantillonne les données. Au lieu d'essayer de mettre à jour l'intégralité du modèle mathématique à chaque fois qu'un trait est effectué, le système se concentre uniquement sur une étroite région en forme de tube entourant le trait du pinceau de l'utilisateur. Il rassemble un ensemble spécifique de points à l'intérieur de ce tube, calcule les changements nécessaires, puis ajuste rapidement le réseau neural sous-jacent pour correspondre à la nouvelle forme. Cette approche ciblée est bien plus efficace que les anciennes méthodes qui tentaient de traiter toute la surface à la fois. Dans leurs tests, les chercheurs ont constaté que cette technique pouvait être jusqu'à quinze fois plus rapide que les précédents outils d'édition basés sur les points, permettant une expérience réactive où la forme change immédiatement au mouvement de la souris.

Les résultats de ce travail ne concernent pas seulement la vitesse, mais aussi la qualité de l'art qui peut être produit. Les chercheurs ont démontré l'outil en créant une variété d'éditions complexes, telles que l'ajout de clavicules réalistes à un buste numérique, la sculpture de motifs complexes sur une citrouille, ou même la métamorphose d'une grenouille en lézard en ajoutant des écailles le long d'un chemin ondulé. Ils ont montré que le système pouvait gérer à la fois l'ajout de matière pour créer des bosses et le retrait de matière pour créer des creux, tout en maintenant la surface lisse et de haute qualité qui fait la valeur des représentations neurales. En prouvant que ces formes complexes et invisibles peuvent être manipulées avec la même liberté que les modèles traditionnels, les chercheurs ont comblé un fossé important dans la conception numérique, rendant une technologie puissante accessible à la créativité humaine.

Résumé technique : Sculpture neuronale interactive basée sur des traits

Énoncé du problème

Les représentations neuronales implicites (INR), en particulier les fonctions de distance signées (SDF) neuronales, sont apparues comme des outils puissants pour modéliser la géométrie 3D en raison de leur capacité à représenter des surfaces continues à une résolution arbitraire. Cependant, un goulot d'étranglement majeur subsiste concernant leur éditabilité. Contrairement aux représentations traditionnelles basées sur des maillages où les sommets peuvent être directement manipulés, les paramètres des SDF neuronales sont intégrés globalement dans les poids du réseau. Cette dépendance globale rend les modifications locales difficiles.

Les approches existantes pour éditer les SDF neuronales reposent souvent sur la modification de codes de forme ou d'espaces latents, qui manquent fréquemment de contrôle fin et de retour immédiat. Bien que des méthodes d'édition basées sur des points existent (par exemple, 3DNS), elles sont limitées à des éditions ponctuelles localisées. Tenter de simuler une sculpture basée sur des traits en appliquant séquentiellement des éditions de points est coûteux en calcul, entraînant une latence importante, des évaluations redondantes et des densités d'échantillonnage inégales. Par conséquent, un outil performant et interactif pour la sculpture par traits sur les SDF neuronales manquait, entravant l'adoption de ces représentations dans les flux de travail artistiques et de conception qui nécessitent une manipulation intuitive et en temps réel.

Méthodologie

Les auteurs proposent un cadre interactif qui permet de sculpter par traits directement sur des SDF neuronales pré-entraînées. Le système fonctionne en échantillonnant des points le long d'un trait défini par l'utilisateur au sein d'un voisinage tubulaire, puis en affinant le réseau neuronal pour aligner son ensemble de niveau zéro avec la déformation souhaitée.

1. Système de coordonnées et définition du pinceau

Pour faciliter un contrôle intuitif, la méthode établit un repère de coordonnées u-v-n local le long du trajet du trait :

u (Direction du trait) : La tangente de la courbe du trait.
v (Direction du profil du pinceau) : Perpendiculaire au trait et tangentielle à la surface.
n (Direction normale) : Orthogonale aux deux, pointant vers l'extérieur de la surface.

Le pinceau est défini comme une fonction $C^1$ , $b_P(v)$ , opérant le long de la direction $v$ . Les utilisateurs peuvent définir des profils personnalisés en utilisant des points de contrôle interpolés via des splines de Catmull-Rom ou en sélectionnant des fonctions analytiques (linéaire, cubique, quintique). L'intensité et le rayon du pinceau sont paramétrés indépendamment, permettant à la fois la sculpture (déplacement négatif) et l'extrusion (déplacement positif).

2. Modulation et représentation du trait

Un trait est représenté comme une courbe continue $\gamma(u)$ paramétrée par $u \in [0,1]$ . L'intensité de la déformation peut varier dynamiquement le long du trait via une fonction de modulation $m(u)$ . Cela permet des effets tels qu'une décroissance linéaire, des pics centraux ou des motifs sinusoïdaux (par exemple, des écailles) sans coût de calcul supplémentaire, car la modulation est appliquée directement à la paramétrisation du trait.

3. Stratégie d'échantillonnage tubulaire

Une contribution technique centrale est la stratégie d'échantillonnage tubulaire. Au lieu d'échantillonner toute la surface ou de s'appuyer sur des projections de points discrets, le système génère des échantillons à l'intérieur d'une région tubulaire entourant le trait :

Les points sont échantillonnés uniformément le long de la trajectoire du trait (direction $u$ ).
Pour chaque point, des décalages sont appliqués dans la direction $v$ à l'intérieur d'un rayon $r$ .
Ces points décalés sont projetés sur la surface pour capturer le voisinage tubulaire.

Cette approche garantit des effets de pinceau cohérents à travers la région d'interaction. Les auteurs notent que cette stratégie nécessite beaucoup moins d'échantillons (environ 10 000 au total pour la stabilisation) par rapport aux méthodes basées sur des points comme 3DNS, qui peuvent nécessiter plus de 100 000 échantillons pour atteindre une couverture similaire, réduisant ainsi considérablement les tailles de lots d'optimisation.

4. Optimisation et fonction de perte

Le processus d'édition consiste à affiner les poids de la SDF neuronale ( $\theta$ ) pour minimiser une perte de déformation. Les positions cibles $p'$ sont calculées en décalant les points de surface $p$ le long de la direction normale $n$ en fonction du profil du pinceau et de la modulation :
$p' = p + s \cdot b_P(v(p)) \cdot m(u) \cdot n(u(p))$

Le réseau est optimisé pour garantir que le nouvel ensemble de niveau zéro passe par ces points déplacés. La fonction de perte totale combine plusieurs termes adoptés du cadre 3DNS :

Perte de régression ( $L_{regression}$ ) : Minimise la valeur de la SDF aux points déplacés.
Perte d'Eikonal ( $L_{eikonal}$ ) : Impose que la norme du gradient soit égale à 1, garantissant le maintien de la propriété de la SDF.
Perte de normale ( $L_{normal}$ ) : Aligne les gradients prédits avec les normales de surface.
Régularisation de bordure ( $L_{boundary}$ ) : Empêche les artefacts près des bords de la boîte englobante.

Contributions clés

Outil interactif basé sur des traits : L'introduction d'un cadre permettant d'effectuer des modifications par traits sur des SDF neuronales en temps réel, dépassant les limitations de l'édition basée sur des points.
Pinceau et modulation personnalisables : Un système flexible supportant des profils de pinceau définis par l'utilisateur (via des points de contrôle) et des fonctions de modulation le long du trajet du trait, permettant des effets complexes tels que des traits ciselés, des formes asymétriques ou des motifs rythmiques.
Échantillonnage tubulaire efficace : Une stratégie d'échantillonnage orientée vers la performance qui se concentre sur la région d'interaction, atteignant une accélération allant jusqu'à 15× par rapport aux méthodes antérieures basées sur des points (3DNS) tout en maintenant la fidélité de l'édition.
Représentation unifiée : La capacité de représenter et d'éditer des formes complexes au sein du même cadre implicite neuronal, éliminant la nécessité de passer entre les représentations de maillage et neuronales.

Résultats expérimentaux

La méthode a été évaluée sur un ensemble de données de six formes 3D (incluant le Lapin de Stanford, un buste et une citrouille) en utilisant un GPU NVIDIA GeForce RTX 4070.

Vitesse et interactivité : La méthode proposée atteint des temps d'édition de moins d'une seconde pour diverses densités de traits. Le Tableau 1 de l'article démontre une accélération allant de 1,18× à 15,01× par rapport à 3DNS à mesure que le nombre de points de traits augmente. Cette efficacité est attribuée au nombre réduit d'échantillons requis dans la région d'interaction.
Précision géométrique : En utilisant la distance de Chamfer comme métrique, la méthode surpasse à la fois les éditions par points de 3DNS et l'édition directe sur des maillages grossiers. La distance de Chamfer moyenne pour l'ensemble de la surface est systématiquement plus faible pour la méthode proposée sur tous les objets testés (par exemple, 7,279 contre 7,394 pour la sphère).
Qualité visuelle : Le système produit des déformations lisses et continues. Bien que les détails à haute fréquence dépendent de la capacité de l'MLP sous-jacent (SIREN), la méthode gère avec succès des éditions complexes telles que l'ajout de caractéristiques robotiques à un lapin ou la sculpture de motifs complexes sur une citrouille, ce qui est difficile ou impossible à réaliser avec des éditions de points superposées dans 3DNS.

Signification et affirmations

L'article positionne ce travail comme un pont entre les flux de travail de sculpture 3D traditionnels et les représentations implicites neuronales modernes. Les auteurs affirment que leur cadre répond au manque critique d'éditabilité interactive des SDF neuronales. En permettant une manipulation intuitive par traits sans compromettre la nature lisse des représentations implicites ou la performance interactive, la méthode étend l'applicabilité des SDF neuronales dans les domaines artistiques et de conception.

Les auteurs notent modestement certaines limites, notamment la préservation des détails à haute fréquence avec des profils de pinceau hautement oscillatoires (qui peuvent être lissés selon la profondeur de l'MLP) et la surcharge de calcul des implémentations Python basées sur PyTorch. Cependant, ils affirment que pour les flux de travail de sculpture typiques impliquant des éditions de faible à moyenne intensité, le cadre constitue un outil polyvalent et réactif pour la modélisation 3D.