Résumé Technique : VS3D (Édition d'Actifs 3D dans l'Espace des Vitesses)

1. Énoncé du Problème

L'édition locale précise d'actifs 3D — modifier une région spécifique tout en préservant strictement le reste — constitue un défi fondamental pour les générateurs 3D natifs. Les approches existantes reposent généralement sur des mécanismes externes au modèle génératif, tels que des masques 3D manuels, une fusion de voxels a posteriori ou un relevé multi-vues 2D. Ces méthodes échouent à traiter la cause racine de la fuite d'identité : le comportement du champ de vitesse à l'intérieur de l'échantillonneur d'équations différentielles ordinaires (ODE) à flux rectifié.

Lors de l'utilisation d'un DiT à flux rectifié (Diffusion Transformer) figé pour l'édition, le champ de vitesse doit simultanément transporter un signal d'édition fort sur la région cible et s'annuler sur le contenu préservé. Cependant, un champ de vitesse unique peine à satisfaire ces exigences contradictoires, conduisant à trois modes d'échec spécifiques :

1. Fuite d'Identité : Même lorsque les conditions s'accordent localement, la différence de vitesse ($v_\Delta$) reste non nulle sur les régions préservées en raison de l'asymétrie de la Guidance sans Classificateur (CFG) et des résidus médiés par l'attention provenant des embeddings d'images globales.
2. Absence d'Amplification de l'Édition : Renforcer le signal d'édition perturbe souvent involontairement l'identité des régions préservées car les deux tâches se disputent les mêmes degrés de liberté au sein du champ de vitesse. De plus, l'estimation par Monte-Carlo de la différence de vitesse en 3D est dominée par la variance plutôt que par un signal cohérent.
3. Remplacement de la Condition Globale : Dans les étapes de raffinement de la géométrie et des matériaux, un unique jeton de caractéristiques d'image global tire chaque jeton vers l'apparence cible, écrasant l'identité source et provoquant une dérive de texture ou une distorsion géométrique.

Les solutions actuelles délèguent la préservation de l'identité à des outils externes plutôt que d'intervenir directement au sein de l'échantillonneur ODE où la corruption prend naissance.

2. Méthodologie : VS3D

Les auteurs proposent VS3D, un cadre sans inversion, sans entraînement et sans masque qui résout ces problèmes par des interventions ciblées à l'intérieur de l'échantillonneur ODE. La méthode opère sur un générateur 3D natif (spécifiquement TRELLIS 2.0) qui se déroule en trois étapes : génération de structure éparses, génération de géométrie et génération de matériaux.

VS3D intègre trois modules complémentaires correspondant à des étapes spécifiques du pipeline :

A. Injection de Source Ancrée par Reconstruction (RASI)

Cible : Étape 1 (Latent d'Occupation Dense)
RASI adresse la fuite d'identité à deux canaux (asymétrie CFG et résidus de condition globale).

• Mécanisme : Au lieu d'utiliser un embedding incondtionné fixe ($\phi_0$), RASI optimise un embedding incondtionné spécifique à l'actif et par pas de temps ($\phi_t$) via une sonde de reconstruction de source.
• Processus : À chaque pas de temps, la méthode résout un problème d'optimisation pour trouver un $\phi_t$ qui, lorsqu'il est utilisé dans le calcul de la vitesse, force l'étape d'Euler à reconstruire exactement le latent source ($x_{src}$) lorsque la condition cible est remplacée par la condition source.
• Effet : Cela « ancre » la trajectoire source. Lors de l'édition réelle, le $\phi_t$ mis en cache absorbe les canaux de fuite, provoquant l'effondrement de $v_\Delta$ vers zéro sur les voxels non édités sans nécessiter de masque externe.

B. Guidance à Moyenne Partielle (PMG)

Cible : Étape 1 (Amplification du Signal d'Édition)
PMG résout le conflit entre la préservation de l'identité et l'amplification du signal d'édition.

• Mécanisme : Elle exploite la structure Monte-Carlo de l'estimation de la différence de vitesse. La méthode calcule une estimation moyenne de haute qualité ($\hat{\mu}_S$) et une estimation moyenne d'échantillon partiel plus bruitée ($\hat{\mu}_L$) de la différence de vitesse.
• Processus : Elle extrapole à partir de l'estimation plus bruitée : $\hat{\mu}_{final} = \hat{\mu}_S + w(\hat{\mu}_S - \hat{\mu}_L)$.
• Effet : Cette amplification est automatiquement contrôlée par le champ de vitesse lui-même. Sur les régions non éditées où RASI a réduit le signal à zéro, l'extrapolation est négligeable. Sur les régions éditées où un signal cohérent existe, l'amplification renforce la direction de l'édition sans nécessiter de passages avant supplémentaires ni de masques.

C. Injection de Résidu d'Accord Jumeau (TAR)

Cible : Étapes 2 et 3 (Géométrie Éparse et Matériaux)
TAR empêche la condition globale d'écraser l'identité source dans les étapes de raffinement éparse, où un couplage ODE direct est impossible en raison de supports de voxels incompatibles.

• Mécanisme : L'échantillonneur exécute un passage avant « jumeau » sur le même échafaudage de coordonnées et le même bruit, mais conditionné par l'image source ($c_{src}$) au lieu de la cible.
• Processus : Il calcule une carte de désaccord par jeton ($d_i$) entre la sortie cible ($z_{tgt}$) et la sortie source jumeau ($z_{twin}$). Les jetons avec un faible désaccord (fort accord) sont identifiés comme non édités.
• Effet : Pour les jetons en accord, la méthode injecte un résidu provenant de l'encodage source ($z_{src}$) de retour dans le latent cible, attirant efficacement la géométrie et les matériaux vers la source. Les jetons en désaccord (la région d'édition) restent intacts. Cela permet à l'échantillonneur de décider au niveau du jeton de ce qui doit être préservé.

3. Contributions Clés

1. RASI : Une méthode pour éliminer la fuite d'identité à deux canaux (asymétrie CFG et résidus d'attention) en optimisant un embedding incondtionné par pas de temps, garantissant que $v_\Delta$ s'annule sur les régions non éditées sans masques externes.
2. PMG : Une technique pour découpler l'amplification de l'édition de la préservation de l'identité en extrapolant entre les moyennes de sous-échantillons de la différence de vitesse, contrôlant automatiquement l'amplification vers les régions présentant des signaux d'édition cohérents.
3. TAR : Un mécanisme pour supprimer l'entraînement d'identité global dans les étapes éparse en utilisant une carte de désaccord de passage avant jumeau pour injecter des résidus source uniquement là où l'échantillonneur s'accorde sur le fait que le contenu doit être préservé.
4. Cadre VS3D : Un paradigme d'édition unifié, purement dans l'espace des vitesses, qui réalise des éditions locales haute fidélité avec une forte préservation d'identité sans inversion, entraînement ni masquage manuel.

4. Résultats Expérimentaux

Les auteurs ont évalué VS3D sur une référence dérivée d'Objaverse, en le comparant à des éditeurs 3D natifs de l'état de l'art (TRELLIS 2.0, VoxHammer, Nano3D) et à des éditeurs relevés 2D (Instant3dit, Edit360, VecSet-Edit).

• Performance Quantitative : VS3D a obtenu les meilleurs résultats sur la plupart des métriques, incluant le PSNR le plus élevé (22,51), le SSIM (0,867) et le LPIPS le plus bas (0,145), indiquant une préservation d'identité supérieure. Il a également obtenu les scores DINO-I (0,841) et CLIP-T (0,294) les plus élevés, démontrant une haute fidélité d'édition.
• Performance Qualitative : La méthode a géré avec succès des opérations élémentaires (ajouter/supprimer) et des éditions composées (ajout/suppression simultanés) où les références échouaient. Elle a maintenu la cohérence structurelle et la consistance texturale dans les régions non éditées, évitant les artefacts de couture et les incohérences topologiques courantes dans les approches relevées 2D.
• Études d'Ablation : L'étude a confirmé que chaque module adresse un mode d'échec distinct : RASI a corrigé la dérive d'occupation, PMG a restauré la force de l'édition, et TAR a récupéré les détails fins des matériaux et des textures dans les étapes ultérieures.

5. Importance et Revendications

L'article revendique que VS3D démontre qu'une approche purement dans l'espace des vitesses peut servir de paradigme d'édition polyvalent pour les générateurs 3D pré-entraînés. En intervenant directement à l'intérieur de l'échantillonneur ODE, la méthode réalise une édition locale haute fidélité sans avoir besoin de :

• Masques 3D externes (qui sont fastidieux et fragiles).
• Inversion de modèle (qui est coûteuse en calcul et instable).
• Entraînement ou ajustement fin supplémentaire (LoRA).

Les auteurs reconnaissent une limitation : comme aucun masque dur n'isole la frontière de l'édition, la consistance texturale au niveau des pixels dans les régions non éditées est « proche de, plutôt qu'identique à » l'original. Cependant, ils soutiennent qu'il s'agit d'une caractéristique inhérente aux méthodes sans masque et que la différence perceptuelle est mineure et acceptable pour des scénarios pratiques. Ce travail suggère que le contrôle du champ de vitesse depuis l'intérieur est la voie la plus directe vers une préservation simultanée de l'identité et une amplification de l'édition, offrant une nouvelle perspective pour les futures recherches sur l'édition 3D sans masque.