🤖 machine learning

DVD: Discrete Voxel Diffusion for 3D Generation and Editing

Cet article présente la Diffusion de Voxels Discrète (DVD), un cadre qui traite l'occupation des voxels comme une variable discrète native pour permettre une génération efficace, une estimation de l'incertitude et une édition en une seule étape de structures squelettiques de voxels clairsemés pour les pipelines 3D, sans nécessiter de seuillage continu-vers-discrète.

Auteurs originaux : Zhengrui Xiang, Jiaqi Wu, Fupeng Sun, Heliang Zheng, Yingzhen Li

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhengrui Xiang, Jiaqi Wu, Fupeng Sun, Heliang Zheng, Yingzhen Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Construire des mondes 3D avec des briques LEGO

Imaginez que vous voulez construire un objet 3D, comme une voiture jouet ou une maison, mais au lieu d'utiliser de l'argile lisse, vous devez le construire avec de minuscules briques LEGO invisibles (appelées voxels). Certaines de ces briques sont présentes (occupées), et d'autres sont de l'espace vide.

La plupart des outils d'IA 3D actuels tentent de construire ces objets en imaginant d'abord un blob d'argile lisse et continu, puis en essayant de le découper en briques LEGO plus tard. Les auteurs de ce papier soutiennent que c'est comme essayer de découper un gâteau lisse en cubes parfaits : cela conduit souvent à des bords désordonnés, des pièces manquantes ou des « trous » dans la structure finale.

Au lieu de cela, ils proposent DVD (Discrete Voxel Diffusion). Cette méthode saute entièrement l'étape de « l'argile lisse ». Elle traite les briques LEGO comme des éléments discrets dès le début : une brique est soit ALLUMÉE, soit ÉTEINTE. Il n'y a pas d'entre-deux.

Le problème de l'ancienne méthode (Diffusion continue)

Pensez à l'ancienne méthode comme à un sculpteur travaillant avec de l'argile humide. Il lisse la surface, puis, tout à la fin, il tente de découper l'argile en une grille de cubes.

Le problème : Si le sculpteur fait une toute petite erreur près du bord d'un cube, le cube entier pourrait être arraché ou laissé vide. Cela crée des « trous » dans l'objet 3D qui ressemblent à des dents manquantes ou des jambes cassées.
L'affirmation du papier : Les auteurs ont constaté que tenter de forcer un processus lisse et continu pour créer une structure bloc, binaire (ALLUMÉE/ÉTEINTE), provoque ces erreurs.

La nouvelle solution : L'approche « Interrupteur binaire »

La méthode DVD est comme avoir un maître constructeur qui ne pense qu'en termes d'interrupteurs : « Cette brique est-elle ALLUMÉE ? Oui. Celle-ci est-elle ÉTEINTE ? Oui. »

Modélisation directe : Au lieu de deviner une forme lisse puis de la découper, l'IA prédit l'état de chaque brique individuellement. Elle se demande : « Cet endroit précis est-il vide ou plein ? »
Le résultat : Parce qu'elle n'a pas à deviner une courbe lisse en premier, elle évite les erreurs de « découpe ». Le papier montre que cela crée des formes plus propres avec moins de trous et de meilleurs détails, même si le modèle d'IA est en réalité plus petit et entraîné sur moins de données que les géants précédents.

Fonctionnalité 1 : Le « Mètre d'incertitude » (Savoir ce que l'on ne sait pas)

L'une des fonctionnalités les plus cool de DVD est qu'elle ne se contente pas de deviner ; elle sait à quel point elle est confiante.

L'analogie : Imaginez un prévisionniste météo. Un modèle continu pourrait dire : « Il y a 50 % de chances de pluie », ce qui est vague. Le modèle DVD agit comme un prévisionniste qui dit : « Je suis sûr à 99 % qu'il pleuvra ici, mais je ne suis sûr qu'à 51 % pour ce tout petit patch là-bas. »
Comment cela aide : Le papier utilise ce « score de confiance » (appelé entropie) pour repérer les parties délicates d'une forme 3D. Si l'IA est confuse sur une zone spécifique (comme la poignée fine d'un extincteur), elle la signale. Cela permet au système de filtrer les mauvaises données ou de se concentrer sur l'amélioration des parties difficiles de la forme.

Fonctionnalité 2 : Édition avec des « Perturbations à structure de blocs »

Parfois, vous voulez modifier une partie d'un objet 3D, comme transformer un toit plat en un toit pointu, sans tout reconstruire.

L'ancienne méthode : Pour éditer un objet 3D, les méthodes précédentes devaient souvent rééchantillonner l'ensemble encore et encore, ce qui est lent et coûteux en calcul. C'est comme essayer de réparer un trou dans un mur en démolissant toute la maison et en la reconstruisant.
La méthode DVD : Les auteurs ont introduit une astuce appelée Perturbation à structure de blocs.
- L'analogie : Imaginez que vous peignez une fresque murale. Au lieu de repeindre tout le mur pour réparer une seule fleur, vous posez un pochoir (un bloc) uniquement sur la zone de la fleur et repeignez seulement ce bloc.
- Comment cela fonctionne : L'IA est entraînée à gérer ces « blocs » de changement. Lorsque vous voulez éditer une partie de l'objet, l'IA traite cette zone comme un « bloc corrompu » et le remplit tout en gardant le reste de l'objet parfaitement intact. Cela se produit en un seul passage, rendant l'édition rapide et transparente.

Résumé des affirmations

Meilleure qualité : En traitant les voxels 3D comme de simples interrupteurs ALLUMÉS/ÉTEINTS plutôt que comme de l'argile lisse, la méthode crée moins de trous et des détails plus nets.
Efficacité : Elle atteint ces résultats avec un modèle plus petit et moins de données d'entraînement que les méthodes précédentes.
Transparence : Elle fournit un « mètre de confiance » intégré qui vous indique exactement où la forme 3D est ambiguë ou difficile à générer.
Édition facile : Elle permet une édition rapide, en une seule étape, de parties spécifiques d'un objet 3D sans avoir besoin de régénérer l'ensemble.

Le papier conclut que cette approche « discrète » est une nouvelle manière pratique et puissante de construire le squelette (échafaudage) des objets 3D avant d'ajouter les détails finaux.

Résumé technique : Diffusion de voxels discrets (DVD) pour la génération et l'édition 3D

1. Énoncé du problème

Les récents progrès dans la modélisation générative 3D ont de plus en plus adopté des pipelines SLAT (Structured LATent), qui opèrent en deux étapes : d'abord la génération d'un échafaudage de voxels clairsemés pour définir la forme grossière, puis la prédiction de caractéristiques latentes continues attachées aux voxels actifs pour un décodage haute fidélité en maillages, 3DGS ou NeRFs.

Cependant, la première étape de ces pipelines repose généralement sur des modèles de diffusion continus opérant sur des latents VAE. Cette approche impose une conversion continue-discret où l'occupation des voxels est générée de manière continue, puis discrétisée par seuillage. Les auteurs identifient plusieurs problèmes critiques avec ce paradigme :

Artéfacts : De petites erreurs près du seuil de binarisation peuvent faire basculer les voxels de l'état occupé à vide (ou inversement), créant des trous locaux ou des fragments déconnectés qui persistent lors du maillage.
Désalignement : La structure native de l'occupation des voxels est clairsemée et binaire, pourtant elle est modélisée comme une distribution continue, ce qui réduit l'interprétabilité et complique l'édition en aval.
Incertitude : Les modèles continus approximent des posteriors gaussiens, rendant difficile la quantification explicite de l'incertitude ou l'identification des régions géométriques ambiguës.

L'article postule que la modélisation directe de l'occupation des voxels clairsemés en tant que données discrètes constitue une approche plus naturelle et efficace pour cette sous-tâche spécifique.

2. Méthodologie

2.1 Diffusion de voxels discrets (DVD)

La contribution centrale est un cadre de Diffusion Discrète appliqué à la première étape des pipelines SLAT. Au lieu de générer des latents continus, DVD traite la grille de voxels $X \in \{0, 1\}^{N \times N \times N}$ comme une séquence de tokens discrets.

Diffusion Discrète à État Uniforme (USDM) : Les auteurs adoptent les USDM, où la distribution a priori est uniforme sur tous les états possibles (occupé ou vide). Le processus direct réassigne aléatoirement chaque voxel à 0 ou 1 selon une probabilité dépendante du temps.
Processus Inverse : Le modèle prédit la distribution catégorielle $q(x_0 | x_t)$ sur les états propres étant donné un échantillon bruité. Contrairement à la diffusion continue qui estime une moyenne, le modèle discret sort explicitement une distribution de probabilité pour l'état de chaque voxel.
Échantillonnage : La génération procède par échantillonnage ancestral, en tirant des échantillons du posterior prédictif à chaque pas de temps.

2.2 Estimation de l'incertitude

Une caractéristique unique de la formulation discrète est l'accès explicite à la distribution catégorielle prédictive. Les auteurs exploitent l'entropie prédictive comme métrique d'incertitude robuste :

Niveau voxel : Une entropie élevée indique des régions ambiguës où le modèle hésite sur le fait qu'un voxel doive être occupé.
Niveau forme : En agrégeant les entropies des voxels (spécifiquement à un pas de temps proche de zéro $t=\epsilon$ ), ils dérivent un score d'incertitude léger ( $\gamma_{\epsilon, \rho}$ ). Ce score corrèle avec la complexité géométrique et peut être utilisé pour le filtrage des données, l'évaluation de la qualité et l'identification d'échantillons « difficiles ».

2.3 Perturbation structurée par blocs (BSP) pour l'édition

Les modèles discrets standards sont entraînés avec un bruit spatialement homogène, ce qui les rend inadaptés à l'inpainting ou à l'édition où des régions spécifiques sont masquées (connues) et d'autres corrompues. Pour combler cet écart entre entraînement et inférence, les auteurs proposent la Perturbation Structurée par Blocs (BSP) :

Stratégie : Pendant le fine-tuning, au lieu de perturber les voxels individuellement de manière indépendante, le modèle est entraîné sur des hypercube alignés sur les axes (blocs) de différentes échelles.
Mécanisme : Des blocs aléatoires sont sélectionnés et corrompus, tandis que le reste du volume reste largement intact. Cela simule des scénarios d'édition locale, contraignant le modèle à apprendre à générer des structures cohérentes avec un contexte propre.
Efficacité : Cela permet une édition en un seul tour et un inpainting sans besoin de stratégies d'échantillonnage itératif (comme RePaint) ou d'évaluations supplémentaires du réseau.

3. Contributions clés

Diffusion discrète pour la génération de voxels clairsemés : L'article introduit une formulation de diffusion discrète pour la première étape des pipelines SLAT. Elle évite les artéfacts de seuillage continu-discret, obtenant des performances améliorées sur la plupart des métriques avec une taille de modèle plus petite et moins de données d'entraînement par rapport aux bases continues.
Modélisation explicite de l'incertitude : Les auteurs démontrent que la diffusion discrète fournit des probabilités prédictives natives, permettant la dérivation d'un score d'incertitude léger basé sur l'entropie. Ce score localise efficacement les régions géométriques ambiguës et sert d'indicateur de complexité de forme.
Édition de voxels efficace via BSP : Une nouvelle stratégie de fine-tuning utilisant des perturbations structurées par blocs est proposée. Cela permet un inpainting et une édition de voxels transparents au sein d'une seule trajectoire d'échantillonnage, préservant l'intégrité structurelle sans calcul auxiliaire.

4. Résultats expérimentaux

Les auteurs ont évalué DVD sur des tâches image-vers-3D et texte-vers-3D en utilisant les ensembles de données TripoSR et Toys4K, en comparaison avec la base continue TRELLIS et d'autres méthodes comme Direct3D-S2 et TripoSR.

Performance quantitative : DVD a surpassé la base continue (TRELLIS) sur la plupart des métriques d'évaluation, notamment :
- FID (à la fois pour le rendu d'image $FID_D$ et le nuage de points $FID_{PC}$ ).
- Distance de Chamfer (CD et $CD_V$ pour l'alignement voxel-vers-maillage).
- Score CLIP (alignement avec l'invite).
- Notamment, ces gains ont été obtenus avec un modèle de ~400M de paramètres (contre ~550M pour TRELLIS) et un ensemble d'entraînement légèrement plus petit.
Améliorations qualitatives : Les visualisations ont montré que DVD réduisait considérablement les « trous » et les fragments déconnectés courants dans les méthodes continues, en particulier dans les structures à couches minces.
Utilité de l'incertitude : Le score d'incertitude a identifié avec succès des régions complexes (par exemple, les poignées d'extincteurs, les détails de toiture des maisons champignons). L'utilisation de ce score pour l'augmentation de données (suréchantillonnage des formes à forte incertitude) a encore amélioré la qualité de génération.
Performance d'édition : Dans les tâches d'inpainting, le modèle fine-tuné avec BSP a reconstruit avec succès la géométrie manquante avec une haute cohérence spatiale, tandis que le modèle non fine-tuné et les bases continues (même avec RePaint) produisaient des structures fragmentées ou désalignées.

5. Signification et affirmations

L'article affirme que la Diffusion de Voxels Discrets est un préalable pratique et efficace pour la première étape de la génération 3D basée sur SLAT. Sa signification réside dans :

Modélisation native : L'alignement du processus génératif avec la nature discrète et binaire de l'occupation des voxels, éliminant ainsi les artéfacts de seuillage.
Interprétabilité : La fourniture d'une modélisation catégorielle explicite permettant l'inspection des dynamiques de génération et la dérivation de métriques d'incertitude, difficiles à obtenir dans la diffusion continue.
Efficacité : La possibilité d'une édition et d'un inpainting efficaces grâce à un simple fine-tuning (BSP) plutôt que par un échantillonnage itératif complexe.

Les auteurs concluent que si la diffusion discrète nécessite des centaines de pas d'échantillonnage (une limitation pour les applications temps réel), elle offre un biais inductif supérieur pour les échafaudages de voxels clairsemés, ouvrant la voie à une création d'actifs 3D plus robuste et contrôlable. Des travaux futurs sont suggérés pour se concentrer sur l'accélération de l'échantillonnage et l'extension de ces principes à une modélisation conjointe discrète-continue des caractéristiques et des voxels.