Symmetry Matters: Auditing and Symmetrizing 3D Generative Models

Résumé Technique : La Symétrie Compte : Audit et Symétrisation des Modèles Génératifs 3D

Énoncé du Problème
La symétrie est un prior géométrique fondamental omniprésent dans les objets naturels et artificiels, servant d'indice crucial pour la perception humaine et de contrainte structurelle dans les tâches de vision par ordinateur. Malgré la prévalence de la symétrie de réflexion dans des ensembles de données 3D largement utilisés comme ShapeNet, les benchmarks standards pour les modèles génératifs 3D (évaluant des métriques telles que la Couverture, 1-NNA, CD et EMD) évaluent rarement si ce prior est préservé dans les sorties générées. Les auteurs postulent que les modèles actuels peuvent obtenir des scores compétitifs sur les métriques standards tout en échouant à maintenir la cohérence structurelle, spécifiquement la symétrie de réflexion. La question de recherche centrale est de savoir si les modèles génératifs 3D actuels préservent la symétrie présente dans leurs données d'entraînement, et si ce n'est pas le cas, si cet échec provient d'imperfections des données, de bruit d'échantillonnage ou du processus génératif appris lui-même.

Méthodologie
L'article emploie une approche multi-étapes pour auditer, diagnostiquer et remédier aux échecs de symétrie dans la génération non conditionnelle de nuages de points :

1. Audit et Mesure de la Symétrie :

   • Les auteurs introduisent un Score de Symétrie Normalisé basé sur la Distance de Chamfer (NSCD). Cette métrique quantifie la symétrie de réflexion en calculant la CD entre un objet et sa réflexion par rapport au plan $x=0$, normalisée par le carré de la diagonale de la boîte englobante de l'objet pour assurer l'invariance d'échelle.
   • Ils audite huit modèles génératifs 3D représentatifs (incluant DPM, PVD, LION, DiT-3D, XCube, SLIDE 3D et des variantes SPVD) entraînés sur ShapeNet.

2. Vérification sur un Ensemble de Données Contrôlé :

   • Pour déterminer si l'écart de symétrie est hérité des données, les auteurs construisent un ensemble de données d'objets miroirs. Cela implique de prendre des objets ShapeNet, de les concaténer avec leurs réflexions, et de rééchantillonner pour créer une distribution explicitement symétrisée.
   • Les modèles sont réentraînés sur cet ensemble de données miroirs pour observer si un prior de symétrie plus fort dans les données se traduit par une meilleure préservation de la symétrie lors de la génération.

3. Inspection par Interprétabilité Mécaniste :

   • Les auteurs appliquent des techniques d'interprétabilité mécaniste pour diagnostiquer où la rupture de symétrie se produit au sein du pipeline.
   • Niveau d'Échantillonnage : Pour les modèles basés sur la diffusion, ils testent si la réflexion du bruit gaussien initial résulte en une forme finale réfléchie. Ils mesurent le NSCD entre la génération à partir du bruit original et la génération à partir du bruit réfléchi.
   • Niveau Latent : Pour les modèles avec encodeurs (par exemple, LION), ils mesurent la distance euclidienne normalisée entre les codes latents d'un objet et de sa réflexion. Une grande distance indique que l'encodeur ne traite pas les entrées symétriques comme équivalentes.

4. Intervention Centrée sur les Données :

   • Au lieu de modifier les architectures ou les fonctions de perte, les auteurs proposent une stratégie d'entraînement sur demi-objets.
   • Entraînement : Les objets sont divisés le long du plan de symétrie ($x=0$), et seule la moitié droite ($x \ge 0$) est utilisée pour l'entraînement.
   • Échantillonnage : Les demi-objets générés sont réfléchis par rapport au plan $x=0$ et concaténés pour reconstruire des formes complètes. Un mécanisme de décalage dynamique est introduit pour empêcher l'effondrement géométrique à la frontière.

Résultats Clés

• Écart de Symétrie : Les modèles actuels de l'état de l'art présentent un « écart de symétrie » constant. Même lorsque les métriques standards (1-NNA, COV) indiquent une performance compétitive, le NSCD des échantillons générés est significativement plus élevé (pire) que la distribution de référence de ShapeNet.
• Données vs Processus : Le réentraînement des modèles sur l'ensemble de données miroirs explicitement symétrisé n'a pas éliminé l'écart. Dans de nombreux cas, les modèles entraînés sur des données miroirs ont encore produit des sorties avec des erreurs de symétrie plus élevées que les données d'entraînement originales, suggérant que l'échec est induit par le processus génératif appris, et non uniquement par les données.
• Constats Mécanistes :
  • Échantillonnage : La réflexion du bruit d'entrée ne produit pas systématiquement une forme de sortie réfléchie, indiquant que le processus de débruitage n'est pas conscient de la symétrie.
  • Espace Latent : Les encodeurs mappent les objets symétriques vers des représentations latentes distantes, échouant à encoder le prior de symétrie de manière cohérente.
• Efficacité de l'Intervention : L'approche d'entraînement sur demi-objets a considérablement amélioré la symétrie sur tous les backbones testés. Les modèles résultants (désignés par 'S-') ont atteint des valeurs NSCD significativement plus faibles (souvent meilleures que la vérité terrain originale de ShapeNet) tout en maintenant une performance compétitive sur les métriques de distribution standards (1-NNA, COV, CD, EMD).
• Limites du Miroir Post-hoc : Une étude d'ablation a montré que le simple fait de diviser et de miroirer les objets générés (post-hoc) duplique souvent les erreurs géométriques locales (par exemple, parties manquantes ou déformations), tandis que l'entraînement sur demi-objets apprend une distribution robuste de géométries partielles.

Signification et Revendications
L'article revendique que la symétrie de réflexion est un prior fort dans les données 3D qui est actuellement négligé par les protocoles d'évaluation standards. Les auteurs soutiennent que :

1. Écart d'Évaluation : Les benchmarks standards sont insuffisants pour évaluer les priors structurels ; un protocole d'évaluation conscient de la symétrie est nécessaire parallèlement à des métriques comme 1-NNA et COV.
2. Échec Génératif : Le manque de symétrie dans les formes générées n'est pas simplement un artefact de données, mais un échec du processus génératif appris à encoder la cohérence structurelle.
3. Remède Simple : Une intervention centrée sur les données (entraînement sur demi-objets) est une méthode simple et agnostique à l'architecture pour imposer la symétrie, produisant des résultats géométriquement cohérents et visuellement plausibles sans sacrifier la diversité de la distribution.
4. Insight Mécaniste : Ce travail démontre l'utilité de l'interprétabilité mécaniste dans la génération 3D, révélant que la rupture de symétrie est visible à la fois dans la dynamique d'échantillonnage et dans l'organisation de l'espace latent.

Les auteurs concluent que les futurs modèles génératifs 3D devraient explicitement incorporer la symétrie comme principe de conception, soit par des stratégies d'entraînement, soit par des contraintes architecturales, afin de garantir l'intégrité physique et sémantique des objets générés.