Symmetry Matters: Auditing and Symmetrizing 3D Generative Models

Technische Samenvatting: Symmetrie is van Belang: Audit en Symmetrisatie van 3D Generatieve Modellen

Probleemstelling
Symmetrie is een fundamentele geometrische prior die alomtegenwoordig is in natuurlijke en kunstmatige objecten, en dient als een cruciale aanwijzing voor menselijke waarneming en als structurele beperking in taken van computervisie. Ondanks de prevalentie van reflectiesymmetrie in veelgebruikte 3D-datasets zoals ShapeNet, beoordelen standaard benchmarks voor 3D-generatieve modellen (met evaluatiemetrics zoals Coverage, 1-NNA, CD en EMD) zelden of deze prior behouden blijft in gegenereerde output. De auteurs stellen dat huidige modellen concurrerende scores kunnen behalen op standaard metrics terwijl ze falen in het handhaven van structurele consistentie, specifiek reflectiesymmetrie. De kernvraag is of huidige 3D-generatieve modellen de symmetrie in hun trainingsdata behouden, en zo niet, of dit falen voortkomt uit data-ongebrekkigheden, steekproefruis of het geleerde generatieve proces zelf.

Methodologie
Het artikel hanteert een meerfasige aanpak om symmetriefouten te auditeren, te diagnosticeren en te verhelpen bij onvoorwaardelijke generatie van puntswolken:

1. Symmetrie-audit en -meting:

   • De auteurs introduceren een Genormaliseerde Symmetriescore gebaseerd op Chamfer-afstand (NSCD). Deze metric kwantificeert reflectiesymmetrie door de CD te berekenen tussen een object en zijn reflectie over het vlak $x=0$, genormaliseerd door het kwadraat van de diagonaal van de omhullende doos van het object om schaal-invariantie te garanderen.
   • Ze auditeren acht representatieve 3D-generatieve modellen (waaronder DPM, PVD, LION, DiT-3D, XCube, SLIDE 3D en SPVD-varianten) die getraind zijn op ShapeNet.

2. Gecontroleerde datasetverificatie:

   • Om te bepalen of de symmetriegap wordt geërfd van de data, construeren de auteurs een dataset met gespiegelde objecten. Dit omvat het nemen van ShapeNet-objecten, het concateneren ervan met hun reflecties, en het hersampelen om een expliciet gesymmetriseerde verdeling te creëren.
   • Modellen worden hergetraind op deze gespiegelde dataset om te observeren of een sterkere symmetrie-prior in de data leidt tot betere symmetriebehoud in de generatie.

3. Mechanistische interpretabiliteitsinspectie:

   • De auteurs passen technieken voor mechanistische interpretabiliteit toe om te diagnosticeren waar symmetriebreking optreedt binnen de pijplijn.
   • Steekproefniveau: Voor op diffusie gebaseerde modellen testen ze of het reflecteren van de initiële Gaussische ruis resulteert in een gereflecteerde uiteindelijke vorm. Ze meten de NSCD tussen de generatie uit originele ruis en de generatie uit gereflecteerde ruis.
   • Latent niveau: Voor modellen met encoders (bijv. LION) meten ze de genormaliseerde Euclidische afstand tussen de latente codes van een object en zijn reflectie. Een grote afstand geeft aan dat de encoder symmetrische invoer niet als equivalent behandelt.

4. Data-gestuurde interventie:

   • In plaats van architecturen of verliesfuncties te wijzigen, stellen de auteurs een trainingsstrategie met halve objecten voor.
   • Training: Objecten worden gesplitst langs het symmetrievlak ($x=0$), en alleen de rechterhelft ($x \ge 0$) wordt gebruikt voor training.
   • Steekproef: Gegenereerde halve objecten worden gespiegeld over het vlak $x=0$ en geconcateneerd om volledige vormen te reconstrueren. Een dynamisch verschuivingsmechanisme wordt geïntroduceerd om geometrische instorting aan de grens te voorkomen.

Belangrijkste Resultaten

• Symmetriegap: Huidige state-of-the-art modellen vertonen een consistente "symmetriegap". Zelfs wanneer standaard metrics (1-NNA, COV) concurrerende prestaties aangeven, is de NSCD van gegenereerde steekproeven significant hoger (slechter) dan de ground-truth ShapeNet-verdeling.
• Data versus Proces: Het hertrainen van modellen op de expliciet gesymmetriseerde gespiegelde dataset elimineerde de gap niet. In veel gevallen produceerden de modellen die getraind waren op gespiegelde data nog steeds output met hogere symmetriefouten dan de originele trainingsdata, wat suggereert dat het falen wordt veroorzaakt door het geleerde generatieve proces, niet alleen door de data.
• Mechanistische bevindingen:
  • Steekproef: Het reflecteren van de invoerruis produceert niet consequent een gereflecteerde outputvorm, wat aangeeft dat het denoising-proces niet bewust is van symmetrie.
  • Latente ruimte: Encoders mapping symmetrische objecten naar verre latente representaties, waardoor ze niet in staat zijn de symmetrie-prior coherent te coderen.
• Effectiviteit van interventie: De trainingsbenadering met halve objecten verbeterde de symmetrie aanzienlijk voor alle geteste backbones. De resulterende modellen (aangeduid met 'S-') bereikten significant lagere NSCD-waarden (vaak beter dan de originele ShapeNet ground truth) terwijl ze concurrerende prestaties behielden op standaard distributie-metrics (1-NNA, COV, CD, EMD).
• Beperkingen van post-hoc spiegeling: Een ablatiestudie toonde aan dat het simpelweg splitsen en spiegelen van gegenereerde objecten (post-hoc) vaak lokale geometrische fouten dupliceert (bijv. ontbrekende delen of vervormingen), terwijl het trainen op halve objecten een robuuste verdeling van partiële geometrieën leert.

Betekenis en Claims
Het artikel claimt dat reflectiesymmetrie een sterke prior is in 3D-data die momenteel wordt over het hoofd gezien door standaard evaluatieprotocollen. De auteurs betogen dat:

1. Evaluatiegap: Standaard benchmarks onvoldoende zijn voor het beoordelen van structurele prioren; een symmetrie-bewust evaluatieprotocol is noodzakelijk naast metrics zoals 1-NNA en COV.
2. Generatief falen: Het gebrek aan symmetrie in gegenereerde vormen is niet louter een data-artefact, maar een falen van het geleerde generatieve proces om structurele consistentie te coderen.
3. Eenvoudig middel: Een data-gestuurde interventie (trainen op halve objecten) is een eenvoudige, architecture-onafhankelijke methode om symmetrie af te dwingen, wat geometrisch consistente en visueel plausibele resultaten oplevert zonder distributie-diversiteit op te offeren.
4. Mechanistisch inzicht: Het werk toont het nut van mechanistische interpretabiliteit in 3D-generatie, en onthult dat symmetriebreking zichtbaar is in zowel steekproefdynamiek als organisatie van de latente ruimte.

De auteurs concluderen dat toekomstige 3D-generatieve modellen symmetrie expliciet moeten incorporeren als een ontwerpprincipe, hetzij via trainingsstrategieën of architecturale beperkingen, om de fysieke en semantische integriteit van gegenereerde objecten te waarborgen.