Technische Samenvatting: MeshFlow: Meshgeneratie met Equivariante Flow Matching

Probleemstelling

Het direct genereren van hoogwaardige 3D-meshes is een aanzienlijke uitdaging in computergraphics vanwege de complexe structurele eigenschappen van mesh-representaties. In tegen tegenstelling tot puntenwolken of impliciete functies bevatten meshes inherente symmetrieën, specifiek de permutatie-invariantie van gezichten en de permutatie-invariantie van vertices binnen elk gezicht. Bestaande benaderingen kampen met duidelijke beperkingen:

• Tweestaps-pipelines: Methoden die tussenliggende representaties genereren (bijv. puntenwolken, voxels, impliciete functies) en deze vervolgens omzetten naar meshes, lijden vaak aan artefacten zoals over-tessellatie of het verlies van scherpe kenmerken, waardoor ze de intentionele tessellatie van door artiesten vervaardigde meshes niet kunnen nabootsen.
• Auto-regressieve modellen: Hoewel recente werken (bijv. MeshGPT, MeshXL) direct meshes genereren met hoge kwaliteit, worden ze gehinderd door trage inferentiesnelheden, moeilijkheden bij het controleren van de generatie en foutaccumulatie over lange sequenties.
• Standaard Diffusion/Flow Matching: De directe toepassing van diffusiemodellen op meshes heeft moeite gehad om de kwaliteit van auto-regressieve methoden te evenaren, voornamelijk omdat eerdere methoden er niet in slagen de inherente symmetrieën van gezichten en vertices rekening te houden, wat leidt tot inefficiënte training en suboptimale generatie.

Methodologie

De auteurs stellen MeshFlow voor, een generatief model dat leert om direct driehoeksmeshes te produceren uit menselijk gecureerde datasets met behulp van equivariante optimal-transport flow matching. De methode werkt op een triangle soup representatie, waarbij een mesh wordt gedefinieerd als een verzameling ongeordende driehoekige gezichten, die elk drie ongeordende vertices bevatten.

1. Representatie en Symmetrieën

Het model behandelt de mesh als een verzameling $x = \{f_1, \dots, f_N\}$ waarbij elk gezicht $f_i$ bestaat uit drie vertices. Deze representatie vertoont twee niveaus van permutatiesymmetrie:

• Gezichtsniveau: De verzameling van $N$ driehoeken kan willekeurig gepermuteerd worden (Symmetrische groep $S_N$).
• Vertexniveau: De volgorde van de drie vertices binnen elk individueel driehoekig gezicht is irrelevant (Symmetrische groep $S_3$).
  De gecombineerde symmetriegroep is het wreept product $G = S_3 \wr S_N$.

2. Equivariante Architectuur

Om deze symmetrieën te respecteren, passen de auteurs de standaard Diffusion Transformer (DiT) architectuur aan naar een Equivariante DiT (EquiDiT):

• Vertex Embedder: Encodeert vertex-coördinaten met behulp van sinusvormige positionele codering (vergelijkbaar met NeRF).
• Equivariant DiT Block: In plaats van self-attention toe te passen op alle $3N$ vertices (wat computationeel duur en te restrictief is), aggregeert het model vertex-features binnen elk gezicht via mean pooling om face-features te creëren.
  • Face Self-Attention: Een standaard self-attention laag verwerkt de verzameling face-features zonder positionele codering.
  • Vertex Restauratie: De ge-attendeerde face-features worden toegevoegd aan de oorspronkelijke vertex-embeddings om vertex-niveau equivariantie te behouden.
  • Feed-Forward Network (FFN): Een twee-laags FFN verwerkt elk vertex-feature onafhankelijk.
• Face Conditioning: Om variabele mesh-resoluties te kunnen afhandelen, is het netwerk expliciet geconditioneerd op het doel aantal gezichten via een embedding die wordt toegevoegd aan de Adaptive LayerNorm (adaLN) parameters.

3. Symmetrie-bewuste Trainingsdoelen

Het model maakt gebruik van Optimal Transport (OT) Flow Matching om een rechte snelheidveld te definiëren tussen ruis en data.

• Geneste Koppeling: Standaard flow matching gebruikt vaak onafhankelijke koppeling tussen ruis en data. MeshFlow introduceert een geneste koppeling strategie die de transportkosten minimaliseert door de optimale groepswerking $g \in G$ te vinden die de ruis-sample $x_0$ uitlijnt met de doel-data $x_1$.
  • Dit omvat het oplossen van een lineair toewijzingsprobleem (met behulp van het Hongaarse algoritme) om gezichten te matchen ($S_N$) en vervolgens de optimale vertex-permutatie binnen elk gematcht gezicht te vinden ($S_3$).
  • De kostenfunctie wordt gedefinieerd als $C(x_0, x_1) = \min_{g \in G} \|x_1 - g \cdot x_0\|^2$.
• Loss Functie: Het model wordt getraind om het constante snelheidveld $u_t = x_1 - \tilde{x}_0$ te voorspellen, waarbij $\tilde{x}_0$ de ruis-sample is na het toepassen van de optimale groepswerking. Dit elimineert trainingssignalen die symmetrieën schenden en resulteert in rechtlijniger integratiepaden.

4. Post-processing

Omdat de continue output van het flow matching model clusters van bijna samenvallende vertices kan bevatten, wordt een tweestaps post-processing pipeline toegepast:

1. Neurale Denoiser: Een lichtgewicht netwerk dat getraind is om Gaussische ruis uit meshes te verwijderen, toegepast op de ruwe output om laag-niveau geometrische artefacten te corrigeren.
2. Clustering en Deduplicatie: Vertices binnen een drempelafstand (0.015) worden samengevoegd, en identieke gezichten worden verwijderd om een schone manifold mesh te produceren.

Belangrijkste Bijdragen

1. Nieuw Mesh Generatie Framework: De eerste methode die equivariante optimal-transport flow matching direct toepast op triangle soup representaties, waardoor de noodzaak voor tussenliggende representaties of auto-regressieve sequencing wordt omzeild.
2. Equivariante DiT Architectuur: Een schaalbare netwerkmodificatie die zowel face-level als vertex-level permutatie-invarianties respecteert, wat efficiënte modellering van het snelheidveld mogelijk maakt zonder symmetrie te breken.
3. Geneste Optimal Transport Loss: Een trainingsdoel dat ruis en data koppelt via een geneste permutatiestrategie (gezichten en vertices), wat de OT-kosten aanzienlijk vermindert en training stabiliseert.
4. Efficiëntie en Kwaliteit: De aanpak bereikt een state-of-the-art meshkwaliteit die vergelijkbaar is met auto-regressieve modellen, terwijl het een aanzienlijke versnelling biedt.

Resultaten

Experimenten werden uitgevoerd op vier ShapeNet categorieën (Chair, Table, Bench, Lamp).

• Kwaliteit: MeshFlow bereikt 1-Nearest Neighbor Accuracy (1-NNA) scores die vergelijkbaar met of beter zijn dan state-of-the-art auto-regressieve modellen (MeshXL, MeshGPT, PolyGen). Bijvoorbeeld, op de Chair categorie behaalde MeshFlow een 1-NNA van 54.51, waarmee het MeshXL (55.32) net versloeg en de diffusion baselines zoals PolyDiff (79.91) aanzienlijk overtrof.
• Topologische Kwaliteit: De methode produceert meshes met aanzienlijk minder zelf-intersecties vergeleken met andere diffusie-gebaseerde benaderingen. Post-processing vermindert de zelf-intersectie ratio ($R_i$) verder met ongeveer 56%.
• Inferentiesnelheid: MeshFlow genereert hoogwaardige meshes in minder dan één seconde (0.877s), wat een 18.55× versnelling betekent ten opzien van de traagste auto-regressieve baselines (bijv. MeshXL bij 28.9s).
• Ablatie Studies: Het verwijderen van de equivariante architectuur of de geneste koppeling leidt tot een gedegradeerde prestatie en tragere convergentie, wat de noodzaak van beide componenten bevestigt.

Betekenis

Het artikel beweert dat MeshFlow het potentieel van equivariante flow matching aantoont om de beperkingen van zowel tweestaps-pipelines als auto-regressieve modellen te overwinnen. Door de symmetrieën die inherent zijn aan mesh-data expliciet te modelleren, bereikt de aanpak sub-seconde inferentiesnelheden zonder in te boeten op de hoge getrouwheid en de intentionele tessellatiekwaliteit die vereist is voor interactieve computergraphics-toepassingen. Het werk suggereert dat het respecteren van datasymmetrieën een cruciale factor is voor het succesvol toepassen van diffusie-gebaseerde methoden op complexe geometrische structuren.