FACE: A Face-based Autoregressive Representation for High-Fidelity and Efficient Mesh Generation

Probleemstelling

Bestaande autoregressieve modellen voor de generatie van 3D-meshes (driehoeksnetwerken) lijden onder een fundamentele beperking: ze behandelen een mesh als een lange sequentie van individuele vertex-coördinaten.

• Bottleneck: Omdat een mesh uit duizenden driehoekige gezichten (faces) bestaat, en elk gezicht uit 3 vertices met elk 3 coördinaten (x, y, z), resulteert dit in zeer lange token-sequenties (9 tokens per gezicht).
• Gevolg: De zelf-attentie-mechanismen van Transformers hebben een rekencomplexiteit van $O(N^2)$ ten opzichte van de sequentielengte. Dit maakt de generatie van hoogwaardige, hoge-resolutie geometrie computationally prohibitive (te duur in tijd en rekenkracht).
• Huidige oplossingen: Bestaande compressiestrategieën (zoals complexe traversatie-algoritmen of blok-indexering) lossen het symptoom (lange sequenties) op, maar niet de onderliggende oorzaak: het werken op het verkeerde semantische niveau (vertex-niveau in plaats van gezichtsniveau).

Methodologie: FACE Framework

De auteurs introduceren FACE (Face-based Autoregressive Representation), een nieuw Autoregressief Auto-Encoder (ARAE)-framework dat het generatieproces reconceptualiseert door te werken op het niveau van gezichten (faces) in plaats van individuele vertices.

1. Kernstrategie: "One-Face-One-Token"

• In plaats van een gezicht te ontleden in 9 afzonderlijke coördinaat-tokens, wordt elk driehoekig gezicht behandeld als één enkel, uniek token.
• Een gezicht $f_i$ wordt gedefinieerd als een 9-dimensionale vector van de coördinaten van zijn drie vertices: $f_i = (v_0, v_1, v_2) \in \mathbb{R}^9$.
• Een lichte embedding-laag projecteert deze 9D-vector naar één token.
• Impact: Dit vermindert de sequentielengte met een factor 9, wat leidt tot een theoretische reductie in rekenkosten van $9^2 = 81$ keer voor de zelf-attentie-laag.

2. Architectuur

Het framework bestaat uit twee hoofdcomponenten:

• Shape Encoder (VecSet):
  • Gebruikt een krachtige encoder (gebaseerd op 3DShape2VecSet) om een invoer-puntwolk (point cloud) te comprimeren tot een compacte, globale latente representatie $C$ (een VecSet).
  • Dit zorgt voor een robuuste context voor de decoder.
• Autoregressieve Face Decoder:
  • Genereert de mesh gezicht voor gezicht, conditioneel op de latente VecSet $C$.
  • Face Embedding: Projecteert elk grondwaarheids-gezicht naar een token.
  • Transformer Decoder: Gebruikt Causal Self-Attention voor de lokale structuur van de mesh en Cross-Attention met de globale VecSet $C$ om de globale vorm te behouden.
  • CausalMLP Head: Ontkoopt het latente gezichtstoken terug naar de 9 gekwantiseerde coördinaten. Belangrijk: dit gebeurt ook autoregressief binnen het gezicht (coördinaat $j$ is afhankelijk van $j-1$), wat beter presteert dan parallelle voorspelling.

3. Training en Diffusie

• Training: Het model wordt end-to-end getraind om de reconstructieverlies (cross-entropy) over de gekwantiseerde coördinaten te minimaliseren.
• Image-to-Mesh: De auteurs tonen aan dat de geleerde latente ruimte semantisch betekenisvol is. Ze trainen een Latent Diffusion Model (DiT) op de VecSet-representaties, wat mogelijk maakt om hoogwaardige meshes te genereren vanuit een enkele inputafbeelding.

Belangrijkste Bijdragen

1. Nieuw Paradigma: Introductie van FACE, een framework dat mesh-generatie herdefinieert via de "one-face-one-token" strategie.
2. Record Compressie: Bereiking van een compressieverhouding van 0.11 (sequentielengte ten opzichte van de baseline van 1 token per coördinaat). Dit is een verdubbeling van de efficiëntie ten opzichte van de vorige state-of-the-art (0.22).
3. State-of-the-Art Kwaliteit: Het bereiken van de beste reconstructiekwaliteit op meerdere benchmarks zonder in te leveren op detail, ondanks de drastische efficiëntiewinst.
4. Veelzijdigheid: Validatie van de latente ruimte door succesvolle single-image-to-mesh generatie, wat aantoont dat het model een fundamentele en generaliseerbare representatie van 3D-vormen heeft geleerd.

Resultaten

• Efficiëntie: FACE reduceert de sequentielengte met een factor 9, wat leidt tot een enorme daling in rekenkosten en geheugengebruik.
• Reconstructie: Op datasets zoals Objaverse, Toys4K en Famous overtreft FACE alle bestaande autoregressieve methoden (zoals MeshGPT, MeshAnythingV2, BPT, TreeMeshGPT) significant op zowel Hausdorff Distance (worst-case afwijking) als Chamfer Distance (gemiddelde nabijheid).
  • Voorbeeld: Op de Toys4K-dataset verlaagt FACE de Hausdorff-fout van 0.091 (beste concurrent) naar 0.067.
• Kwaliteit: Visuele vergelijkingen tonen aan dat FACE scherpere randen, minder topologische fouten (gaten, onvolledige componenten) en betere details produceert dan concurrenten.
• Schaalbaarheid: Een groter model (1.2B parameters) met hogere resolutie kwantisatie ([0, 1023]) toont aan dat het framework schaalbaar is voor nog complexere geometrieën.

Betekenis en Conclusie

FACE biedt een eenvoudige maar krachtige oplossing voor het fundamentele probleem van de rekenkosten in autoregressieve 3D-generatie. Door de semantische schaal te verhogen van "vertex" naar "gezicht", doorbreken de auteurs de $O(N^2)$ bottleneck zonder de kwaliteit te offeren.

Dit werk opent de deur voor:

• Efficiënte generatie van zeer hoge-resolutie meshes.
• Betere integratie van 3D-generatie in multi-modale workflows (zoals image-to-3D).
• Een nieuwe standaard voor directe mesh-generatie die minder afhankelijk is van post-processing of indirecte methoden (zoals Marching Cubes).

De paper concludeert dat FACE een solide fundament legt voor toekomstig onderzoek in gestructureerde 3D-content creatie, hoewel beperkingen blijven bestaan bij extreem fijne structuren die slecht worden gesampled in de input-puntwolk.