SegviGen: Repurposing 3D Generative Model for Part Segmentation

Probleemstelling

Bestaande methoden voor 3D-deelsegmentatie (het opsplitsen van 3D-objecten in hun onderdelen, zoals wielen van een auto of poten van een stoel) kampen met twee fundamentele beperkingen:

1. 2D-naar-3D lifting: Methodes die sterke 2D-segmentatiepriors (zoals SAM) naar 3D proberen te verplaatsen via distillatie of het samenvoegen van maskers uit meerdere weergaven, lijden vaak onder inconsistenties tussen verschillende hoeken en onscherpe randen. Ze vereisen ook aanzienlijke rekentijd.
2. Native 3D-discriminatie: Methodes die direct in de 3D-ruimte segmenteren, vereisen doorgaans enorme hoeveelheden handmatig geannoteerde 3D-data. Het verzamelen van deze data is duur, en de annotatiestandaarden (granulariteit en hiërarchie) zijn vaak inconsistent tussen verschillende datasets, wat de generalisatie beperkt.

Er is dus een behoefte aan een methode die hoge kwaliteit en scherpe randen levert zonder de afhankelijkheid van massale, gespecificeerde 3D-annotaties.

Methodologie: SegviGen

SegviGen is een unificerend framework dat bestaande, voorgetrainde 3D-generatieve modellen "hergebruikt" voor segmentatietaken. In plaats van een nieuw model te trainen dat direct segmentatieklassen voorspelt, wordt het probleem herschreven als een kleuringsopdracht (colorization task).

Kernprincipes:

• Reformulering als Kleuring: Segmentatie wordt gezien als het voorspellen van "part-indicative kleuren" (kleuren die een specifiek onderdeel aanduiden) voor actieve voxels in een gestructureerde 3D-representatie. Omdat 3D-generatieve modellen al zijn getraind op het genereren van geometrie en textuur (kleur), kan dit voorkennis worden benut.
• Architectuur: Het framework gebruikt een Sparse Compression VAE (SC-VAE) om 3D-objecten te coderen naar een compacte latente ruimte. Daarbovenop wordt een Flow-Matching Generator (gebaseerd op een Diffusion Transformer) gebruikt.
• Unified Multi-Task Framework: Het model ondersteunt drie scenario's in één architectuur door middel van conditionering:
  1. Interactieve segmentatie: De gebruiker klikt op punten; het model kleurt het geselecteerde onderdeel wit en de rest zwart.
  2. Volledige segmentatie: Het model verdeelt het object in meerdere onderdelen, elk met een unieke kleur uit een willekeurige palet.
  3. Volledige segmentatie met 2D-gids: Het model gebruikt een 2D-segmentatiemap als extra input om de granulariteit en labels te sturen.
• Conditionering:
  • Interactie: Gebruikersklikken worden gecodeerd als "point tokens" (coördinaten + leerbare feature vector) en ingebracht in de denoising-proces.
  • Taak-embeddings: Een continue embedding codeert welk type taak er wordt uitgevoerd (interactief vs. volledig), zodat één model alle scenario's aankan.
• Training: Het model wordt getraind op een kleine dataset (PartVerse) om de noise-residual te voorspellen in de flow-matching loss, waarbij het de geometrie reconstrueert en tegelijkertijd de part-kleuren voorspelt.

Belangrijkste Bijdragen

1. Nieuwe Paradigma: Het introduceren van een generatieve aanpak voor 3D-segmentatie door het probleem te herschrijven als een kleuringstaak, waardoor de rijke structurele en textuurpriors van grote 3D-generatieve modellen (zoals TRELLIS2) worden benut.
2. Unified Framework: Een enkel model dat interactieve, volledige en 2D-gestuurde segmentatie ondersteunt, wat flexibiliteit biedt voor verschillende downstream-toepassingen.
3. Data-efficiëntie: Het bewijzen dat voorgetrainde generatieve priors effectief kunnen worden overgebracht naar segmentatie met slechts 0,32% van de hoeveelheid gelabelde trainingsdata die nodig is voor state-of-the-art discriminatieve methoden.
4. Superieure Randkwaliteit: Door gebruik te maken van de inherente structuur van generatieve modellen, worden scherpere partgrenzen bereikt in vergelijking met 2D-naar-3D lifting methoden.

Resultaten

SegviGen presteert aanzienlijk beter dan de huidige state-of-the-art methoden (zoals P3-SAM, Point-SAM, SAMPart3D) op zowel interactieve als volledige segmentatie-taken:

• Interactieve Segmentatie:
  • Op de PartObjaverse-Tiny dataset behaalt SegviGen een IoU@1 van 42,49%, een verbetering van ongeveer 17,6% ten opzichte van Point-SAM en 9,4% ten opzichte van P3-SAM.
  • Op PartNeXT wordt een IoU@1 van 54,86% bereikt (een verbetering van 31% ten opzichte van Point-SAM).
  • Dit toont aan dat het model een sterk begrip heeft van 3D-partstructuren en al met één klik goede resultaten levert.
• Volledige Segmentatie (zonder 2D-gids):
  • SegviGen verbetert de state-of-the-art met 15% in overall IoU.
  • Het toont robuustere generalisatie op nieuwe datasets (zoals PartNeXT) waar andere methoden (zoals SAMPart3D) in prestaties instorten.
• Met 2D-gids:
  • Wanneer een 2D-segmentatiemap wordt gebruikt als gids, bereikt het model nieuwe state-of-the-art resultaten (bijv. 71,53% IoU op PartNeXT), wat de mogelijkheid bewijst voor controleerbare, ultra-fijne segmentatie.

Betekenis en Impact

SegviGen markeert een belangrijke verschuiving in het veld van 3D-perceptie. Het demonstreert dat generatieve priors een krachtiger bron van kennis kunnen zijn voor discriminatieve taken (zoals segmentatie) dan het trainen van specifieke modellen van scratch op beperkte data.

De implicaties zijn groot voor:

• 3D Content Creatie: Het maakt nauwkeurige part-level bewerkingen, animatie-rigging en industriële toepassingen (zoals 3D-printen) haalbaarder.
• Data-efficiëntie: Het vermindert de afhankelijkheid van dure, handmatige 3D-annotaties, wat de drempel voor het ontwikkelen van robuuste 3D-vision systemen verlaagt.
• Kwaliteit: Het lost het probleem van onscherpe randen en inconsistente maskers op dat veel 2D-naar-3D methodes plagen, door gebruik te maken van de inherente geometrische coherentie van generatieve modellen.

Kortom, SegviGen toont aan dat het "hergebruiken" van grote generatieve modellen een efficiënte en hoogwaardige route is voor geavanceerde 3D-deelsegmentatie.