PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data

PartSAM is het eerste promptbare model voor part-segmentatie dat natief op grote schaal 3D-gegevens is getraind, waardoor het de beperkingen van eerdere 2D-gebaseerde benaderingen overwint en nauwkeurige, open-wereld segmentatie van zowel oppervlakken als interne structuren mogelijk maakt.

De kern

Stel je voor dat je een complexe LEGO-constructie hebt, of misschien een ingewikkeld 3D-gebeeldhouwd beeldje. Je wilt weten: "Wat is hier precies de arm? Waar zit het wiel? En wat is dat ding binnenin dat ik niet direct kan zien?"

Vroeger was dit voor computers een enorme uitdaging. Ze konden het buitenoppervlak zien, maar het was alsof ze door een muur probeerden te kijken om de binnenkant te begrijpen, of ze moesten eerst een heleboel vragen stellen om te raden wat ze zagen.

Deze paper introduceert PartSAM, een nieuwe slimme computerprogramma dat dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "2D-Bril"

Eerder probeerden computers 3D-objecten te begrijpen door naar 2D-afbeeldingen te kijken (zoals foto's van een auto van voren, zijkant en achterkant). Ze probeerden deze foto's dan weer in 3D te plakken.

• De analogie: Dit is alsof je probeert te begrijpen hoe een auto van binnen eruitziet door alleen naar de buitenkant te kijken. Je ziet de wielen en de deuren, maar je ziet de motor of de stoelen niet. Als de auto een gesloten doos is, weet de computer niet wat erin zit.
• Het resultaat: De oude methoden waren vaak verward, zagen alleen de buitenkant, en konden niet goed omgaan met nieuwe, vreemde vormen.

2. De Oplossing: PartSAM (De "3D-Scanner")

PartSAM is anders. Het is niet opgeleid met 2D-foto's, maar heeft miljoenen echte 3D-objecten bestudeerd.

• De analogie: Stel je voor dat je een meester-bakker bent. De oude methoden hebben alleen naar foto's van taarten gekeken. PartSAM heeft echter zelf miljoenen taarten gebakken en uit elkaar gehaald. Hij weet precies hoe een taart van binnen is opgebouwd, zelfs als je er maar één klein stukje van ziet.

3. Hoe werkt het? (De Magische Wijsvinger)

PartSAM heeft een superkracht: Promptability (aansturen via aanwijzingen).

• Interactieve modus: Je klikt met je muis op één punt op een 3D-object (bijvoorbeeld op het wiel van een auto). PartSAM zegt dan direct: "Ah, dat is een wiel!" en kleurt het hele wiel rood. Je hoeft niet te wachten of te twijfelen; het begrijpt direct wat je bedoelt.
• De "Segmenteer Alles"-modus: Je kunt ook zeggen: "Maak maar eens los, ik wil alles zien." Dan splitst PartSAM het object automatisch op in alle logische onderdelen, inclusief de binnenkant die je normaal gesproken niet ziet.

4. De Geheime Ingrediënten

Hoe heeft ze dit zo goed kunnen leren? Zeer slimme trucjes:

• De Twee-Ogen Strategie (Encoder):
  PartSAM heeft twee "hersenen" (of takken) tegelijkertijd.

  1. De ene tak onthoudt wat het al wist van 2D-foto's (zoals een goed geheugen voor vormen).
  2. De andere tak is een nieuwsgierige leerling die zich specialiseert in de diepte en structuur van 3D.
     Samen werken ze perfect: de ene zorgt dat het niet vergeten wordt hoe dingen eruitzien, de andere zorgt dat het de diepte begrijpt.

• De "Model-in-the-Loop" Trainer:
  Om genoeg te leren, hadden ze miljoenen 3D-objecten nodig. Maar mensen hebben geen tijd om alles handmatig te labelen.

  • De analogie: Ze hebben een slimme robot (PartSAM) laten werken als een stagiair. Deze robot kijkt naar rommelige 3D-modellen, maakt een eerste poging om ze op te splitsen, en een andere, nog slimmere versie van de robot kijkt eroverheen en zegt: "Goed zo!" of "Nee, dat is fout, probeer het opnieuw."
  • Door dit proces keer op keer te herhalen, hebben ze een dataset van 5 miljoen perfecte voorbeelden gecreëerd. Het is alsof je een robot laat leren door te spelen, totdat hij een meester is.

5. Waarom is dit belangrijk?

Vroeger waren 3D-modellen vaak statisch en moeilijk aan te passen. Met PartSAM kunnen we:

• AR/VR verbeteren: Als je in virtual reality een stoel wilt verplaatsen, kan de computer direct zien wat het been is en wat het zitvlak, zonder dat je het handmatig moet uitzoeken.
• Robotica: Robots kunnen beter begrijpen hoe ze een object moeten vastpakken of in elkaar zetten.
• Creativiteit: Ontwerpers kunnen snel onderdelen van een 3D-model wijzigen (bijvoorbeeld: "Maak de wielen van deze auto rood" of "Verwijder de motor").

Kortom: PartSAM is de eerste computer die 3D-objecten echt "voelt" en begrijpt, net zoals wij dat doen, in plaats van alleen naar de oppervlakte te kijken. Het is alsof we een bril hebben opgezet die ons laat zien wat er echt in de wereld om ons heen zit, inclusief de binnenkant.

Technische samenvatting

Probleemstelling

Het segmenteren van 3D-objecten in hun samenstellende delen is een fundamentele uitdaging in computer vision. Bestaande methoden kampen met twee hoofdproblemen:

1. Beperkte Generalisatie: Traditionele modellen worden getraind op kleine, gesloten datasets met vooraf gedefinieerde taxonomieën (bijv. alleen stoelonderdelen zoals poten en rugleuning). Ze falen bij onbekende objecten of nieuwe definities van "delen".
2. Afhankelijkheid van 2D-gebaseerde methoden: Recentere "open-world" benaderingen proberen kennis over te dragen van 2D-foundation modellen (zoals SAM - Segment Anything Model) door multi-view maskers naar 3D te "liftten". Dit leidt echter tot:
   • Een oppervlakkig begrip dat de intrinsieke 3D-geometrie en interne structuren mist.
   • Gebrek aan controleerbaarheid (vaak gebaseerd op clustering zonder duidelijke gebruikersinvoer).
   • Inefficiëntie door tijdrovende per-object optimalisatie.

Methodologie: PartSAM

PartSAM is het eerste promptbare 3D-deelsegmentatiemodel dat natiu (native) op grote schaal 3D-data is getraind, in plaats van afhankelijk te zijn van 2D-projecties. De architectuur en aanpak omvatten:

1. Architectuur (Encoder-Decoder)

• Dual-Branch Encoder: Het model gebruikt een encoder die 3D-vormen omzet in een continue triplane feature field.
  • Branch 1 (Frozen): Behoudt de sterke 2D-priors van SAM, geleerd via contrastief leren. Dit zorgt voor robuustheid.
  • Branch 2 (Learnable): Wordt getraind op de native 3D-data en accepteert extra attributen zoals normaalvectoren en RGB-kleuren (via een Zero Convolution layer) om lokale details beter te vangen.
  • De uitgangen worden samengevoegd om een rijke, part-bewuste representatie te vormen.
• Prompt-Guided Decoder: Net als in SAM, gebruikt de decoder een twee-weg transformer.
  • Gebruikersinvoer (prompts) bestaat uit punten (positief of negatief) die worden omgezet in embeddings.
  • Speciale tokens (Output Token en IoU Token) genereren meerdere kandidaat-maskers en schatten de kwaliteit (IoU) van deze maskers in.
  • Dit maakt interactieve segmentatie mogelijk: een gebruiker klikt op een punt en het model voorspelt direct het bijbehorende deel.

2. Data Curation: Model-in-the-Loop
Om de schaal van training te vergroten (van enkele duizenden naar miljoenen voorbeelden), hebben de auteurs een geautomatiseerde pipeline ontwikkeld:

• Fase 1: Extractie van part-labels uit bestaande datasets (zoals Objaverse) via kunstenaars-annotaties en verbonden componenten.
• Fase 2 (Model-in-the-Loop): Voor sterk gefragmenteerde assets (waar automatische componenten geen semantische delen vormen), wordt een vooraf getraind PartSAM-model gebruikt om de output van een ander model (PartField) te filteren.
  • Het model simuleert interactieve segmentatie. Als een gegenereerd masker een hoge IoU bereikt met de ground truth (of pseudo-labels) na enkele iteraties, wordt het als geldig label behouden.
  • Dit proces heeft een dataset van 5 miljoen 3D-vorm-part-paren opgeleverd.

3. Automatische Segmentatie ("Segment Every Part")
Na training heeft het model de emergente vaardigheid om volledige vormen automatisch te decomponeren zonder prompts. Dit gebeurt door:

• Steekproeven van punten over het object.
• Genereren van kandidaat-maskers.
• Toepassen van Non-Maximum Suppression (NMS) op basis van de voorspelde IoU-scores om redundante maskers te verwijderen.

Belangrijkste Bijdragen

1. Eerste Native 3D Foundation Model: PartSAM is het eerste feed-forward model dat direct op grote schaal 3D-data is getraind voor part-segmentatie, waardoor het vrij is van de beperkingen van 2D-lifting.
2. Schalbare Dual-Branch Encoder: Een innovatieve architectuur die 2D-kennis (SAM) combineert met 3D-native representatie, waardoor schaalbaarheid en generalisatie worden gebalanceerd.
3. Grote Schaal Data Pipeline: Een model-in-the-loop annotatieproces dat de training dataset schaalt naar miljoenen paren, wat essentieel is voor open-world generalisatie.
4. Interactieve en Automatische Modaliteiten: Het model ondersteunt zowel precieze interactieve segmentatie (via één klik) als volledige automatische decompositie van complexe 3D-modellen, inclusief interne structuren.

Resultaten

PartSAM presteert significant beter dan de state-of-the-art (SOTA) methoden op meerdere benchmarks:

• Interactieve Segmentatie: Op de PartObjaverse-Tiny en PartNet-E datasets overtreft PartSAM Point-SAM met een enorme marge. Met slechts één prompt bereikt het een 91% relatieve verbetering in IoU (Intersection over Union) ten opzichte van Point-SAM.
• Automatische Segmentatie: PartSAM behaalt de hoogste scores in "Segment Every Part" taken, met een verbetering van meer dan 20% IoU ten opzichte van de tweede beste methode (zoals PartField of SAMesh).
• Generalisatie: Het model werkt uitstekend op AI-genererde mesh-modellen en objecten met complexe interne structuren (bijv. stoelen met poten, auto's met interieurs), waar 2D-gebaseerde methoden vaak falen omdat ze geen zicht hebben op het binnenste.
• Schaalbaarheid: Experimenten tonen aan dat de prestaties lineair verbeteren naarmate de trainingsdata toeneemt (van 40k naar 500k vormen), wat de effectiviteit van native 3D-supervisie bevestigt.

Betekenis en Impact

Deze studie markeert een decisive stap in de evolutie van 3D-gebaseerde foundation modellen.

• Van 2D naar 3D: Het bewijst dat het direct trainen op native 3D-data superieur is aan het "liftten" van 2D-modellen, vooral voor het begrijpen van geometrie en interne structuren.
• Toepassingen: PartSAM opent de deur voor geavanceerde toepassingen in AR/VR, robotica (manipulatie van specifieke delen), en 3D-content creatie, waarbij gebruikers of systemen flexibel en nauwkeurig met 3D-objecten kunnen interageren.
• Toekomst: Het legt de basis voor toekomstig onderzoek naar nog generaliseerbaardere 3D-perceptiemodellen die niet langer beperkt zijn tot gesloten taxonomieën.