PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data

Das Papier stellt PartSAM vor, das erste promptbare Modell für die 3D-Teilesegmentierung, das durch eine native Triplane-Architektur und eine neuartige Annotation auf über fünf Millionen 3D-Formen erstmals überlegene, taxonomiefreie Ergebnisse sowohl für Oberflächen- als auch für innere Strukturen erzielt.

Das Wesentliche

Stell dir vor, du hast einen riesigen, komplexen 3D-Drachen aus Papier. Wenn du ihn auf den Tisch legst, siehst du nur die Außenhaut. Aber was ist mit dem Inneren? Wo sind die Knochen? Wo sind die Flügel, die sich bewegen lassen?

Bisher war es für Computer extrem schwierig, solche 3D-Objekte nicht nur zu „sehen", sondern auch zu verstehen und in ihre sinnvollen Teile zu zerlegen – und das ohne vorher zu wissen, was für ein Objekt es ist.

Das neue Papier stellt PartSAM vor. Hier ist die Erklärung, wie es funktioniert, ohne technisches Fachchinesisch:

1. Das Problem: Der „Fotografen-Trick"

Früher haben Computer versucht, 3D-Objekte zu verstehen, indem sie viele 2D-Fotos davon machten (wie ein Fotograf, der um ein Objekt herumgeht). Sie haben dann gelernt, was auf den Fotos zu sehen ist, und versucht, das auf das 3D-Modell zu übertragen.

Das Problem dabei: Ein Fotograf sieht nur die Haut. Er sieht nicht, was innerhalb des Objekts ist. Wenn du einen Stuhl hast, sieht der Fotograf die Beine, aber er weiß nicht, dass die Beine auch unter dem Sitz versteckt sind, wenn man von oben schaut. Das führte zu ungenauen Ergebnissen, besonders bei künstlich generierten 3D-Modellen (wie sie KI oft erstellt), die keine klaren „Fotos" haben.

2. Die Lösung: PartSAM – Der „3D-Architekt"

PartSAM ist wie ein genialer 3D-Architekt, der das Objekt von innen heraus versteht, nicht nur von außen.

• Keine Fotos, sondern direkte Erfahrung: Statt Fotos zu schauen, hat PartSAM direkt mit Millionen von echten 3D-Modellen trainiert. Es hat gelernt, wie ein Auto, ein Stuhl oder ein Roboter wirklich aufgebaut sind, inklusive der Teile, die man von außen gar nicht sieht.
• Der „Wackel-Finger"-Effekt (Promptable): Stell dir vor, du zeigst mit dem Finger auf einen Teil des Objekts (z. B. auf das Lenkrad eines Autos). PartSAM versteht sofort: „Ah, du meinst das Lenkrad!" und hebt genau diesen Bereich hervor. Du musst nicht alles von vorne bis hinten erklären; ein kleiner Tipp reicht.
• Der „Alles-zerlegen"-Modus: Wenn du nichts tippst, kann PartSAM auch automatisch das ganze Objekt in seine Bestandteile zerlegen. Es trennt das Lenkrad vom Sitz, den Sitz vom Chassis und findet sogar Teile im Inneren, die sonst unsichtbar wären.

3. Wie hat es das gelernt? (Der „Lern-Coach")

Um so gut zu werden, brauchte PartSAM eine riesige Bibliothek an Beispielen. Aber es gab ein Problem: Es gab nicht genug Menschen, die Millionen von 3D-Modellen manuell in Teile zerlegt haben.

Die Forscher haben einen cleveren Trick angewendet, den sie „Modell-im-Loop" nennen:

1. Sie haben ein älteres, etwas dümmeres Modell benutzt, um erste grobe Teile zu markieren.
2. Dann hat PartSAM diese Markierungen geprüft: „Ist das wirklich ein sinnvolles Teil?"
3. Wenn ja, hat es das als Lernbeispiel gespeichert. Wenn nein, hat es verworfen.
4. So haben sie aus einer riesigen Menge an Rohmaterial (Online-3D-Modellen) über 5 Millionen hochwertige Lernbeispiele gezaubert. Es ist, als würde ein Schüler (PartSAM) die Hausaufgaben eines anderen Schülers (dem alten Modell) korrigieren und daraus lernen.

4. Warum ist das so wichtig?

Stell dir vor, du willst ein virtuelles Zimmer einrichten oder einen Roboter programmieren, der Gegenstände greift.

• Bisher: Der Roboter sah nur die Oberfläche. Er wusste nicht, dass er den Griff eines Koffers greifen muss, um ihn zu tragen, oder dass er die Tür eines Schranks öffnen muss, um hineinzugreifen.
• Mit PartSAM: Der Roboter „sieht" den Griff, die Tür und das Innere des Schranks. Er versteht die Struktur. Das macht ihn viel schlauer und flexibler.

Zusammenfassung in einem Satz

PartSAM ist wie ein 3D-Röntgenblick für Computer, der durch direktes Lernen an echten 3D-Objekten und einem cleveren Selbstkorrektur-System lernt, jedes Objekt in seine sinnvollen Teile zu zerlegen – egal ob es ein echter Stuhl ist oder ein KI-generierter Fantasie-Drache.

Es ist ein riesiger Schritt hin zu Computern, die die 3D-Welt so gut verstehen wie wir Menschen.

Technische Zusammenfassung

1. Problemstellung

Die Segmentierung von 3D-Objekten in ihre Bestandteile (Teile) ist eine langjährige Herausforderung in der Computer Vision und Grafik. Bisherige Ansätze leiden unter zwei Hauptproblemen:

• Eingeschränkte Generalisierung: Herkömmliche Methoden werden auf kleinen, geschlossenen Datensätzen mit vordefinierten Taxonomien trainiert (z. B. nur „Sitz", „Lehne", „Beine" für Stühle). Sie versagen bei unbekannten Kategorien oder feineren Teildefinitionen.
• Limitationen bei 2D-zu-3D-Transfer: Neuere Open-World-Ansätze versuchen, Wissen von 2D-Foundation-Modellen (wie SAM – Segment Anything Model) zu übertragen, indem sie 2D-Masken aus Multi-View-Rendern in den 3D-Raum heben („Lifting"). Dies führt jedoch zu einem rein oberflächenbasierten Verständnis, ignoriert innere Strukturen, erfordert oft rechenintensive Optimierungen pro Objekt und liefert unkontrollierbare Zerlegungen ohne Benutzerführung.

2. Methodik: PartSAM

PartSAM ist das erste promptbare Modell zur 3D-Teilsegmentierung, das nativ auf großen Mengen an 3D-Daten trainiert wurde. Die Architektur folgt dem Design-Prinzip von SAM (Encoder-Decoder), ist jedoch vollständig für 3D adaptiert.

A. Architektur

• Dual-Branch Encoder (Triplane-basiert):
  • Der Encoder kodiert 3D-Formen in ein kontinuierliches Triplane-Feature-Feld (basierend auf Chan et al., 2022).
  • Er besteht aus zwei Zweigen:
    1. Ein frozen (eingefrorener) Zweig, der mit Gewichten von PartField initialisiert ist und starke 2D-Priors aus SAM (gelernt durch kontrastives Lernen) beibehält.
    2. Ein lernbarer Zweig, der auf den nativen 3D-Daten trainiert wird und zusätzliche Attribute (Normale, RGB) verarbeitet, um lokale Details besser zu erfassen.
  • Die Ausgabe beider Zweige wird summiert, um ein robustes, teilbewusstes Feature-Feld zu erzeugen.
• Prompt-Guided Mask Decoder:
  • Im Gegensatz zu clustergestützten Methoden nutzt PartSAM einen Decoder, der Segmentierungsmasken direkt basierend auf Benutzereingaben (Prompts) generiert.
  • Prompts können positive oder negative Klicks auf Punkte im 3D-Raum sein.
  • Der Decoder verwendet spezielle Tokens (Output-Token und IoU-Token) und einen Zwei-Wege-Transformer, um die Eingabe-Embeddings mit den Prompt-Embeddings zu interagieren.
  • Das Modell kann mehrere Kandidatenmasken parallel generieren und bewertet deren Qualität mittels des IoU-Tokens.

B. Datenkuratierung (Model-in-the-Loop)

Ein entscheidender Beitrag ist die Erstellung eines massiven Datensatzes mit über 5 Millionen 3D-Form-Teil-Paaren:

1. Stufe 1: Nutzung bestehender Annotationen (Objaverse, PartNet) und Filterung nach semantischer Relevanz (Ausschluss stark fragmentierter oder zu kleiner Teile).
2. Stufe 2 (Model-in-the-Loop): Um auch hochkomplexe, stark fragmentierte Künstler-Meshes zu nutzen, wird ein iterativer Prozess eingeführt:
   • Ein vortrainiertes PartSAM-Modell wird verwendet, um die Ausgaben von PartField (als Kandidaten-Labels) zu filtern.
   • Durch simulierte Interaktion (mehrere Prompt-Runden) werden nur solche Masken als valide akzeptiert, die eine hohe IoU (Intersection over Union) erreichen.
   • Dies ermöglicht die Skalierung auf Millionen von hochwertigen, nativen 3D-Annotationen.

C. Trainingsstrategie

• Simulation interaktiver Segmentierung durch iterative Prompt-Sampling aus Fehlerregionen.
• Verlustfunktionen umfassen Focal Loss, Dice Loss, IoU-Loss und einen triplet contrastive loss zur Stärkung der Feature-Repräsentation.

3. Schlüsselfunktionen und Beiträge

• Erste native 3D-Foundation-Model: PartSAM ist das erste Modell, das nicht auf 2D-Transfer angewiesen ist, sondern direkt auf großen 3D-Datensätzen trainiert wird, was ein tiefes geometrisches Verständnis (inklusive innerer Strukturen) ermöglicht.
• Skalierbare Architektur: Die Kombination aus Triplane-Encoding und Dual-Branch-Design erlaubt das Training auf großen Datenmengen unter Beibehaltung von 2D-Priors.
• Flexibilität: Das Modell unterstützt sowohl interaktive Segmentierung (einzelner Klick) als auch einen automatischen Modus „Segment Every Part", der ganze Formen in sinnvolle Teile zerlegt.
• Datenpipeline: Die vorgeschlagene „Model-in-the-Loop"-Pipeline überwindet die Limitationen manueller Annotation und generiert skalierbare, hochwertige 3D-Labels.

4. Ergebnisse

PartSAM wurde auf mehreren Benchmarks (PartObjaverse-Tiny, PartNet-E, 3DCoMPaT++) und mit KI-generierten Meshes evaluiert:

• Interaktive Segmentierung: PartSAM übertrifft den aktuellen State-of-the-Art (Point-SAM) um über 90% bei der Genauigkeit (IoU) mit nur einem einzigen Prompt-Punkt.
• Automatische Segmentierung: Im „Segment Every Part"-Modus erzielt PartSAM einen IoU-Vorteil von über 20% gegenüber den besten konkurrierenden Methoden (wie PartField, SAMesh).
• Generalisierung: Das Modell zeigt eine überlegene Fähigkeit, sowohl bei künstlich erstellten als auch bei KI-generierten 3D-Modellen zu segmentieren, einschließlich der korrekten Erfassung verdeckter oder innerer Strukturen (z. B. Sitze in einem Auto, Innenteile einer Tasche), was bei 2D-basierten Methoden oft scheitert.
• Effizienz: Als Feed-Forward-Modell ist PartSAM deutlich schneller als Methoden, die pro Objekt eine Optimierung benötigen (z. B. SAMesh benötigt ~7 Minuten, PartSAM ~12 Sekunden).

5. Bedeutung und Ausblick

PartSAM markiert einen entscheidenden Schritt hin zu Foundation-Modellen für das 3D-Verständnis auf Teilebene.

• Paradigmenwechsel: Es beweist, dass das Training mit nativen 3D-Daten überlegen ist gegenüber dem Transfer von 2D-Wissen, insbesondere für geometrisch komplexe und innere Strukturen.
• Anwendungen: Die Technologie ermöglicht fortschrittliche Anwendungen in der 3D-Asset-Erstellung, AR/VR-Bearbeitung, Robotik (Manipulation von Teilen) und im Design.
• Zukunft: Die Arbeit legt den Grundstein für zukünftige Modelle, die nicht nur Teile segmentieren, sondern auch semantische Labels und komplexe 3D-Interaktionen in offenen Welten beherrschen.

Zusammenfassend stellt PartSAM einen Durchbruch dar, der durch die Synergie aus einer skalierbaren Architektur und einer massiven, kuratierten 3D-Datenbasis eine bisher unerreichte Genauigkeit und Kontrolle bei der 3D-Teilsegmentierung erreicht.