CoSMo3D: Open-World Promptable 3D Semantic Part Segmentation through LLM-Guided Canonical Spatial Modeling

CoSMo3D verbetert de open-wereld 3D semantische segmentatie door een door LLM's geleide canonieke ruimtelijke modellering te introduceren die objecten transformeert naar een stabiel referentiekader, waardoor robuustere en overdraagbare part-segmentatie wordt bereikt.

De kern

Stel je voor dat je naar een vreemd gevormde stoel kijkt die op zijn kop staat. Voor een mens is het heel makkelijk om te zeggen: "Dat is de zitting, dat zijn de poten." We weten dat poten onder de zitting horen, ongeacht hoe de stoel in de ruimte staat. We draaien het object in ons hoofd even om, zodat het "normaal" staat, en dan zien we direct wat wat is.

Dit is precies wat CoSMo3D doet, maar dan voor computers. Hier is de uitleg in gewone taal:

Het Probleem: Computers zijn slecht in "in het hoofd draaien"

Tot nu toe waren slimme 3D-computerprogramma's (zoals eerdere versies van Find3D) heel goed in het matchen van vormen met woorden. Als je vroeg om "een handvat", zocht de computer naar een vorm die op een handvat leek.

Maar dit ging vaak mis.

• Voorbeeld: Een stoelarmleuning en een stoelpoot kunnen er qua vorm heel op elkaar lijken (beide zijn dunne stokken). Een oude computer zou denken: "Oh, dat is een poot!" terwijl het een armleuning is.
• De oorzaak: De computer keek alleen naar de vorm in de huidige positie. Als de stoel op zijn kop lag, dacht de computer dat de poten boven de zitting zaten. De computer miste het "gevoel" van hoe een object hoort te staan.

De Oplossing: CoSMo3D en de "Ideale Stoel"

De onderzoekers van CoSMo3D hebben een slimme truc bedacht. Ze zeggen: "Laten we de computer niet laten kijken naar de stoel zoals hij nu staat, maar laten we hem een ideale, standaard versie van de stoel in het hoofd laten zien."

Ze noemen dit Canonical Space (Standaardruimte).

1. De LLM als "Grootmeester" (De Data)

Stel je voor dat je een enorme bibliotheek hebt met 200 soorten objecten: fietsen, vliegtuigen, stoelen, bomen. Iedereen heeft ze in een andere hoek staan.
De onderzoekers gebruikten een LLM (een soort super-slimme chatbot, zoals de AI die dit nu voor je schrijft) om alle deze objecten te sorteren.

• De AI zei: "Oké, bij vervoermiddelen (fietsen en vliegtuigen) moet de 'stuurkant' altijd naar voren wijzen."
• "Bij dieren moet de kop naar voren en de staart naar achteren."
  Ze bouwden zo een enorme, uniforme database waarin elk object in zijn "perfecte, standaard houding" staat. Dit is de basis waar de computer van leert.

2. De Twee Hersenen (Het Model)

CoSMo3D heeft een dubbel-systeem, alsof het twee hersenen heeft die samenwerken:

• Hersen 1 (De Kijker): Deze kijkt naar het object zoals het er nu uitziet (bijvoorbeeld een stoel op zijn kop) en zoekt naar woorden die je invoert (bijvoorbeeld "poot"). Dit is de snelle, directe manier.
• Hersen 2 (De Dromer): Deze is alleen actief tijdens het leren. Hij probeert het object in zijn hoofd te "draaien" naar die ideale standaardpositie. Hij zegt tegen Hersen 1: "Wacht even, die vorm die je ziet, dat is eigenlijk een poot, maar hij staat nu op zijn kop. In de standaardwereld hoort die poot onderaan."

Door deze twee te laten samenwerken, leert het systeem dat een poot altijd onderaan hoort, ongeacht hoe de stoel staat.

Waarom is dit zo cool? (De Analoge)

Stel je voor dat je een puzzel maakt.

• De oude manier: Je probeert de puzzelstukjes te matchen op hun vorm. Als je de puzzel op zijn kop draait, zie je niet meer welke stukjes bij elkaar horen.
• De CoSMo3D manier: Je hebt een foto van de volledige puzzel op de tafel liggen (de standaardruimte). Als je een puzzelstukje pakt, kijk je even naar die foto en zeg je: "Ah, dit stukje hoort bij de hoek, ook al ligt het nu ondersteboven."

Wat levert dit op?

1. Onvermoeibaar: Het maakt niet uit of je een object op zijn kop, op zijn zij of in een hoek houdt. CoSMo3D vindt altijd de juiste delen.
2. Slimmer: Het maakt geen fouten meer tussen een armleuning en een poot, omdat het weet waar ze horen te zitten, niet alleen hoe ze eruitzien.
3. Sneller: Het doet dit allemaal in één keer, zonder dat het eerst honderden foto's van het object moet maken (zoals oudere methodes deden).

Kortom: CoSMo3D geeft computers een soort "ruimtelijk gevoel" en een innerlijke kompasnaald. Het leert ze niet alleen naar vormen te kijken, maar ook naar de functie en de logische positie van objecten, precies zoals wij mensen dat doen.

Technische samenvatting

1. Het Probleem

Huidige methoden voor open-world promptable 3D semantische segmentatie (waarbij een model 3D objecten segmenteert op basis van vrije tekstopdrachten, zoals "handvat" of "vleugel") zijn fundamenteel beperkt.

• Afhankelijkheid van input-positie: Bestaande modellen (zoals Find3D) infereren semantiek direct in de coördinaten van de invoer (sensor-ruimte). Ze vertrouwen puur op de overeenkomst tussen geometrische vormen en tekst.
• Gebrek aan ruimtelijk inzicht: Mensen interpreteren objectdelen echter via hun functionele rol in een canonieke ruimte (bijv. poten zitten onder een stoel, vleugels steken naar de zijkant). Mensen roteren objecten mentaal naar een standaardpositie om deze rollen te herkennen.
• Fouten door variatie: Zonder dit canonieke inzicht falen bestaande modellen bij objecten in willekeurige posities, symmetrische objecten of wanneer geometrisch vergelijkbare vormen verschillende betekenissen hebben (bijv. de arm van een stoel vs. de poot van een stoel). Dit leidt tot inconsistente voorspellingen.

2. Methodologie: CoSMo3D

CoSMo3D introduceert een kader dat canonieke ruimtewaarneming mogelijk maakt door een latente canonieke referentiekader uit de data te leren, in plaats van handmatig gedefinieerde posities te gebruiken. De aanpak bestaat uit twee hoofdniveaus:

A. Extern: Unificatie van Canonieke Data

Om een gemeenschappelijke basis te creëren die over objectcategorieën heen werkt, construeert het team een unificatie canonieke dataset:

• LLM-gestuurde alignatie: Een Large Language Model (LLM) wordt gebruikt om 200 objectcategorieën te clusteren op basis van functionele overeenkomsten (bijv. "transportmiddelen" of "gereedschap").
• Cross-categorie alignatie: Binnen deze clusters worden objecten uitgelijnd op basis van gedeelde functionele kenmerken (bijv. stuurdelen van fietsen en vliegtuigen worden in dezelfde richting georiënteerd).
• Dit resulteert in een dataset waar canonieke ruimtelijke regulariteiten niet alleen binnen, maar ook tussen categorieën gelden.

B. Intern: Dual-Branch Architectuur

Het model gebruikt een tweedelige architectuur om canonieke ruimtewaarneming te internaliseren:

1. Feature Extraction Branch (Inference & Training):
   • Verwerkt de 3D puntwolk (via PointTransformerV3) en tekst (via SigLIP).
   • Bereidt de basis voor cross-modale segmentatie (geometrie-tekst matching).
2. Canonical Embedding Branch (Alleen Training):
   • Deze tak voorspelt canonieke kaarten en semantische bounding boxes.
   • Het dwingt de punt-embeddings om te convergeren naar een stabiele canonieke representatie, ongeacht de invoerpositie.

Belangrijke Loss-functies (Regularisatie)

Om de canonieke ruimte effectief te leren, worden drie specifieke loss-functies gebruikt:

• Semantic Contrastive Alignment Loss: Een verbeterde versie van contrastief leren met "Hard Negative Sampling" om randen scherper te maken en verwarring tussen vergelijkbare vormen te voorkomen.
• Canonical Map Anchoring Loss: Dit is cruciaal voor symmetrische objecten. In plaats van punten punt-voor-punt te aligneren (wat onbetrouwbaar is bij symmetrie), wordt de verdeling van de canonieke kaart vergeleken met de ground-truth verdeling (via Chamfer distance). Hierdoor worden symmetrische posities automatisch als equivalent behandeld zonder handmatige annotatie.
• Canonical Box Calibration Loss: Voorspelt een 3D bounding box voor elk semantisch deel in de canonieke ruimte. Dit zorgt voor stabiele ruimtelijke grenzen en onderdrukt valse activeringen.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het reframen van open-world 3D segmentatie van "geometrie-tekst matching in invoerpositie" naar "redeneren gebaseerd op canonieke ruimtelijke regulariteiten".
2. Leerbaar Canoniek Kader: Het maken van canonieke eigenschappen tot een leerbaar, latent structuur, geïmplementeerd via een LLM-gealigneerde dataset en een dual-branch regularisatie.
3. State-of-the-Art Prestaties: Het bereiken van nieuwe SOTA-resultaten in nauwkeurigheid, ruimtelijke stabiliteit en generalisatie over categorieën heen.

4. Resultaten

CoSMo3D werd getest op diverse benchmarks (3Dcompat200, ShapeNet-Part, PartNet-E) onder verschillende omstandigheden (canonical pose, willekeurige rotaties, verschillende tekstprompts).

• Kwantitatieve Prestaties:
  • Op de 3Dcompat-Coarse dataset behaalde CoSMo3D een gemiddelde verbetering van 25,55% ten opzichte van de tweede beste methode (Find3D).
  • Het presteerde consistent beter dan bestaande methoden in zowel canonieke als geroteerde posities (bijv. +8% tot +11% absolute mIoU verbetering op coarse data).
  • Het is aanzienlijk sneller dan 2D-rendering gebaseerde methoden (0,9 seconden per vorm vs. 2,5 minuten).
• Kwalitatieve Verbeteringen:
  • Symmetrie: Het model lost ambiguïteiten bij symmetrische objecten correct op zonder handmatige annotaties.
  • Geometrische verwarring: Het onderscheidt beter tussen objecten met vergelijkbare vormen maar verschillende functies (bijv. stoelpoten vs. stoelarmen).
  • Cross-categorie: Het kan concepten zoals "handvat" consistent toepassen op verschillende objecttypen, zelfs als de vorm verschilt.

5. Betekenis en Impact

CoSMo3D is een doorbraak omdat het de kloof overbrugt tussen pure geometrische matching en menselijke ruimtelijke waarneming.

• Robuustheid: Door te werken in een canonieke ruimte is het model inherent robuust tegen rotaties en variaties in objectoriëntatie.
• Schaalbaarheid: De LLM-gestuurde aanpak voor data-constructie maakt het mogelijk om canonieke kennis over te dragen naar nieuwe, ongeziene categorieën.
• Toekomstperspectief: De auteurs zien dit niet alleen als een segmentatiemodel, maar als een fundamentele stap naar een meer principieel 3D-begripssysteem. Dit kan leiden tot geavanceerdere toepassingen zoals compositional 3D-vraagbaak, cross-modale grounding (CAD/video) en autonome 3D-agenten die eerst in een canonieke ruimte redeneren voordat ze handelen in de Euclidische ruimte.

Kortom, CoSMo3D bewijst dat het internaliseren van een "mentale rotatie" naar een standaardpositie essentieel is voor betrouwbare en intelligente 3D-computerzicht.