ClickSeg3D: Few-Click Interactive Segmentation via Semantic Embeddings

Technische Samenvatting: ClickSeg3D

Probleemstelling
Interactieve 3D-segmentatie heeft als doel efficiënte labels te genereren door gebruik te maken van door de gebruiker aangeleverde klikken om voorspellingen progressief te verfijnen; een capaciteit die cruciaal is voor scenario's waarbij volledig gesuperviseerde labels kostbaar zijn of generalisatie naar ongezette klassen vereist is. Bestaande 3D-interactieve methoden ondervinden aanzienlijke beperkingen: de meeste werken sequentieel, voorspellen slechts één object per iteratie met binaire maskers, wat resulteert in trage inferentie voor scènes met meerdere objecten. Bovendien vertrouwen recente benaderingen vaak op 2D-funderingsmodellen (bijv. SAM) en vereisen ze nauwkeurige cameralignering om de kloof tussen 2D en 3D te overbruggen. Deze methoden zijn gevoelig voor schaarse gezichtspunten, occlusie en inconsistenties tussen 2D-maskers en 3D-labels. Daarnaast zijn iteratieve pijplijnen die na elke corrigerende klik herhaalde modelupdates vereisen, rekenkundig duur en beperken ze de schaalbaarheid, met name voor ongezette datasets.

Methodologie
De auteurs stellen ClickSeg3D voor, een nieuw interactief segmentatiekader dat direct werkt op schaarse, willekeurig gedownsamplede 3D-punten en meerdere objectklikken in één forward pass verwerkt. De architectuur bestaat uit drie primaire componenten:

1. Op Point Transformer gebaseerde Encoder: Het model maakt gebruik van een gedeelde Point Transformer v3 (PTv3) encoder om rijke features te extraheren uit zowel de scene-punten als de door de gebruiker aangeleverde klikpunten. Deze encoder genereert multi-scale scene-features en initialiseert query-features op basis van het dichtstbijzijnde voxel bij de kliklocatie.
2. Hiërarchische Maskerdecoder met Conditionele Query-adapter: In tegenstelling tot eerdere iteratieve pijplijnen verwerkt de decoder alle klikqueries gelijktijdig. Het hanteert een multi-stage architectuur waarbij een transformer-blok features verfijnt via cross-attention (klik-naar-scène) en self-attention (klik-naar-klik). Cruciaal introduceert het kader een Conditionele Query-adapter die schaarse klikfeatures verfijnt met behulp van leerbare semantische en ruimtelijke embeddings.
   • Semantische Prototype-embeddings: Geïnspireerd door open-vocabulary segmentatie, maakt het model gebruik van leerbare semantische prototypes om query-features te conditioneren, wat de attention en robuustheid tegen ongezette categorieën verbetert.
   • Multi-Level Crop-and-Merge: De decoder verfijnt instance-maskers progressief van grove naar fijne granulariteit. Het maakt gebruik van een maskerhoofd voor ruimtelijke voorspelling en een klassehoofd voor semantische classificatie, waarbij ruimtelijke embeddings (afgeleid van maskerpooling) en semantische embeddings (geselecteerd uit prototypes) worden samengevoegd om query-features bij te werken via een lichtgewicht MLP.
3. Trainingsstrategie: De auteurs introduceren een Schaarse Interactie-gedreven Trainingsstrategie. In plaats van te vertrouwen op iteratieve menselijke feedback tijdens het trainen, simuleren ze realistische gebruikersinteracties door Farthest Point Sampling (FPS) te gebruiken om gesimuleerde klikpunten te genereren op gedownsamplede scènes. Dit stelt het model in staat om een "één-klik-per-instance" multi-object voorspellingprobleem in één forward pass te leren, waarbij de positieve klik van één instance impliciet dient als negatieve supervisie voor anderen.

Belangrijkste Bijdragen

• Gedecoupleerde Single-Pass Architectuur: Het kader ontkoppelt expliciet het extraheren van point-features van multi-stage maskerverfijning, waardoor efficiënte, fijnmazige multi-object segmentatie mogelijk is in één forward pass zonder iteratieve her-inferentie.
• Schaarse Interactie-gedreven Training: Een trainingsparadigma gebaseerd op schaars en willekeurig gedownsamplede punten simuleert gebruikersinteracties, wat de robuustheid tegen variërende aantallen klikken en ruimtelijke distributies verbetert terwijl de trainings-efficiëntie behouden blijft.
• Multi-Stage Crop-and-Merge Decoder: Een progressieve decoder die leerbare semantische prototype-embeddings benut om query-features te conditioneren en bij te werken. Dit verbetert de maskerprecisie en generalisatie naar ongezette datasets zonder de rekenkundige kosten te verhogen.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op binnenlandse (ScanNet40, S3DIS) en buitenlandse (KITTI360) datasets.

• Prestaties: Het model verbetert de mean Intersection-over-Union (mIoU) met meer dan 20% ten opzichte van sterke baselines (bijv. InterObject3D, Agile3D, SAM2Point) in een setting van één klik per instance. Op ScanNet40 bereikt het 71,6% mIoU met één enkele klik, vergeleken met 65,2% voor SAM2Point en 63,3% voor Agile3D.
• Generalisatie: Bij cross-dataset evaluatie (bijv. trainen op ScanNet40 en testen op S3DIS of KITTI360) behaalt de methode 8–10% winst ten opzichte van baselines, wat superieure robuustheid tegen domeinverschuivingen aantoont.
• Efficiëntie: Het single-pass ontwerp vermindert de rekenkundige overhead aanzienlijk. Het model bereikt concurrerende inferentielatentie (0,06s) en een redelijk geheugengebruik (128,5 MB), waardoor het geschikt is voor real-time toepassingen.
• Ablatiestudies: Het verwijderen van componenten zoals de semantische embeddings, ruimtelijke embeddings of de query-adapter leidt tot aanzienlijke prestatiedalingen, wat de noodzaak van de voorgestelde architectuur bevestigt.

Betekenis en Beweringen
Het artikel beweert dat ClickSeg3D een generaliseerbare en efficiënte oplossing biedt voor interactieve 3D-instance segmentatie. Door de behoefte aan iteratieve verfijning en expliciete cameralignering te elimineren, adresseert de methode de schaalbaarheids- en efficiëntieknelpunten van huidige benaderingen. De auteurs stellen dat hun aanpak bijzonder geschikt is voor real-time toepassingen zoals robotmanipulatie, navigatie en snelle 3D semantische annotatie. Het werk toont aan dat het modelleren van inter-instance relaties en het verfijnen van ruimtelijke/semantische voorspellingen via embeddings in één enkele pass methoden kan overtreffen die vertrouwen op 2D-funderingsmodellen of sequentiële inferentie.

Beperkingen
De auteurs erkennen dat het huidige kader beperkt is tot op point-cloud gebaseerde klikqueries en nog geen gebruik maakt van rijkere cross-modale aanwijzingen, zoals tekstprompts of 2D-maskergidsing van funderingsmodellen. Bovendien is gebruikersinteractie nog steeds vereist om segmentatie te initiëren, en redeneert het model niet expliciet over fijnmazige deelhiërarchieën. Er wordt voorgesteld om het kader in toekomstig werk uit te breiden naar multi-modale interactieve segmentatie.