ClickSeg3D: Few-Click Interactive Segmentation via Semantic Embeddings

Riepilogo Tecnico: ClickSeg3D

Enunciato del Problema
La segmentazione 3D interattiva mira a generare etichette efficienti sfruttando i click forniti dall'utente per affinare progressivamente le previsioni, una capacità critica per scenari in cui le etichette completamente supervisionate sono costose o è richiesta la generalizzazione a classi non viste. I metodi interattivi 3D esistenti presentano limitazioni significative: la maggior parte opera in sequenza, prevedendo un solo oggetto per iterazione con maschere binarie, il che risulta in un'inferenza lenta per scene multi-oggetto. Inoltre, gli approcci recenti spesso si affidano a modelli fondazionali 2D (ad es. SAM) e richiedono un allineamento accurato della telecamera per colmare il divario 2D-3D. Questi metodi sono sensibili a punti di vista sparsi, occlusioni e incoerenze tra maschere 2D ed etichette 3D. Inoltre, le pipeline iterative che richiedono aggiornamenti ripetuti del modello dopo ogni click correttivo sono computazionalmente costose e limitano la scalabilità, in particolare per dataset non visti.

Metodologia
Gli autori propongono ClickSeg3D, un nuovo framework di segmentazione interattiva che opera direttamente su punti 3D sparsi e casualmente sottocampionati, elaborando multipli click su oggetti in un singolo passaggio in avanti. L'architettura è composta da tre componenti principali:

1. Encoder basato su Point Transformer: Il modello utilizza un encoder condiviso Point Transformer v3 (PTv3) per estrarre caratteristiche ricche sia dai punti della scena sia dai punti di click forniti dall'utente. Questo encoder genera caratteristiche della scena a più scale e inizializza le caratteristiche di query basandosi sul voxel più vicino alla posizione del click.
2. Decodificatore di Maschera Gerarchico con Adattatore di Query Condizionale: A differenza delle precedenti pipeline iterative, il decodificatore elabora tutte le query di click simultaneamente. Adotta un'architettura multi-stadio in cui un blocco transformer affina le caratteristiche attraverso cross-attention (da click a scena) e self-attention (da click a click). Crucialmente, il framework introduce un Adattatore di Query Condizionale che affina le caratteristiche sparse dei click utilizzando embedding semantici e spaziali apprendibili.
   • Embedding di Prototipi Semantici: Ispirato alla segmentazione open-vocabulary, il modello utilizza prototipi semantici apprendibili per condizionare le caratteristiche di query, migliorando l'attenzione e la robustezza verso categorie non viste.
   • Crop-and-Merge a Livelli Multipli: Il decodificatore affina progressivamente le maschere di istanza dalla granularità grossolana a quella fine. Utilizza una testa di maschera per la previsione spaziale e una testa di classe per la classificazione semantica, fondendo embedding spaziali (derivati dal pooling delle maschere) e embedding semantici (selezionati dai prototipi) per aggiornare le caratteristiche di query tramite un MLP leggero.
3. Strategia di Addestramento: Gli autori introducono una Strategia di Addestramento Guidata dall'Interazione Sparsa. Invece di affidarsi a feedback umani iterativi durante l'addestramento, simulano interazioni utente realistiche utilizzando il campionamento del punto più lontano (Farthest Point Sampling, FPS) per generare punti di click simulati su scene sottocampionate. Ciò permette al modello di apprendere un problema di previsione multi-oggetto "un click per istanza" in un singolo passaggio in avanti, dove il click positivo di un'istanza funge implicitamente da supervisione negativa per le altre.

Contributi Chiave

• Architettura Disaccoppiata a Singolo Passaggio: Il framework disaccoppia esplicitamente l'estrazione delle caratteristiche dei punti dall'affinamento delle maschere a più stadi, consentendo una segmentazione multi-oggetto efficiente e a granularità fine in un singolo passaggio in avanti senza re-inferenza iterativa.
• Addestramento Guidato dall'Interazione Sparsa: Un paradigma di addestramento basato su punti sparsi e casualmente sottocampionati simula le interazioni utente, migliorando la robustezza a numeri variabili di click e distribuzioni spaziali, mantenendo al contempo l'efficienza dell'addestramento.
• Decodificatore Multi-Stadio Crop-and-Merge: Un decodificatore progressivo che sfrutta embedding di prototipi semantici apprendibili per condizionare e aggiornare le caratteristiche di query. Ciò migliora la precisione della maschera e la generalizzazione su dataset non visti senza aumentare i costi computazionali.

Risultati Sperimentali
Sono stati condotti esperimenti estensivi su dataset interni (ScanNet40, S3DIS) ed esterni (KITTI360).

• Prestazioni: Il modello migliora l'Intersezione sull'Unione media (mIoU) di oltre il 20% rispetto a baseline solide (ad es. InterObject3D, Agile3D, SAM2Point) in un'impostazione di un click per istanza. Su ScanNet40, raggiunge un mIoU del 71,6% con un singolo click, rispetto al 65,2% di SAM2Point e al 63,3% di Agile3D.
• Generalizzazione: Sotto valutazione cross-dataset (ad es. addestramento su ScanNet40 e test su S3DIS o KITTI360), il metodo ottiene guadagni dell'8-10% rispetto alle baseline, dimostrando una robustezza superiore agli spostamenti di dominio.
• Efficienza: Il design a singolo passaggio riduce significativamente il sovraccarico computazionale. Il modello raggiunge una latenza di inferenza competitiva (0,06s) e un footprint di memoria ragionevole (128,5 MB), rendendolo adatto per applicazioni in tempo reale.
• Studi di Ablazione: La rimozione di componenti come gli embedding semantici, gli embedding spaziali o l'adattatore di query porta a cali significativi delle prestazioni, validando la necessità dell'architettura proposta.

Significato e Affermazioni
Il paper afferma che ClickSeg3D fornisce una soluzione generalizzabile ed efficiente per la segmentazione di istanze 3D interattiva. Eliminando la necessità di affinamento iterativo e allineamento esplicito della telecamera, il metodo affronta i colli di bottiglia di scalabilità ed efficienza degli approcci attuali. Gli autori affermano che il loro approccio è particolarmente adatto per applicazioni in tempo reale come la manipolazione robotica, la navigazione e l'annotazione semantica 3D rapida. Il lavoro dimostra che la modellazione delle relazioni inter-istanza e l'affinamento delle previsioni spaziali/semantiche attraverso embedding in un singolo passaggio possono superare i metodi che si affidano a modelli fondazionali 2D o inferenza sequenziale.

Limitazioni
Gli autori riconoscono che l'attuale framework è limitato a query di click basate su nuvole di punti e non sfrutta ancora segnali cross-modali più ricchi, come prompt testuali o guida da maschere 2D provenienti da modelli fondazionali. Inoltre, è ancora richiesta un'interazione utente per avviare la segmentazione e il modello non ragiona esplicitamente su gerarchie di parti a granularità fine. È proposto un lavoro futuro per estendere il framework alla segmentazione interattiva multi-modale.