Parameter-Efficient CLIP Adaptation for 3D Understanding via Unified Tokenization

Riepilogo Tecnico: Adattamento Efficiente dei Parametri di CLIP per la Comprensione 3D tramite Tokenizzazione Unificata

1. Definizione del Problema

I modelli visione-linguaggio (VLM) come CLIP possiedono una ricca conoscenza semantica derivata dal pre-addestramento su larga scala immagine-testo, il che li rende attraenti per la comprensione di nuvole di punti 3D, dove le coppie 3D-testo e le annotazioni dense sono scarse. Tuttavia, il trasferimento diretto di CLIP ai dati 3D non è banale a causa di differenze fondamentali: CLIP è addestrato su patch di immagini 2D ordinate e regolari, mentre le nuvole di punti sono disordinate, sparse, irregolari e variano significamente in scala spaziale, densità e modalità di rilevamento.

Le soluzioni esistenti affrontano due limitazioni principali:

1. Fine-tuning Completo: L'adattamento di backbone 2D per specifici compiti 3D richiede un carico sostanziale di parametri, memoria e computazione.
2. Tokenizzazione Incoerente: Le strategie di tokenizzazione 3D standard (ad esempio, k-NN, query a raggio fisso o griglie voxel a risoluzione fissa) spesso legano la geometria dei token alle scale specifiche del dataset. Un token che rappresenta una piccola parte di un oggetto in un dominio potrebbe corrispondere a una grande regione di una scena in un altro, impedendo un addestramento unificato tra domini 3D eterogenei (ad esempio, forme di oggetti, scene indoor e LiDAR esterni).

La sfida centrale è la costruzione di un framework efficiente nei parametri che colmi il divario modale 2D-3D con un'interfaccia di token a scala coerente, consentendo a un encoder visivo CLIP congelato di elaborare dati 3D diversificati senza l'ausilio di backbone 3D specializzati o estese annotazioni.

2. Metodologia: UTok3D

Gli autori propongono UTok3D, un framework efficiente nei parametri che adatta un transformer visivo CLIP congelato a nuvole di punti tramite un tokenizer 3D leggero e normalizzato per scala. Il framework opera in tre fasi principali:

A. Tokenizzazione 3D Normalizzata per Scala
Il tokenizer, denominato $T_{3D}$, converte una nuvola di punti in input $P$ in una sequenza strutturata di token compatibile con CLIP.

• Stima della Scala Adattiva all'Input: Invece di utilizzare dimensioni di voxel fisse, UTok3D stima una scala geometrica $\delta$ adattiva all'input basata sulla distribuzione nativa dei punti. I punti sono ordinati tramite l'ordinamento di Hilbert, suddivisi in chunk, e la distanza mediana tra i rappresentanti dei chunk viene utilizzata per definire $\delta$.
• Voxelizzazione Normalizzata per Scala: La scala stimata $\delta$ calibra la voxelizzazione sparsa, la normalizzazione delle coordinate e il calcolo del centro del token. I punti sono normalizzati rispetto al centroide e alla scala $\delta$ (utilizzando un fattore globale $\alpha$), garantendo che i token provenienti da domini diversi (ad esempio, un'auto rispetto a una stanza) condividano un supporto geometrico comparabile.
• Serializzazione di Hilbert: Per soddisfare il requisito di CLIP per sequenze ordinate, i token 3D sparsi risultanti vengono serializzati utilizzando l'ordinamento di Hilbert basato sui loro centri normalizzati. Ciò preserva la località e fornisce una sequenza deterministica per il transformer congelato.
• Codifica Posizionale: Gli embedding posizionali del centro vengono aggiunti ai token serializzati prima di essere immessi nell'encoder visivo CLIP congelato.

B. Distillazione Cross-Modale Senza Annotazioni
Il tokenizer viene addestrato senza annotazioni semantiche 3D distillando la conoscenza da immagini multi-vista delle nuvole di punti.

• Generazione dell'Insegnante (Teacher): Immagini multi-vista vengono renderizzate o proiettate dalla nuvola di punti e processate da un modello fondazionale 2D congelato (ad esempio, NACLIP). Le feature vengono proiettate nuovamente nello spazio 3D e raggruppate (pooled) all'interno di superpoint per creare rappresentazioni dell'insegnante robuste.
• Allineamento Studente-Insegnante: Le feature dello studente (prodotte dal tokenizer 3D e dal CLIP congelato) sono allineate con le feature dell'insegnante tramite una perdita di distillazione di superpoint locale (distanza del coseno).
• Distillazione di Contrastive Rank-Ordered Sinkhorn (SRC): Per catturare una struttura semantica più ampia e gestire distribuzioni rumorose o a coda lunga, gli autori introducono un obiettivo SRC. Questo comporta:
  • Costruzione del Codebook: Un codebook di prototipi semantici viene costruito utilizzando il campionamento QR con pivot residuo dalle feature dell'insegnante.
  • Prior per la Coda Lunga: Viene calcolato un prior di frequenza dei prototipi per sopprimere i prototipi frequenti e bilanciare la distribuzione.
  • Trasporto Ottimale: Gli assegnamenti dell'insegnante ai prototipi sono calcolati tramite il trasporto ottimale di Sinkhorn.
  • Troncamento per Ranking: Solo i top-$R$ assegnamenti ai prototipi ad alta confidenza vengono mantenuti per formare la distribuzione target, riducendo il rumore derivante da match a bassa confidenza.

C. Predizione Densa
Durante l'inferenza, le feature dei token vengono aggregate in rappresentazioni a livello di superpoint. Queste vengono confrontate con gli embedding testuali di CLIP tramite similitudine del coseno per produrre logit di segmentazione open-vocabulary. Le predizioni vengono propagate ai singoli punti, consentendo una segmentazione densa senza teste di predizione specifiche per il task o fine-tuning a valle.

3. Contributi Chiave

1. Tokenizzazione Unificata Normalizzata per Scala: Il documento introduce un tokenizer che stima una scala geometrica adattiva all'input, consentendo una geometria dei token coerente tra domini 3D eterogenei (oggetti, scene indoor, LiDAR esterni). Ciò permette l'addestramento congiunto su dati non etichettati da diverse fonti.
2. Adattamento Efficiente nei Parametri: Il framework congela l'intero backbone visivo e il text encoder di CLIP, apprendendo solo un compatto tokenizer 3D e un'interfaccia posizionale (3.39M parametri addestrabili). Ciò evita l'overhead di addestrare backbone 3D specializzati.
3. Addestramento Senza Annotazioni tramite SRC: Viene proposto un nuovo approccio di addestramento che combina l'allineamento locale dei superpoint con la distillazione Sinkhorn Ranked Contrastive. Questo sfrutta le feature fondazionali multi-vista per addestrare il tokenizer senza etichette 3D, gestendo efficacemente le distribuzioni a coda lunga e i segnali rumorosi dell'insegnante.
4. Serializzazione Basata su Hilbert: L'uso dell'ordinamento di Hilbert per serializzare i token 3D garantisce la preservazione della località, rendendo i dati 3D irregolari compatibili con i bias spaziali del pretrained transformer 2D.

4. Risultati Sperimentali

Il framework è stato valutato su cinque benchmark: ShapeNetPart (livello oggetto), ScanNetV2 e S3DIS (scene indoor) e SemanticKITTI e nuScenes (LiDAR esterni).

• Segmentazione di Parti (ShapeNetPart): In un setting zero-shot, senza testa (head-free), UTok3D ha raggiunto il 59.3% mIoU, superando la baseline riprodotta PointCLIPv2 (51.8%) di +7.5 punti e GeoZe di +1.9 punti. Ha superato PartDistill (che addestra un backbone 3D) di +5.5 punti pur mantenendo CLIP congelato.
• Segmentazione Semantica Indoor: Su ScanNetV2, UTok3D ha raggiunto il 59.2% mIoU e il 72.4% mAcc, superando i metodi di proiezione multi-vista (OpenScene, GeoZe) e i metodi di distillazione (CLIP-FO3D) che si affidano a backbone 3D addestrabili. Su S3DIS Area 5, ha ottenuto il 49.7% mIoU.
• Segmentazione LiDAR Esterna: Su nuScenes e SemanticKITTI, UTok3D ha raggiunto rispettivamente il 49.1% mIoU e il 34.3% mIoU. Questi risultati sono competitivi con i recenti metodi di distillazione con backbone 3D, dimostrando un efficace trasferimento a dati LiDAR su larga scala e sparsi.
• Generalizzazione Cross-Dataset: Esperimenti di trasferimento zero-shot (ad esempio, ScanNetV2 $\to$ S3DIS) hanno mostato che il tokenizer normalizzato per scala supera significativamente i baseline voxel non normalizzati, confermando la sua capacità di generalizzare tra domini con diverse scale metriche.
• Studi di Ablazione:
  • La normalizzazione della scala ha migliorato le prestazioni in tutti i tokenizer e i dataset, con i guadagni più significativi sui LiDAR esterni.
  • La combinazione della distillazione dei superpoint e della distillazione SRC ha prodotto i migliori risultati, validando la necessità sia dell'allineamento locale che della supervisione strutturale globale.
  • La costruzione del codebook con pivot residuo e la serializzazione di Hilbert sono stati identificati come componenti critici per le prestazioni.

5. Significato e Rivendicazioni

Il documento afferma che UTok3D dimostra che un modello fondazionale di visione 2D congelato può essere efficacemente riutilizzato per la predizione semantica 3D densa quando dotato di un'interfaccia di token a scala coerente.

• Efficienza: Concentrando la capacità addestrabile in un tokenizer leggero (3.39M parametri) anziché in un intero backbone 3D, il metodo offre una via altamente efficiente nei parametri verso la comprensione 3D.
• Addestramento Unificato: Il design normalizzato per scala consente l'addestramento congiunto su dati 3D eterogenei e non etichettati (oggetti, indoor, esterni) senza adattamento specifico per il dataset, affrontando la scarsità di annotazioni 3D.
• Capacità Senza Annotazioni: Il framework raggiunge forti prestazioni di segmentazione senza utilizzare etichette semantiche 3D durante l'addestramento, affidandosi invece alla distillazione cross-modale da immagini multi-vista.

Gli autori pongono questo lavoro come un passo verso una comprensione 3D unificata che sfrutta i ricchi priori dei modelli fondazionali senza il costo computazionale di addestrare architetture 3D specializzate da zero o di sottoporle a fine-tuning completo per ogni nuovo dominio.