Parameter-Efficient CLIP Adaptation for 3D Understanding via Unified Tokenization

Technische Samenvatting: Parameter-efficiënte CLIP-adaptatie voor 3D-begrip via Unified Tokenization

1. Probleemstelling

Visie-taalmodellen (VLMs) zoals CLIP bezitten rijke semantische kennis afgeleid van grootschalige beeld-tekst pretraining, wat ze aantrekkelijk maakt voor 3D-puntenwolkbegrip waar 3D-tekstparen en dichte annotaties schaars zijn. Het direct overdragen van CLIP naar 3D-data is echter niet triviaal vanwege fundamentele verschillen: CLIP is getraind op geordende, regelmatige 2D-afbeeldingspatches, terwijl puntenwolken ongeordend, ijl, onregelmatig en sterk variërend zijn in ruimtelijke schaal, dichtheid en sensorische modaliteit.

Bestaande oplossingen kampen met twee belangrijke beperkingen:

1. Full Fine-tuning: Het aanpassen van 2D-backbones voor specifieke 3D-taken vereist aanzienlijke overhead wat betreft parameters, geheugen en rekenkracht.
2. Inconsistente Tokenisatie: Standaard 3D-tokenisatiestrategieën (bijv. k-NN, fixed-radius ball queries, of fixed-resolution voxel grids) koppelen de token-geometrie vaak aan dataset-specifieke schalen. Een token die een klein onderdeel van een object vertegenwoordigt in één domein, kan overeenkomen met een groot regio van een scène in een ander domein, wat uniforme training over heterogene 3D-domeinen (bijv. objectvormen, binnenruimtes en buiten LiDAR) verhindert.

De kernuitdaging is het construeren van een parameter-efficiënt framework dat de 2D-3D modaliteitskloof overbrugt met een schaal-consistente token-interface, waardoor een bevroren CLIP visuele encoder diverse 3D-data kan verwerken zonder gespecialiseerde 3D-backbones of uitgebreide annotaties.

2. Methodologie: UTok3D

De auteurs stellen UTok3D voor, een parameter-efficiënt framework dat een bevroren CLIP visuele transformer aanpast aan puntenwolken via een lichtgewicht, schaal-genormaliseerde 3D-tokenizer. Het framework werkt in drie hoofdfasen:

A. Schaal-genormaliseerde 3D-Tokenisatie
De tokenizer, aangeduid als $T_{3D}$, zet een invoer-puntenwolk $P$ om in een gestructureerde tokensequentie die compatibel is met CLIP.

• Input-adaptieve Schattings van Schaal: In plaats van vaste voxel-groottes te gebruiken, schat UTok3D een input-adaptieve geometrische schaal $\delta$ in op basis van de natuurlijke puntenverdeling. Punten worden gesorteerd via Hilbert-ordening, opgedeeld in chunks, en de mediaanafstand tussen chunk-representanten wordt gebruikt om $\delta$ te definiëren.
• Schaal-genormaliseerde Voxelisatie: De geschatte schaal $\delta$ kalibreert de ijle voxelisatie, coördinaten-normalisatie en token-centrumberekening. Punten worden genormaliseerd ten opzichte van het zwaartepunt en de schaal $\delta$ (met behulp van een globale factor $\alpha$), wat ervoor zorgt dat tokens uit verschillende domeinen (bijv. een auto versus een kamer) vergelijkbare geometrische ondersteuning delen.
• Hilbert-serialisatie: Om te voldoen aan de vereiste van CLIP voor geordende sequenties, worden de resulterende ijle 3D-tokens geserialiseerd met behulp van Hilbert-ordening op basis van hun genormaliseerde centra. Dit behoudt de lokaliteit en biedt een deterministische sequentie voor de bevroren transformer.
• Positionele Codering: Centrum-positionele embeddings worden toegevoegd aan de geserialiseerde tokens voordat ze in de bevroren CLIP visuele encoder worden gevoerd.

B. Annotatie-vrije Cross-modale Distillatie
De tokenizer wordt getraind zonder 3D-semantische annotaties door kennis te distilleren van multi-view afbeeldingen van de puntenwolken.

• Teacher Generatie: Multi-view afbeeldingen worden gerenderd of geprojecteerd vanuit de puntenwolk en verwerkt door een bevroren 2D foundation model (bijv. NACLIP). Kenmerken worden teruggeprojecteerd naar de 3D-ruimte en gepooled binnen superpunten om robuuste teacher-representaties te creëren.
• Student-Teacher Alignment: De student-kenmerken (geproduceerd door de 3D-tokenizer en bevroren CLIP) worden uitgelijnd met de teacher-kenmerken via een lokale superpoint distillatie-loss (cosine distance).
• Sinkhorn Ranked Contrastive (SRC) Distillatie: Om bredere semantische structuren te vangen en met ruisachtige/long-tail distributies om te gaan, introduceren de auteurs een SRC-doelstelling. Dit omvat:
  • Codebook Constructie: Een codeboek van semantische prototypen wordt gebouwd met behulp van residual-pivoted QR-sampling van de teacher-kenmerken.
  • Long-Tail Aware Prior: Een prototype frequentie-prior wordt berekend om frequente prototypen te onderdrukken en de distributie te balanceren.
  • Optimal Transport: Toewijzingen van de teacher aan prototypen worden berekend via Sinkhorn optimal transport.
  • Ranked Truncation: Alleen de top-$R$ hoog-betrouwbare prototype-toewijzingen worden behouden om de doelverdeling te vormen, wat ruis van toewijzingen met een lage betrouwbaarheid vermindert.

C. Dichte Predictie
Tijdens inferentie worden token-kenmerken geaggregeerd naar superpoint-niveau representaties. Deze worden gematcht met CLIP tekst-embeddings via cosine similarity om open-vocabulary segmentatie-logits te produceren. Voorspellingen worden teruggepropageerd naar individuele punten, wat dichte segmentatie mogelijk maakt zonder taakspecifieke predictiekoppen of downstream fine-tuning.

3. Belangrijkste Bijdragen

1. Unified Schaal-genormaliseerde Tokenisatie: Het paper introduceert een tokenizer die een input-adaptieve geometrische schaal schat, wat consistente token-geometrie mogelijk maakt over heterogene 3D-domeinen (objecten, binnenruimtes, buiten LiDAR). Dit maakt gezamenlijke training mogelijk op ongelabelde data uit diverse bronnen.
2. Parameter-efficiënte Adaptatie: Het framework bevriest de volledere CLIP visuele backbone en text encoder, en leert enkel een compacte 3D-tokenizer en positionele interface (3,39M trainbare parameters). Dit voorkomt de overhead van het trainen van gespecialiseerde 3D-backbones.
3. Annotatie-vrije Training via SRC: Een nieuwe trainingsstrategie wordt voorgesteld die lokale superpoint alignment combineert met Sinkhorn Ranked Contrastive distillatie. Dit maakt gebruik van multi-view foundation features om de tokenizer te trainen zonder 3D-labels, waarbij long-tail distributies en ruisachtige teacher-signalen effectief worden afgehandeld.
4. Hilbert-gebaseerde Serialisatie: Het gebruik van Hilbert-ordening om 3D-tokens te serialiseren zorgt voor het behoud van lokaliteit, waardoor de onregelmatige 3D-data compatibel wordt met de ruimtelijke biases van de vooraf getrainde 2D transformer.

4. Experimentele Resultaten

Het framework werd geëvalueerd op vijf benchmarks: ShapeNetPart (objectniveau), ScanNetV2 en S3DIS (binnenruimtes), en SemanticKITTI en nuScenes (buiten LiDAR).

• Part Segmentation (ShapeNetPart): In een zero-shot, head-free setting bereikte UTok3D 59,3% mIoU, waarmee het de gereproduceerde PointCLIPv2 baseline (51,8%) met +7,5 punten versloeg en GeoZe met +1,9 punten. Het overtrof PartDistill (dat een 3D-backbone traint) met +5,5 punten terwijl CLIP bevroren bleef.
• Indoor Semantic Segmentation: Op ScanNetV2 bereikte UTok3D 59,2% mIoU en 72,4% mAcc, waarmee het multi-view projectiemethoden (OpenScene, GeoZe) en distillatie-gebaseerde methoden (CLIP-FO3D) die vertrouwen op trainbare 3D-backbones, overtrof. Op S3DIS Area 5 behaalde het 49,7% mIoU.
• Outdoor LiDAR Segmentation: Op nuScenes en SemanticKITTI behaalde Utok3D respectievelijk 49,1% mIoU en 34,3% mIoU. Deze resultaten zijn competitief met recente 3D-backbone distillatie-methoden, wat een effectieve transfer naar grootschalige, ijle LiDAR-data aantoont.
• Cross-Dataset Generalisatie: Zero-shot transfer experimenten (bijv. ScanNetV2 $\to$ S3DIS) toonden aan dat de schaal-genormaliseerde tokenizer aanzienlijk beter presteert dan ongenormaliseerde voxel-baselines, wat zijn vermogen bevestigt om te generaliseren over domeinen met verschillende metrische schalen.
• Ablatie Studies:
  • Schaal-normalisatie verbeterde de prestaties bij alle tokenizers en datasets, met de meest significante winsten op buiten LiDAR.
  • De combinatie van superpoint distillatie en SRC distillatie leverde de beste resultaten op, wat de noodzaak van zowel lokale alignment als globale structurele supervisie valideert.
  • Residual-pivoted codebook constructie en Hilbert-serialisatie werden geïdentificeerd als kritieke componenten voor prestaties.

5. Betekenis en Claims

Het paper claimt dat UTok3D aantoont dat een bevroren 2D visie foundation model effectief kan worden hergebruikt voor dichte 3D semantische predictie wanneer het is uitgerust met een schaal-consistente token-interface.

• Efficiëntie: Door de trainbare capaciteit te concentreren in een lichtgewicht tokenizer (3,39M parameters) in plaats van een volledige 3D-backbone, biedt de methode een zeer parameter-efficiënt pad naar 3D-begrip.
• Unified Training: Het schaal-genormaliseerde ontwerp maakt gezamenlijke training mogelijk op heterogene, ongelabelde 3D-data (objecten, binnenruimtes, buitenruimtes) zonder dataset-specifieke adaptatie.
• Annotatie-vrije Capaciteit: Het framework bereikt sterke segmentatieprestaties zonder 3D semantische labels te gebruiken tijdens de training, door te vertrougen op cross-modale distillatie van multi-view afbeeldingen.

De auteurs positioneren dit werk als een stap naar verenigd 3D-begrip dat de rijke priors van foundation modellen kan benutten zonder de computationele kosten van het vanaf nul trainen of volledig fine-tunen van gespecialiseerde 3D-architecturen voor elke nieuwe domein.