Parameter-Efficient CLIP Adaptation for 3D Understanding via Unified Tokenization

Resumo Técnico: Adaptação de CLIP com Eficiência de Parâmetros para Compreensão 3D via Tokenização Unificada

1. Definição do Problema

Modelos de visão-linguagem (VLMs) como o CLIP possuem um rico conhecimento semântico derivado de pré-treinamento em larga escala de imagem-texto, tornando-os atraentes para a compreensão de nuvens de pontos 3D, onde pares 3D-texto e anotações densas são escassos. No entanto, transferir diretamente o CLIP para dados 3D não é trivial devido a diferenças fundamentais: o CLIP é treinado em patches de imagem 2D ordenados e regulares, enquanto nuvens de pontos são desordenadas, esparsas, irregulares e variam significativamente em escala espacial, densidade e modalidade de detecção.

As soluções existentes enfrentam duas limitações principais:

1. Ajuste Fino Total (Full Fine-tuning): Adaptar backbones 2D para tarefas 3D específicas exige um overhead substancial de parâmetros, memória e computação.
2. Tokenização Inconsistente: Estratégias de tokenização 3D padrão (ex: k-NN, consultas de bola de raio fixo ou grades de voxels de resolução fixa) frequentemente vinculam a geometria do token às escalas específicas de cada dataset. Um token que representa uma pequena parte de um objeto em um domínio pode corresponder a uma grande região de uma cena em outro, impedindo o treinamento unificado entre domínios 3D heterogêneos (ex: formas de objetos, cenas internas e LiDAR externo).

O desafio central é construir um framework eficiente em parâmetros que ponteie a lacuna de modalidade 2D-3D com uma interface de token consistente em escala, permitindo que um codificador visual CLIP congelado processe diversos dados 3D sem backbones 3D especializados ou anotações extensas.

2. Metodologia: UTok3D

Os autores propõem o UTok3D, um framework de adaptação eficiente de parâmetros que adapta um transformer visual CLIP congelado para nuvens de pontos por meio de um tokenizer 3D leve e normalizado em escala. O framework opera em três estágios principais:

A. Tokenização 3D Normalizada em Escala
O tokenizer, denotado como $T_{3D}$, converte uma nuvem de pontos de entrada $P$ em uma sequência de tokens estruturada compatível com o CLIP.

• Estimativa de Escala Adaptável à Entrada: Em vez de usar tamanhos de voxel fixos, o UTok3D estima uma escala geométrica $\delta$ adaptável à entrada baseada na distribuição nativa dos pontos. Os pontos são ordenados via ordenação de Hilbert, divididos em blocos (chunks), e a distância mediana entre os representantes dos blocos é usada para definir $\delta$.
• Voxelização Normalizada em Escala: A escala estimada $\delta$ calibra a voxelização esparsa, a normalização de coordenadas e o cálculo do centro do token. Os pontos são normalizados em relação ao centroide e à escala $\delta$ (usando um fator global $\alpha$), garantindo que os tokens de diferentes domínios (ex: um carro vs. uma sala) compartilhem um suporte geométrico comparável.
• Serialização de Hilbert: Para satisfazer o requisito do CLIP por sequências ordenadas, os tokens 3D esparsos resultantes são serializados usando a ordenação de Hilbert com base em seus centros normalizados. Isso preserva a localidade e fornece uma sequência determinística para o transformer congelado.
• Codificação Posicional: Embeddings de posição de centro são adicionados aos tokens serializados antes de serem alimentados no codificador visual CLIP congelado.

B. Destilação Cross-Modal Livre de Anotações
O tokenizer é treinado sem anotações semânticas 3D, destilando conhecimento de imagens multi-visão das nuvens de pontos.

• Geração do Professor (Teacher Generation): Imagens multi-visão são renderizadas ou projetadas a partir da nuvem de pontos e processadas por um modelo de fundação 2D congelado (ex: NACLIP). As características são projetadas de volta para o espaço 3D e agrupadas dentro de superpontos para criar representações de professor robustas.
• Alinhamento Estudante-Professor: As características do estudante (produzidas pelo tokenizer 3D e pelo CLIP congelado) são alinhadas com as características do professor via perda de destilação de superponto local (distância de cosseno).
• Destilação de Contraste de Ranking de Sinkhorn (SRC): Para capturar uma estrutura semântica mais ampla e lidar com distribuições de cauda longa ou ruidosas, os autores introduzem um objetivo SRC. Isso envolve:
  • Construção de Codebook: Um codebook de protótipos semânticos é construído usando amostragem QR com pivoteamento residual a partir das características do professor.
  • Prior de Consciência de Cauda Longa: Um prior de frequência de protótipo é computado para suprimir protótipos frequentes e equilibrar a distribuição.
  • Transporte Ótimo de Sinkhorn: As atribuições do professor aos protótipos são computadas via transporte ótimo de Sinkhorn.
  • Truncamento por Ranking: Apenas as top-$R$ atribuições de protótipo de alta confiança são retidas para formar a distribuição alvo, reduzendo o ruído de correspondências de baixa confiança.

C. Predição Densa
Durante a inferência, as características dos tokens são agregadas em representações de nível de superponto. Elas são combinadas com embeddings de texto do CLIP via similaridade de cosseno para produzir logits de segmentação de vocabulário aberto. As predições são propagadas de volta para os pontos individuais, permitindo segmentação densa sem cabeças de predição específicas para a tarefa ou ajuste fino downstream.

3. Principais Contribuições

1. Tokenização Unificada Normalizada em Escala: O artigo introduz um tokenizer que estima uma escala geométrica adaptável à entrada, permitindo uma geometria de token consistente através de domínios 3D heterogêneos (objetos, cenas internas, LiDAR externo). Isso permite o treinamento conjunto em dados não rotulados de diversas fontes.
2. Adaptação Eficiente em Parâmetros: O framework congela todo o backbone visual e o codificador de texto do CLIP, aprendendo apenas um tokenizer 3D compacto e uma interface posicional (3,39M de parâmetros treináveis). Isso evita o overhead de treinar backbones 3D especializados.
3. Treinamento Livre de Anotações via SRC: Um novo método de treinamento é proposto, combinando alinhamento de superponto local com destilação de contraste de ranking de Sinkhorn. Isso aproveita as características de modelos de fundação multi-visão para treinar o tokenizer sem rótulos 3D, lidando efetivamente com distribuições de cauda longa e sinais de professor ruidosos.
4. Serialização Baseada em Hilbert: O uso da ordenação de Hilbert para serializar tokens 3D garante a preservação da localidade, tornando os dados 3D irregulares compatíveis com os vieses espaciais do transformer 2D pré-treinado.

4. Resultados Experimentais

O framework foi avaliado em cinco benchmarks: ShapeNetPart (nível de objeto), ScanNetV2 e S3DIS (cenas internas) e SemanticKITTI e nuScenes (LiDAR externo).

• Segmentação de Partes (ShapeNetPart): Em um cenário zero-shot e sem cabeça de predição (head-free), o UTok3D alcançou 59,3% de mIoU, superando a linha de base reproduzida PointCLIPv2 (51,8%) por +7,5 pontos e o GeoZe por +1,9 pontos. Superou o PartDistill (que treina um backbone 3D) em +5,5 pontos mantendo o CLIP congelado.
• Segmentação Semântica Indoor: No ScanNetV2, o UTok3D alcançou 59,2% de mIoU e 72,4% de mAcc, superando métodos de projeção multi-visão (OpenScene, GeoZe) e métodos baseados em destilação (CLIP-FO3D) que dependem de backbones 3D treináveis. No S3DIS Area 5, alcançou 49,7% de mIoU.
• Segmentação de LiDAR Outdoor: No nuScenes e SemanticKITTI, o UTok3D alcançou 49,1% de mIoU e 34,3% de mIoU, respectivamente. Esses resultados são competitivos com métodos recentes de destilação de backbone 3D, demonstrando transferência eficaz para dados LiDAR esparsos e de grande escala.
• Generalização entre Datasets: Experimentos de transferência zero-shot (ex: ScanNetV2 $\to$ S3DIS) mostraram que o tokenizer normalizado em escala supera significativamente os baselines de voxel não normalizados, confirmando sua capacidade de generalizar entre domínios com diferentes escalas métricas.
• Estudos de Ablação:
  • A normalização de escala melhorou o desempenho em todos os tokenizers e datasets, com os ganhos mais significativos no LiDAR externo.
  • A combinação de destilação de superponto e destilação SRC produziu os melhores resultados, validando a necessidade tanto do alinhamento local quanto da supervisão estrutural global.
  • A construção de codebook com pivoteamento residual e a serialização de Hilbert foram identificadas como componentes críticos para o desempenho.

5. Significância e Alegações

O artigo afirma que o UTok3D demonstra que um modelo de fundação de visão 2D congelado pode ser efetivamente reaproveitado para predição semântica 3D densa quando equipado com uma interface de token consistente em escala.

• Eficiência: Ao concentrar a capacidade treinável em um tokenizer leve (3,39M de parâmetros) em vez de um backbone 3D completo, o método oferece um caminho altamente eficiente em termos de parâmetros para a compreensão 3D.
• Treinamento Unificado: O design normalizado em escala permite o treinamento conjunto em dados 3D heterogêneos e não rotulados (objetos, ambientes internos, externos) sem adaptação específica para cada dataset, abordando a escassez de anotações 3D.
• Capacidade Livre de Anotações: O framework alcança forte desempenho de segmentação sem utilizar rótulos semânticos 3D durante o treinamento, baseando-se na destilação cross-modal a partir de imagens multi-visão.

Os autores posicionam este trabalho como um passo em direção à compreensão 3D unificada que aproveita os ricos priors de modelos de fundação sem o custo computacional de treinar arquiteturas 3D especializadas do zero ou de realizar o ajuste fino total delas para cada novo domínio.