Resumo Técnico: Tango3D

Declaração do Problema

Os modelos fundamentais 3D existentes normalmente alinham nuvens de pontos com espaços de visão e linguagem congelados (por exemplo, CLIP) para alcançar recuperação cruzada de modalidades forte. No entanto, esse paradigma depende da compressão de formas 3D inteiras em vetores de características globais únicos dentro de espaços puramente semânticos. Embora eficaz para recuperação em nível de instância, esse alinhamento apenas global descarta a estrutura espacial necessária para tarefas de granularidade fina. Consequentemente, os métodos atuais não podem estabelecer correspondências densas pixel-a-ponto, uma capacidade crítica para aplicações como segmentação de partes 3D e fundamentação geométrica. Além disso, os métodos existentes de correspondência densa em nível de cena não abordam o alinhamento cruzado de modalidades entre imagens e nuvens de pontos em nível de objeto, mantendo ao mesmo tempo capacidades de recuperação global.

Metodologia

O Tango3D é um modelo fundamental projetado para unificar correspondência densa e recuperação global dentro de um único espaço de tokens compartilhado. O framework emprega uma arquitetura de dois ramos construída sobre uma espinha dorsal visual 2D consciente de geometria e um Variational Autoencoder (VAE) 3D pré-treinado.

1. Tokenização e Espaço Compartilhado

• Modalidade 2D: O framework utiliza uma espinha dorsal VGGT (Visual Geometry Grounded Transformer) congelada para extrair características conscientes de geometria. As imagens são processadas para produzir mapas de características intermediários e um mapa de características DPT fundido. Estes são redimensionados para uma grade de patches e concatenados em vetores de características. Um contexto por visualização também é gerado via média global.
• Modalidade 3D: As nuvens de pontos são processadas por um encoder VAE 3D treinável (baseado no Hunyuan3D 2.1). Em vez de comprimir a forma em um único vetor, o encoder produz 1024 tokens latentes representando a nuvem de pontos, preservando detalhes geométricos mais ricos do que latentes de gargalo.
• Espaço Compartilhado: Tanto os patches 2D quanto os tokens 3D são mapeados em um espaço de incorporação unificado de 1024 dimensões via codificadores MLP residuais. O encoder 2D injeta contexto por visualização para manter a fundamentação geométrica.

2. Otimização de Dois Ramos

O modelo é otimizado via dois ramos paralelos:

• Ramo Local (Correspondência Densa): Este ramo projeta tokens compartilhados em descritores locais específicos de modalidade. Emprega uma perda contrastiva InfoNCE bidirecional para alinhar pixels de consulta 2D com seus tokens 3D mais próximos com base na proximidade geométrica. Para evitar o colapso de mapeamento muitos-para-um, a perda agrega todas as consultas 2D atribuídas ao mesmo token 3D. A mineração de hard-negativos é introduzida em estágios posteriores para afiar a discriminabilidade.
• Ramo Global (Recuperação de Instância): Este ramo agrega tokens compartilhados em descritores em nível de instância.
  • Global 2D: Tokens de visualização são agrupados e enriquecidos com tokens de classe DINO e contexto DPT via um mecanismo de fusão gateada para injetar riqueza semântica sem contornar o alinhamento local.
  • Global 3D: Tokens 3D passam por auto-atenção para trocar contexto espacial antes do agrupamento.
  • Alinhamento: Os descritores globais são alinhados usando uma perda InfoNCE cruzada de modalidades simétrica. Adicionalmente, uma perda de destilação semântica transfere estrutura relacional de um professor 2D (DINO) para o espaço conjunto, e uma perda de consistência de subconjunto garante robustez contra visualizações ausentes.

3. Treinamento Progressivo de Três Estágios

Para estabilizar a otimização conjunta de objetivos densos e globais, os autores introduzem uma estratégia de treinamento progressivo:

• Estágio I: O ramo global é desabilitado. O modelo treina exclusivamente no objetivo local (L_local) para estabelecer alinhamento geométrico robusto pixel-a-ponto.
• Estágio II: O ramo global é habilitado. O modelo é otimizado conjuntamente usando perdas locais, globais, de consistência de subconjunto e de destilação semântica. A mineração de hard-negativos é introduzida na perda local.
• Estágio III: A resolução de entrada 2D é aumentada (de 518×518 para 1022×1022), e a mineração de hard-negativos é fortalecida. Todos os módulos são ajustados finamente para afiar a discriminabilidade de características.

Contribuições Principais

1. Alinhamento Local: O Tango3D alcança correspondência densa pixel-a-ponto em nível de objeto mapeando patches 2D e tokens 3D em um espaço compartilhado. Isso permite consultas bidirecionais (pixel-a-ponto e ponto-a-pixel), correspondência semântica cruzada entre instâncias em nível de ponto e correspondência 3D-a-3D sem entrada 2D.
2. Alinhamento Global: O framework unifica correspondência densa com recuperação em nível de instância. Os descritores globais agregados suportam recuperação de imagem-a-forma e forma-a-forma, alcançando desempenho competitivo com as principais linhas de base apenas globais.
3. Treinamento Progressivo: Uma estratégia de três estágios é introduzida para desacoplar e depois integrar aprendizado geométrico e semântico, garantindo que objetivos densos e globais se melhorem mutuamente em vez de entrar em conflito.

Resultados Experimentais

O modelo foi treinado em aproximadamente 650.000 objetos do Objaverse e avaliado em um benchmark personalizado de 3.055 objetos texturizados em 40 categorias do ModelNet40.

• Correspondência Pixel-a-Ponto: O Tango3D alcança um LocAcc@1 de 77,37% com quatro visualizações aleatórias, superando significativamente linhas de base como VGGT e VGGT-OBJ, que carecem de treinamento cruzado de modalidades. O modelo demonstra versatilidade em cenários de correspondência 2D-a-3D, 3D-a-2D e 3D-a-3D, transferindo com sucesso máscaras de partes 2D (via SAM) para superfícies 3D sem supervisão em nível de parte.
• Recuperação Global: Na recuperação de imagem-a-forma, o Tango3D alcança um Recall@1 de 39,12% (multivisualização, aleatório) e 35,04% (visualização única), superando ou igualando linhas de base fortes como OpenShape, ULIP-2 e Uni3D-g.
• Estudos de Ablação: A análise de treinamento progressivo confirma que o Estágio I estabelece alinhamento local forte, o Estágio II integra com sucesso a recuperação global sem degradar o desempenho local, e o Estágio III impulsiona ainda mais ambas as métricas através de maior resolução e negativos mais difíceis.

Significado

O artigo afirma que o Tango3D preenche a lacuna entre as modalidades 2D e 3D estabelecendo um espaço de características de alinhamento de granularidade fina. Ao injetar semântica rica em tokens 3D puramente geométricos através de treinamento cruzado de modalidades, o modelo habilita uma ampla gama de tarefas downstream 3D densas que eram anteriormente inacessíveis a modelos fundamentais apenas globais. Os autores observam que, embora a compressão de resolução atual (nível de patch para 2D, nível de token para 3D) coloque um limite inerente na precisão subpixel, o framework unificado demonstra com sucesso que correspondência densa e recuperação global podem ser otimizadas conjuntamente, pavimentando o caminho para representações 3D robustas e unificadas.