SegviGen: Repurposing 3D Generative Model for Part Segmentation

Resumo Técnico: SegviGen

1. O Problema

A segmentação de partes em ativos 3D é fundamental para a criação de conteúdo, edição de nível de parte, rigging de animação e aplicações industriais (como impressão 3D). No entanto, os métodos existentes enfrentam desafios significativos:

• Abordagens 2D para 3D (Lifting): Métodos que transferem priores de modelos 2D (como o SAM) para 3D via distilação ou agregação de máscaras multiview sofrem com inconsistências entre visões, limites de partes borrados e alto custo computacional.
• Abordagens Discriminativas Nativas 3D: Métodos que operam diretamente no espaço 3D (como P3-SAM) geralmente exigem grandes conjuntos de dados anotados manualmente com granularidade e hierarquia consistentes. A coleta desses dados é cara e limita a generalização para novas categorias de objetos.

Existe uma lacuna para um método que seja eficiente em dados, gere limites nítidos e mantenha consistência estrutural sem depender de anotações massivas.

2. Metodologia

O SegviGen propõe uma mudança de paradigma: em vez de treinar um modelo discriminativo do zero, ele repurposiciona (reutiliza) modelos generativos 3D pré-treinados para realizar a segmentação.

• Reformulação da Tarefa (Colorização de Partes):
  A segmentação é reformulada como uma tarefa de colorização condicional. O modelo recebe um ativo 3D e, em vez de prever IDs de classes diretamente, ele prevê "cores indicativas de partes" para os voxels ativos em uma representação estruturada 3D. Cada cor única corresponde a uma parte distinta do objeto.
• Arquitetura Base:
  O framework utiliza um modelo generativo 3D nativo (baseado em Trellis [73]) que opera em um espaço latente estruturado e esparsamente codificado (O-Voxel). Este modelo já internalizou ricos padrões de estrutura e textura de grandes conjuntos de dados 3D não anotados.
• Pipeline Unificado Multi-tarefa:
  O sistema suporta três cenários sob uma única arquitetura, condicionada por embeddings de tarefa:
  1. Segmentação Interativa: O usuário clica em pontos 3D (tokens de pontos) para indicar uma parte. O modelo coloriza essa parte de branco e o restante de preto.
  2. Segmentação Completa (Full Segmentation): O modelo decompõe o objeto em todas as suas partes automaticamente, atribuindo cores aleatórias de uma paleta.
  3. Segmentação Completa com Guia 2D: O modelo usa um mapa de segmentação 2D renderizado como guia adicional, permitindo controle fino sobre a granularidade e os rótulos, combinando a consistência geométrica 3D com semântica 2D.
• Mecanismo de Condicionamento:
  O processo de denoising (fluxo de correspondência) é condicionado ao latente geométrico do objeto, a tokens de pontos (para interatividade) e a embeddings de tarefa. O modelo é treinado para prever o resíduo de ruído (ou vetor de fluxo) para reconstruir o ativo com as cores das partes corretas.

3. Principais Contribuições

1. Novo Paradigma de Repurposing: Introdução do SegviGen, um framework que transfere priores generativos 3D (estrutura e textura) para a tarefa de segmentação, eliminando a necessidade de grandes quantidades de dados anotados para treinamento.
2. Reformulação como Colorização: Transformação do problema de segmentação em uma tarefa de previsão de cor em espaço latente 3D, permitindo a reconstrução conjunta de geometria e atributos de parte.
3. Eficiência de Dados e Desempenho: Demonstração de que priores generativos podem ser transferidos eficazmente, alcançando desempenho superior com apenas 0,32% dos dados de treinamento rotulados necessários para métodos anteriores.
4. Flexibilidade Multi-tarefa: Suporte unificado para segmentação interativa, automática e guiada por 2D, com capacidade de controle de granularidade.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados PartObjaverse-Tiny e PartNeXT, comparando com o estado da arte (SOTA) como P3-SAM, Point-SAM e SAMPart3D.

• Segmentação Interativa:
  • O SegviGen superou o SOTA em 40% na métrica IoU@1 (precisão com um único clique).
  • No PartObjaverse-Tiny, alcançou 42,49% de IoU@1 (vs. 33,04% do P3-SAM e 24,87% do Point-SAM).
  • No PartNeXT, alcançou 54,86% de IoU@1 (vs. 35,61% do P3-SAM).
  • Isso indica uma compreensão inicial muito mais forte da estrutura 3D, inferindo geometrias completas com pouca orientação do usuário.
• Segmentação Completa:
  • Sem guia 2D, superou os baselines em 15% de IoU geral.
  • Com guia 2D (SegviGen w. 2D Map), atingiu novos recordes de SOTA: 62,98% no PartObjaverse-Tiny e 71,53% no PartNeXT.
• Qualidade Visual:
  • Os resultados mostram limites de partes muito mais nítidos e consistentes em comparação com métodos que sofrem de borrão ou inconsistências entre visões.
• Eficiência:
  • Treinado em apenas 8 horas com 8 GPUs A800, utilizando uma fração mínima dos dados de anotação necessários para métodos discriminativos.

5. Significado e Impacto

O SegviGen representa um avanço significativo na percepção 3D e na criação de conteúdo:

• Superação da Dependência de Dados: Demonstra que modelos generativos pré-treinados contêm conhecimento estrutural suficiente para tarefas discriminativas complexas, reduzindo drasticamente a barreira de entrada para anotação de dados 3D.
• Aplicabilidade Industrial: A capacidade de realizar segmentação precisa com limites nítidos e o suporte a guias 2D tornam a ferramenta viável para pipelines industriais, como edição de ativos 3D, animação e manufatura aditiva.
• Generalização: Ao não depender de taxonomias fechadas de partes, o modelo generaliza melhor para categorias de objetos não vistas durante o treinamento.

Em resumo, o SegviGen estabelece um novo estado da arte ao alavancar a inteligência generativa para resolver problemas de percepção, oferecendo uma solução mais eficiente, precisa e escalável para a segmentação de partes 3D.