SK-Adapter: Skeleton-Based Structural Control for Native 3D Generation

Título: SK-Adapter: Controle Estrutural Baseado em Esqueletos para Geração Nativa 3D

1. O Problema

Os modelos generativos nativos 3D (como o Trellis) alcançaram notável fidelidade visual e velocidade na criação de ativos 3D a partir de texto ou imagens. No entanto, eles sofrem de uma limitação crítica: a incapacidade de prescrever articulações estruturais precisas.

• Ambiguidade dos Prompts: Prompts de texto ou imagens fornecem semântica de alto nível ou dicas visuais, mas falham em definir topologias anatômicas específicas ou articulações exatas (ex: "dobrar o joelho em 60 graus").
• Falhas das Abordagens Atuais: Métodos existentes que tentam usar esqueletos (como o SKDream) geralmente adotam uma estratégia de "elevação 2D" (projetar esqueletos 3D em 2D para condicionar modelos de difusão multi-visão). Isso introduz ambiguidade espacial (perda de profundidade), oclusões e inconsistências entre as visões, resultando em artefatos geométricos e degradação de textura.
• Necessidade de Controle Nativo: Para que os ativos gerados sejam utilizáveis em pipelines de animação e jogos, é necessário um controle estrutural explícito e preciso dentro do próprio domínio 3D, sem depender de reconstruções multiestágio.

2. Metodologia (SK-Adapter)

O SK-Adapter é um framework leve e eficiente que habilita o controle por esqueletos diretamente na geração nativa 3D, utilizando uma abordagem de Ajuste Fino Eficiente de Parâmetros (PEFT).

• Arquitetura Base: O modelo utiliza o Trellis (um modelo de fluxo transformador 3D) como backbone congelado.
• Codificação Consciente de Topologia (Topology-Aware Encoding):
  • O esqueleto 3D é tratado como um grafo $G = \{J, E\}$, onde $J$ são as coordenadas das juntas e $E$ é a topologia (conectividade).
  • Utiliza-se Codificação de Posição Relativa em Grafos (GRPE) para codificar não apenas as coordenadas espaciais, mas também as relações topológicas (distância e tipo de relação: pai, filho, irmão, etc.).
  • Isso gera tokens esparsos que encapsulam tanto a geometria quanto as restrições cinemáticas.
• Mecanismo de Atenção Cruzada Esquelética (Skeletal Cross-Attention):
  • Em vez de forçar o modelo a interpretar projeções 2D, os tokens do esqueleto são injetados diretamente nos blocos do transformador de fluxo 3D.
  • As características do voxel (do backbone congelado) atuam como Query, enquanto os tokens do esqueleto codificados atuam como Key e Value.
  • Isso permite que cada voxel "atenção" dinamicamente às juntas esqueléticas mais relevantes, mapeando restrições topológicas diretamente na grade 3D.
• Estratégia de Treinamento Não Invasiva:
  • O backbone do Trellis permanece congelado para preservar os priores generativos de alta qualidade.
  • Apenas o codificador de esqueleto, as camadas de atenção cruzada e camadas lineares inicializadas com zero são treinados.
  • A inicialização com zeros garante que, no início do treinamento, o adapter contribua com um "sinal nulo", evitando o esquecimento catastrófico do modelo base.
• Objetivo de Treinamento: O modelo é treinado usando Flow Matching no espaço latente compacto do Voxel Autoencoder, aprendendo a prever o campo de velocidade que transforma o ruído gaussiano no ativo 3D condicionado ao esqueleto e ao texto.

3. Contribuições Principais

1. SK-Adapter: O primeiro framework a alcançar controle esquelético durante a geração nativa 3D, superando as limitações de ambiguidade das abordagens baseadas em projeção 2D.
2. Dataset Objaverse-TMS: A criação de um novo conjunto de dados em grande escala com 24.000 triplas de (Texto-Malha-Esqueleto). Este dataset preenche a lacuna de dados sincronizados necessários para o aprendizado de controle estrutural, utilizando anotações de especialistas (diferente de métodos anteriores que geram esqueletos automaticamente e com inconsistências).
3. Edição 3D Flexível: Demonstração da capacidade de realizar edições locais (adição de partes, reposicionamento de membros) guiadas por esqueletos, mantendo a coerência estrutural e textural, algo impossível com métodos anteriores.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados TMS-eval (140 instâncias variadas: humanoides, animais e objetos).

• Alinhamento Estrutural (ReRigging Score): O SK-Adapter obteve o melhor desempenho, reduzindo drasticamente o erro de alinhamento estrutural (0.2228) em comparação com o SKDream (0.2818) e o SpaceControl (0.2740). Isso confirma que a injeção nativa de tokens esqueléticos preserva a topologia correta.
• Alinhamento Textual (CLIP Score): O modelo alcançou a maior pontuação geral (26.16), demonstrando que o adapter leve mantém a forte alinhamento semântico texto-3D do modelo base.
• Fidelidade Visual:
  • PickScore: Maior preferência humana (21.01).
  • KD-DINO: Menor discrepância na distribuição visual (0.7778), indicando que o método preserva a qualidade de textura e detalhes de alta frequência do modelo fundacional, evitando os artefatos comuns em pipelines de reconstrução multiestágio.
• Eficiência: A geração ocorre em menos de 15 segundos por ativo, significativamente mais rápido que o SKDream (~40 segundos).

5. Significado e Impacto

O SK-Adapter representa um avanço significativo na geração 3D ao ponte a lacuna entre a síntese semântica abstrata e a articulação topológica explícita.

• Viabilidade Industrial: Ao gerar ativos 3D que respeitam rigorosamente a estrutura esquelética, o método produz ativos prontos para animação (rigged), eliminando a necessidade de rigging manual complexo pós-geração.
• Paradigma de Controle: Estabelece o esqueleto 3D como um sinal de controle de "primeira classe" no domínio nativo 3D, superando a necessidade de projeções 2D que causam ambiguidade.
• Edição e Animação: Abre caminho para edição interativa de ativos existentes e integração direta em pipelines de animação padrão, permitindo a criação de personagens e objetos articuláveis com alta fidelidade e controle preciso.

Em resumo, o SK-Adapter demonstra que é possível obter controle estrutural preciso em modelos generativos 3D de grande escala sem sacrificar a qualidade visual, através de uma arquitetura de adapter leve e inteligente que respeita a topologia do objeto.