Resumo Técnico: Arbor: Condicionamento Geométrico Explícito para Geração de Ativos 3D Controlável

Declaração do Problema

Os métodos atuais de geração 3D condicionada por texto e imagem produzem ativos convincentes, mas carecem de controle direto sobre as regiões espaciais específicas que um objeto deve ocupar, evitar ou contatar. Em fluxos de trabalho profissionais (ex: produção de jogos), artistas frequentemente conhecem os requisitos espaciais — como uma cadeira cabendo em um envelope de assento específico, um acessório deixando espaço livre para movimento ou uma peça expondo uma superfície de contato — antes do início da geração. No entanto, prompts e visualizações de imagem são transportadores pobres para essas restrições, levando a um fluxo de trabalho de "máquina caça-níqueis", onde os artistas iteram através de muitos prompts e realizam limpeza manual. Os métodos de controle 3D existentes normalmente focam em editar ativos existentes, completar geometria parcial ou direcionar a inferência durante o tempo de amostragem, mas não oferecem uma interface nativa para especificar requisitos geométricos locais densos e tipados (casco, evasão, toque) durante a geração de um objeto completo a partir de um prompt de texto.

Metodologia

O Arbor introduz um anexo treinável para a geração latente 3D condicionada por texto que converte malhas de restrição explícitas em um sinal de controle nativo. O sistema opera sobre um backbone congelado condicionado por texto (especificamente a família TRELLIS, usando TRELLIS 1 para geração e TRELLIS 2 para codificação) e injeta restrições geométricas sem modificar os pesos do backbone.

1. Representação de Restrição

O Arbor define três tipos de restrições espaciais, especificadas pelo usuário como malhas 3D:

• Regiões de Casco (Hull Regions): Volumes onde a geometria gerada deve existir (ex: um assento).
• Regiões de Evasão (Avoidance Regions): Volumes que devem permanecer vazios (ex: espaço de folga).
• Regiões de Toque (Touch Regions): Superfícies com as quais o objeto deve contatar sem se estender significativamente além delas (ex: pernas encontrando o chão).

2. Pipeline de Codificação

Para integrar essas malhas densas no espaço latente comprimido do gerador:

• Repropósito do Encoder: O Arbor utiliza a pilha de encoders congelada do TRELLIS 2 (T2). Embora o T2 seja projetado para geração condicionada por imagem, seu encoder é reaproveitado para processar malhas de restrição.
• Injeção de Sinal: As malhas de restrição são convertidas em campos de forma e material alinhados em uma grade de voxels. Crucialmente, os canais de atributos auxiliares (originalmente para parâmetros de material) são reaproveitados para codificar flags binárias dos tipos de restrição (casco, evasão, toque) ao lado de normais de superfície.
• Geração de Tokens: Os encoders congelados do T2 mapeiam esses campos em tokens esparsos e compactos de 32 dimensões. Esses tokens são projetados para corresponder à largura do gerador T1 e aumentados com embeddings posicionais 3D aprendidos.

3. Roteador de Geometria e Adaptador

Um desafio central é injetar tokens de restrição densos na estrutura latente esparsa do gerador de forma eficiente. O Arbor resolve isso via um Roteador de Geometria e um Adaptador Residual:

• Roteamento: A grade de consulta latente do gerador (grade 16³) é particionada em grupos. Para cada grupo, o roteador seleciona os tokens de restrição local mais relevantes com base na proximidade espacial (seleção Top-K usando pontos de ancoragem) e anexa um conjunto de tokens de resumo global aprendidos. Isso garante que cada região latente receba apenas a evidência de restrição relevante para sua localização espacial.
• Injeção do Adaptador: Um ramo residual leve é inserido em cada bloco transformer do gerador congelado (após a atenção cruzada de texto, mas antes da Rede Feed-Forward). O adaptador realiza atenção cruzada entre os estados ocultos condicionados pelo texto e o contexto geométrico roteado, injetando o sinal de restrição como uma atualização residual.
• Treinamento: Apenas o adaptador, o roteador, as camadas de projeção e os módulos de resumo são treinados. O backbone (T1) e os encoders (T2) permanecem congelados. O modelo é otimizado usando o objetivo padrão de flow-matching do backbone, sem o uso de perdas explícitas de conformidade de restrição na configuração principal de treinamento.

Principais Contribuições

1. Interface de Controle Geométrico Explícito: Um sistema unificado para especificar regiões tipadas (casco, toque, evasão) diretamente como malhas 3D, permitindo que artistas co-autorem o processo de geração.
2. Geometria Codificada como Condição: Demonstração de que encoders geométricos congelados podem ser reaproveitados para transformar malhas de restrição e sinais tipados em tokens latentes compactos que preservam a estrutura local e servem como entrada para o modelo.
3. Roteador de Geometria e Adaptador: Uma arquitetura inovadora que atribui evidência de restrição local a regiões latentes específicas e injeta essa evidência em um gerador 3D congelado via um ramo residual roteado, permitindo controle geométrico denso sem comprometer a variabilidade do gerador.

Avaliação e Resultados

Os autores avaliaram o Arbor no dataset Toys4K usando benchmarks tanto procedurais (automáticos) quanto manuais (autorados por humanos).

• Aderência à Restrição: O Arbor supera significativamente os baselines (incluindo o modelo base TRELLIS, métodos de steering em tempo de amostragem como Gradient e SpaceControl, e métodos de completude como Spice-E) na aderência às restrições de casco, evasão e toque.
• Preferência do Usuário: Em um estudo de preferência pareada com usuários (27 participantes, 404 tentativas), as variantes do Arbor foram preferidas em relação ao modelo base TRELLIS e outros baselines. O modelo padrão do Arbor venceu 45,9% das comparações, subindo para 59,2% ao fundir todas as variantes do Arbor.
• Qualidade e Variação: Ao contrário dos métodos de steering em tempo de amostragem, que frequentemente degradam a qualidade da geometria ou colapsam formas, o Arbor mantém estruturas de objetos legíveis e preserva a variação generativa do prior subjacente.
• Métricas: O Arbor alcançou pontuações altas em "Score de Controle" (uma média harmônica de aderência à restrição, correspondência de volume e similaridade visual), demonstrando que pode satisfazer restrições sem preencher excessivamente ou perder a intenção semântica do prompt.
• Ablações: Experimentos confirmaram que o roteamento local é o principal mecanismo para a aderência à restrição (retendo 84,3% do IoU sem resumos globais), embora os resumos globais forneçam o contexto necessário ao nível do objeto. O fluxo de sinal (flags tipadas) foi considerado crítico; remover o sinal causou uma queda significativa no desempenho.

Significância e Alegações

O artigo afirma que o Arbor fornece uma interface ausente para a geração de ativos 3D, permitindo o controle volumétrico explícito sem interferir na variabilidade de criação de forma do gerador. Ao tratar restrições como requisitos locais e tipados, em vez de evidência alvo ou priors globais, o Arbor permite que artistas definam comportamentos espaciais específicos (ex: "deixar espaço para movimento" ou "expor uma superfície de contato") diretamente.

Os autores posicionam o Arbor como um passo em direção a tornar a geração de ativos 3D mais confiável para uso em produção, onde animações e interações exigem superfícies de interação precisas. Eles observam que, embora o sistema atual consiga guiar com sucesso a etapa de estrutura esparsa, ele ainda não controla as etapas posteriores de refinamento (detalhes de superfície e materiais) nem resolve totalmente conflitos semânticos entre restrições e prompts (ex: garantir que um volume seja funcionalmente um "assento"). O trabalho sugere direções futuras envolvendo rótulos de partes mais ricos e a extensão do anexo roteado para as etapas posteriores de geração.