Resumo Técnico: Difusão de Vóxeis Discretos (DVD) para Geração e Edição 3D

1. Declaração do Problema

Avanços recentes em modelagem generativa 3D têm adotado cada vez mais pipelines SLAT (Structured LATent), que operam em duas etapas: primeiro, gerando um andaime de vóxeis esparsos para definir a forma grosseira, e segundo, prevendo características latentes contínuas anexadas a vóxeis ativos para decodificação de alta fidelidade em malhas, 3DGS ou NeRFs.

No entanto, a primeira etapa desses pipelines geralmente depende de modelos de difusão contínuos operando em latentes de VAE. Essa abordagem força uma conversão de contínuo para discreto, onde a ocupação de vóxeis é gerada continuamente e depois discretizada via limiarização. Os autores identificam várias questões críticas com esse paradigma:

• Artefatos: Pequenos erros próximos ao limiar de binarização podem inverter vóxeis de ocupados para vazios (ou vice-versa), criando buracos locais ou fragmentos desconectados que persistem durante a malhagem.
• Desalinhamento: A estrutura nativa da ocupação de vóxeis é esparsa e binária, ainda que seja modelada como uma distribuição contínua, reduzindo a interpretabilidade e complicando a edição a jusante.
• Incerteza: Modelos contínuos aproximam posteriores Gaussianas, tornando difícil quantificar explicitamente a incerteza ou identificar regiões geométricas ambíguas.

O artigo postula que modelar a ocupação esparsa de vóxeis diretamente como dados discretos é uma abordagem mais natural e eficaz para essa sub-tarefa específica.

2. Metodologia

2.1 Difusão de Vóxeis Discretos (DVD)

A contribuição central é um framework de Difusão Discreta aplicado à primeira etapa dos pipelines SLAT. Em vez de gerar latentes contínuos, o DVD trata a grade de vóxeis $X \in \{0, 1\}^{N \times N \times N}$ como uma sequência de tokens discretos.

• Difusão Discreta de Estado Uniforme (USDM): Os autores adotam USDMs, onde a distribuição a priori é uniforme sobre todos os estados possíveis (ocupado ou vazio). O processo forward reatribui aleatoriamente cada vóxel para 0 ou 1 com base em uma probabilidade dependente do tempo.
• Processo Reverso: O modelo prevê a distribuição categórica $q(x_0 | x_t)$ sobre os estados limpos dado uma amostra ruidosa. Diferentemente da difusão contínua, que estima uma média, o modelo discreto outputa explicitamente uma distribuição de probabilidade para o estado de cada vóxel.
• Amostragem: A geração prossegue via amostragem ancestral, retirando amostras da posterior preditiva em cada passo de tempo.

2.2 Estimativa de Incerteza

Uma característica única da formulação discreta é o acesso explícito à distribuição categórica preditiva. Os autores aproveitam a entropia preditiva como uma métrica de incerteza robusta:

• Nível de vóxel: Alta entropia indica regiões ambíguas onde o modelo não tem certeza se um vóxel deve estar ocupado.
• Nível de forma: Ao agregar entropias de vóxeis (especificamente em um passo de tempo próximo de zero $t=\epsilon$), eles derivam uma pontuação de incerteza ($\gamma_{\epsilon, \rho}$) leve. Essa pontuação correlaciona-se com a complexidade geométrica e pode ser usada para filtragem de dados, avaliação de qualidade e identificação de amostras "difíceis".

2.3 Perturbação Estruturada em Blocos (BSP) para Edição

Modelos discretos padrão são treinados com ruído espacialmente homogêneo, tornando-os inadequados para inpainting ou edição, onde regiões específicas são mascaradas (conhecidas) e outras são corrompidas. Para preencher essa lacuna entre treinamento e inferência, os autores propõem Perturbação Estruturada em Blocos (BSP):

• Estratégia: Durante o ajuste fino, em vez de perturbar vóxeis individuais independentemente, o modelo é treinado em hipercubos alinhados aos eixos (blocos) de escalas variadas.
• Mecanismo: Blocos aleatórios são selecionados e corrompidos, enquanto o restante do volume permanece largely intacto. Isso simula cenários de edição local, forçando o modelo a aprender a gerar estruturas consistentes com um contexto limpo.
• Eficiência: Isso permite edição em rodada única e inpainting sem a necessidade de estratégias de reamostragem iterativa (como RePaint) ou avaliações adicionais de rede.

3. Principais Contribuições

1. Difusão Discreta para Geração de Vóxeis Esparsos: O artigo introduz uma formulação de difusão discreta para a primeira etapa dos pipelines SLAT. Evita artefatos de limiarização de contínuo para discreto, alcançando desempenho aprimorado na maioria das métricas com tamanho de modelo menor e menos dados de treinamento em comparação com baselines contínuas.
2. Modelagem Explícita de Incerteza: Os autores demonstram que a difusão discreta fornece probabilidades preditivas nativas, permitindo a derivação de uma pontuação de incerteza leve baseada em entropia. Essa pontuação localiza efetivamente regiões geométricas ambíguas e serve como um proxy para complexidade de forma.
3. Edição Eficiente de Vóxeis via BSP: É proposta uma nova estratégia de ajuste fino usando perturbações estruturadas em blocos. Isso permite inpainting e edição de vóxeis sem embaraços dentro de uma única trajetória de amostragem, preservando a integridade estrutural sem computação auxiliar.

4. Resultados Experimentais

Os autores avaliaram o DVD em tarefas de imagem-para-3D e texto-para-3D usando os conjuntos de dados TripoSR e Toys4K, comparando com a baseline contínua TRELLIS e outros métodos como Direct3D-S2 e TripoSR.

• Desempenho Quantitativo: O DVD superou a baseline contínua (TRELLIS) na maioria das métricas de avaliação, incluindo:
  • FID (tanto renderização de imagem $FID_D$ quanto nuvem de pontos $FID_{PC}$).
  • Distância de Chamfer (CD e $CD_V$ para alinhamento vóxel-para-malha).
  • Pontuação CLIP (alinhamento de prompt).
  • Notavelmente, esses ganhos foram alcançados com um modelo de ~400M de parâmetros (vs. ~550M para TRELLIS) e um conjunto de treinamento ligeiramente menor.
• Melhorias Qualitativas: Visualizações mostraram que o DVD reduziu significativamente "buracos" e fragmentos desconectados comuns em métodos contínuos, particularmente em estruturas de camadas finas.
• Utilidade da Incerteza: A pontuação de incerteza identificou com sucesso regiões complexas (por exemplo, alças de extintores de incêndio, detalhes de telhado de casas de cogumelo). Usar essa pontuação para aumento de dados (superamostragem de formas de alta incerteza) melhorou ainda mais a qualidade de geração.
• Desempenho de Edição: Em tarefas de inpainting, o modelo ajustado com BSP reconstruiu com sucesso geometria faltante com alta consistência espacial, enquanto o modelo não ajustado e as baselines contínuas (mesmo com RePaint) produziram estruturas fragmentadas ou desalinhadas.

5. Significado e Alegações

O artigo alega que a Difusão de Vóxeis Discretos é um prior prático e eficaz de primeira etapa para geração 3D baseada em SLAT. Seu significado reside em:

• Modelagem Nativa: Alinhar o processo generativo com a natureza discreta e binária da ocupação de vóxeis, eliminando assim artefatos de limiarização.
• Interpretabilidade: Fornecer modelagem categórica explícita que permite a inspeção da dinâmica de geração e a derivação de métricas de incerteza, que são difíceis de obter em difusão contínua.
• Eficiência: Permitir edição e inpainting eficientes através de ajuste fino simples (BSP) em vez de amostragem iterativa complexa.

Os autores concluem que, embora a difusão discreta requeira centenas de passos de amostragem (uma limitação para aplicações em tempo real), ela oferece um viés indutivo superior para andaimes de vóxeis esparsos, abrindo caminho para a criação de ativos 3D mais robustos e controláveis. Sugere-se que trabalhos futuros se concentrem na aceleração de amostragem e na extensão desses princípios para modelagem conjunta discreta-contínua de características e vóxeis.