Image-Guided Geometric Stylization of 3D Meshes

1. Problema e Motivação

O trabalho aborda a limitação das ferramentas atuais de IA generativa para criação artística de modelos 3D. Embora modelos generativos recentes possam criar representações 3D visualmente plausíveis, eles geralmente:

• Dependem de sinais de controle implícitos: Como descrições textuais, que são ambíguas e difíceis de traduzir em deformações geométricas precisas.
• Focam em texturas: A maioria dos métodos de "transferência de estilo" em 3D altera apenas aparências locais (cores, texturas, pinceladas), ignorando a geometria estrutural.
• Não suportam distorções geométricas ousadas: É difícil gerar formas que se afastem significativamente da distribuição de dados existente sem perder a topologia válida ou a semântica do objeto.

O objetivo é criar um framework que permita deformar um malha 3D existente para expressar o estilo geométrico de uma imagem de referência, mantendo a topologia original e a semântica das partes do objeto, mas incorporando variações geométricas complexas (como silhuetas expressivas ou estruturas rígidas) que não podem ser descritas apenas por texturas.

2. Metodologia

O método proposto é um pipeline de deformação de coarse-to-fine (do grosseiro ao fino) que transforma uma malha de entrada em uma versão estilizada baseada em uma imagem de referência.

A. Extração de Estilo (Image Style Extraction)

• Utiliza o DreamBooth para afinar um modelo de difusão latente pré-treinado (SDXL) usando um pequeno conjunto de imagens de referência.
• Em vez de ajustar todos os pesos, o método restringe as atualizações a adaptadores de baixa dimensão (LoRA - Low-Rank Adaptation).
• Isso extrai uma abstração compacta do estilo que captura não apenas texturas, mas também características estruturais globais, proporções e formas coerentes do objeto na imagem de referência.

B. Deformação Guiada por SDS (Score Distillation Sampling)

• A deformação da malha é guiada pela perda SDS, que utiliza o modelo de difusão para direcionar a geometria para regiões de alta densidade da distribuição de dados do estilo.
• Parametrização por Jacobiano: Em vez de otimizar diretamente as posições dos vértices (o que causa instabilidade e deformações fragmentadas), o método otimiza os Jacobianos por face ($J_i$). A posição dos vértices é recuperada resolvendo uma equação de Poisson a partir desses Jacobianos, permitindo mudanças de forma mais coerentes e em grande escala.
• Codificador VAE Aproximado: Um componente crucial é o uso de um codificador VAE aproximado para o modelo SDXL. Como o VAE nativo é grande e complexo, o método aprende uma aproximação linear (matriz $A$) que mapeia imagens renderizadas diretamente para o espaço latente. Isso estabiliza a propagação de gradientes e acelera a otimização, sendo essencial para que a deformação global funcione.

C. Pipeline Coarse-to-Fine e Regularização

Para garantir que a malha mantenha sua identidade semântica enquanto sofre grandes deformações, o processo é dividido em duas etapas:

1. Estágio Grosseiro (Coarse):

   • Utiliza uma malha auxiliar composta por esferas extraídas da malha original.
   • Aplica caixas delimitadoras orientadas (OBBs) a partes semânticas da malha (detectadas via PartField).
   • Otimiza a escala, rotação e translação dessas caixas (cages) para alinhar a estrutura global com o estilo de referência.
   • Usa uma regularização de coeficientes de cage: Garante que os vértices da malha alvo se movam de forma coerente com a deformação da malha auxiliar, preservando a semântica das partes.

2. Estágio Fino (Fine):

   • Refina os detalhes geométricos de pequena escala.
   • Remove a regularização de cage e foca na otimização dos Jacobianos por face para capturar detalhes finos do estilo.
   • Inclui uma perda de simetria opcional: Se a malha original possui simetria, o método detecta planos de simetria e penaliza desvios, garantindo consistência interna durante a deformação.

3. Contribuições Principais

1. Framework de Estilização Geométrica: Um método que vai além da transferência de textura, deformando a estrutura 3D para refletir estilos geométricos complexos de imagens 2D.
2. Codificador VAE Aproximado: Uma técnica eficiente para estabilizar a otimização baseada em difusão latente em malhas 3D, permitindo o uso de modelos grandes como o SDXL.
3. Estratégia Coarse-to-Fine com Cages: Uma abordagem inovadora que separa a deformação estrutural global (via malha auxiliar e cages) do refinamento local (via Jacobianos), preservando a topologia e a semântica do objeto.
4. Flexibilidade: O método suporta não apenas imagens, mas também pode ser combinado com prompts de texto ou seleção de partes específicas para deformação localizada.

4. Resultados e Avaliação

• Comparação Qualitativa: O método supera baselines existentes (como Paparazzi, Neural 3D Mesh Renderer, Text2Mesh, TextDeformer e MeshUp). Enquanto os baselines tendem a falhar em deformações estruturais globais ou produzem artefatos, o método proposto altera com sucesso a pose, a silhueta e a estrutura global, mantendo a identidade do objeto.
• Estudo com Usuários: Em uma avaliação perceptiva com 32 participantes, o método obteve o melhor ranking em alinhamento geométrico com a referência e transferência de estilo estético. Os baselines muitas vezes falharam em produzir mudanças estruturais significativas.
• Estudos de Ablação:
  • Sem o codificador VAE aproximado: A deformação falha em mudar a forma global, permanecendo próxima da malha original.
  • Sem a regularização de cages: A geometria torna-se distorcida e a semântica é perdida.
  • Sem a perda de simetria: A consistência visual em objetos simétricos é comprometida.

5. Significado e Impacto

Este trabalho avança significativamente a criação de conteúdo 3D assistida por IA. Ao permitir que artistas e criadores usem imagens de referência para guiar deformações geométricas complexas (e não apenas texturas), o método facilita a criação de ativos 3D únicos e artisticamente expressivos. A capacidade de manter a topologia válida e a compatibilidade com pipelines existentes (como mapas UV e rigs de animação) torna a ferramenta prática para aplicações industriais e artísticas, preenchendo a lacuna entre a geração 3D "do zero" e a edição manual tradicional.