SMAL-pets: SMAL Based Avatars of Pets from Single Image

Título: SMAL-pets: Avatares de Animais Baseados em SMAL a partir de Imagem Única

1. O Problema

A criação de avatares 3D de animais (especificamente cães) de alta fidelidade e totalmente animáveis a partir de uma única imagem permanece um desafio significativo na visão computacional. As principais dificuldades incluem:

• Escassez de Dados: Diferente dos humanos (que possuem modelos paramétricos como SMPL e grandes conjuntos de dados), há uma falta crítica de conjuntos de dados anotados em larga escala para animais.
• Diversidade Morfológica: A vasta variação entre raças, tamanhos e proporções dificulta a generalização de modelos existentes.
• Limitações de Reconstrução: Métodos atuais frequentemente falham em capturar texturas realistas (como pelo) ou produzem resultados com aparência artificial, plástica ou com artefatos.
• Dificuldade de Animação: Garantir que os avatares sejam editáveis e capazes de realizar movimentos complexos e naturais geralmente exige manipulação manual intensiva e rigging (esqueletização) especializado.
• Restrições de Entrada: A maioria dos métodos de reconstrução animal exige vídeos de múltiplas câmeras ou sequências de vídeo, enquanto a aplicação prática ideal seria a partir de uma única imagem estática.

2. Metodologia

O SMAL-pets propõe uma arquitetura híbrida que integra 3D Gaussian Splatting (3DGS) com o modelo paramétrico SMAL (Skinned Multi-Animal Linear). O pipeline funciona em três fases principais:

A. Preparação e Geração de Dados Sintéticos

• Como a entrada é uma única imagem, o sistema utiliza primeiro um modelo generativo image-to-3D (como TripoSG, SAM3D ou Trellis) para criar uma geometria 3D inicial.
• Essa geometria inicial é usada para renderizar um conjunto de dados multi-visão sintético (pseudo ground truth), que servirá como supervisão para o treinamento do modelo final.
• OSMAL (modelo paramétrico de malha) é utilizado como prior estrutural para garantir a anatomia correta.

B. Treinamento em Duas Etapas (Otimização Híbrida)

O processo de reconstrução ocorre em duas etapas distintas para equilibrar estrutura e detalhe:

1. Etapa 1: Otimização Ligada (Bound Optimization):
   • Os primitivos Gaussianos são inicialmente restritos à superfície da malha SMAL.
   • As posições dos Gaussianos são parametrizadas usando coordenadas baricêntricas relativas aos vértices das faces da malha.
   • Otimiza-se conjuntamente os parâmetros da malha SMAL (forma e pose) e os parâmetros dos Gaussianos para alinhar a estrutura geral ao corpo do animal.
   • São aplicadas regularizações para manter a topologia da malha e evitar configurações esqueléticas degeneradas.
2. Etapa 2: Otimização Desligada (Unbound Optimization):
   • Após 15.000 iterações, os Gaussianos são "desacoplados" da malha.
   • Isso permite que os Gaussianos se movam livremente para capturar detalhes de alta frequência (como pelo) que a malha paramétrica sozinha não consegue representar.
   • Um termo de perda de distância (point-to-mesh distance) é adicionado para garantir que os Gaussianos permaneçam próximos à geometria subjacente da malha, preservando a integridade estrutural sem limitar o detalhe visual.

C. Animação e Skinning Baseado em Faces

• Para animar o avatar, os Gaussianos otimizados são reassociados à malha SMAL articulada.
• O sistema calcula pesos de skinning (pesos de deformação) baseados na distância inversa às faces da malha.
• Durante a inferência, ao modificar os parâmetros de pose da malha SMAL, os Gaussianos sofrem deformação linear (semelhante ao Linear Blend Skinning), permitindo animações naturais e consistentes.

D. Edição e Animação por Texto

• O framework suporta edição semântica via prompts de linguagem natural (usando modelos como DGE - Direct Gaussian Editor) para alterar texturas e aparência.
• Para animação complexa, o sistema utiliza um fluxo de trabalho de "modificação orientada a imagem": gera-se um vídeo de transição entre a pose inicial e uma pose alvo (definida por texto ou imagem de referência) usando modelos como FramePack e HunyuanVideo.
• O algoritmo ActionMesh mapeia esse vídeo de volta para a representação 3D, deformando a malha SMAL e, consequentemente, os Gaussianos.

3. Contribuições Principais

1. Representação Híbrida Inovadora: Integração bem-sucedida de 3D Gaussian Splatting com o modelo paramétrico SMAL, permitindo avatares que são visualmente de alta fidelidade e estruturalmente anatomicamente corretos a partir de uma única imagem.
2. Pipeline de Edição Multimodal: Introdução de um sistema que permite refinar a aparência (textura, pelo) e executar animações complexas através de comandos de linguagem natural, eliminando a necessidade de rigging manual.
3. Fluxo de Trabalho de Animação Automatizado: Desenvolvimento de um método para sintetizar movimentos a partir de reconstruções estáticas, traduzindo priores de vídeo generativo em deformações de malha acionáveis.

4. Resultados

• Qualidade Visual: O método supera os baselines atuais (como DogRecon, GART e AnimalAvatar) na captura de detalhes finos, especialmente no pelo, reduzindo o efeito "plástico" comum em reconstruções 3D.
• Métricas Quantitativas: O SMAL-pets alcançou pontuações superiores no CLIP-Score (medida de similaridade semântica entre a imagem de entrada e o renderizado) em comparação com outros métodos, indicando melhor preservação da identidade e aparência do animal.
• Animação: O sistema demonstrou capacidade de transferir sequências de movimento (como caminhar, sentar, dar a pata) para diferentes raças de cães, mantendo a consistência visual e a anatomia correta.
• Comparação com SOTA: Em testes qualitativos e quantitativos, o SMAL-pets mostrou-se mais robusto na generalização para novas poses e na manutenção da fidelidade visual em comparação com métodos que dependem apenas de dados multi-visão ou modelos puramente generativos.

5. Significado e Impacto

O SMAL-pets representa um avanço significativo na interseção entre reconstrução 3D e modelagem generativa para animais. Ao resolver o problema da falta de dados e da dificuldade de animação, o framework oferece uma ferramenta acessível para:

• Indústria de Entretenimento: Criação rápida de personagens animais para jogos e filmes.
• Realidade Virtual/Aumentada: Geração de avatares personalizados para usuários.
• Pesquisa: Estabelece um novo paradigma para reconstrução de objetos não-humanos, demonstrando que a combinação de priores paramétricos (estrutura) com representações neurais densas (detalhe) é a chave para avatares realistas e animáveis a partir de dados monoculares.

Limitações: O método ainda depende da qualidade do modelo image-to-3D inicial para gerar o conjunto de dados sintético; erros topológicos graves (como membros extras gerados pelo modelo inicial) podem ser herdados. Além disso, rotações de câmera extremas em vídeos sintetizados podem ocasionalmente causar perda de alinhamento no rastreamento de malha.