AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors

Título: AHOY: Humanos Animáveis sob Oclusão a partir de Vídeos do YouTube com Gaussian Splatting e Priors de Difusão de Vídeo

1. O Problema

A reconstrução de humanos 3D fotorealistas e animáveis a partir de vídeos monoculares é um objetivo central na visão computacional e computação gráfica, com aplicações em jogos, realidade virtual e produção de filmes. No entanto, os métodos existentes (baseados em NeRF ou 3DGS) geralmente assumem que o sujeito está totalmente visível e, frequentemente, em uma pose canônica.

Na realidade, a vasta maioria dos vídeos do mundo real (como os do YouTube) contém ocluções severas: o corpo é frequentemente bloqueado por móveis, objetos, outras pessoas ou o próprio cenário. Isso cria desafios fundamentais:

• Grandes regiões do corpo podem nunca ser observadas.
• Não há supervisão multivisão para a maioria das poses.
• Reconstruir um avatar completo e animável a partir desses dados parciais é extremamente difícil, pois os métodos tradicionais falham ao tentar preencher as lacunas não observadas.

2. Metodologia (Pipeline AHOY)

O AHOY propõe um pipeline de quatro etapas para reconstruir avatares 3D completos a partir de vídeos monoculares com oclusão, utilizando Gaussian Splatting (3DGS) e priors de modelos de difusão de vídeo.

Etapa 1: Construção de um Avatar "Grossolano" (Coarse)

• Mapeamento de Textura e Inpainting: O sistema estima parâmetros SMPL e mapeia as texturas visíveis do vídeo para um atlas de textura canônico. Regiões não observadas são preenchidas (inpainting) usando um modelo pré-treinado (FLUX).
• Geração Multivisão Canônica: Um modelo de difusão multivisão gera vistas adicionais (traseira, lateral) a partir da imagem canônica preenchida.
• Avatar Inicial: Um avatar 3DGS inicial e "grossolano" é treinado usando essas vistas canônicas e os quadros observados originais. Este avatar captura a geometria visível, mas possui artefatos nas regiões ocultas.

Etapa 2: Geração de Supervisão Alucinada (Hallucinated Supervision)

Esta é a inovação central para lidar com a falta de dados reais.

• Ajuste Fino (Finetuning) de Identidade: Um modelo de difusão de vídeo (Wan 2.2) é ajustado com LoRA (Low-Rank Adaptation) para aprender a identidade específica da pessoa no vídeo, ignorando a dinâmica de movimento temporal.
• Sequências de Movimento Estruturadas: O avatar "grossolano" é animado em sequências estruturadas (ex: giros de 360° com braços levantados, poses estáticas como sentar).
• Inversão de Fluxo Retificado (RF-Inversion): As renderizações imperfeitas do avatar grossolano são codificadas no espaço latente do modelo de difusão ajustado e depois decodificadas novamente. O modelo "alucina" (preenche) as regiões ocultas com texturas realistas e consistentes com a identidade da pessoa, gerando vídeos de supervisão densos que cobrem todo o corpo de múltiplos ângulos.

Etapa 3: Aprendizado do Avatar Completo sob Inconsistências

Os vídeos gerados pela difusão não são geometricamente consistentes entre si (cada quadro pode ter pequenas variações). Para lidar com isso:

• Decomposição de Pose (Map Pose vs. LBS Pose): O sistema desacopla duas poses:
  • Map Pose: Define a configuração do corpo (ex: braços levantados) e é compartilhada entre quadros similares para garantir consistência nos atributos dos Gaussianos.
  • LBS Pose: É otimizada quadro a quadro para absorver as inconsistências geométricas do modelo de difusão, deformando os Gaussianos para corresponder à orientação correta em cada vista.
• Estratégia de Cabeça/Corpo: Como os modelos de difusão de vídeo frequentemente falham em preservar a identidade facial, o sistema divide o avatar. O corpo é supervisionado pelos vídeos alucinados, enquanto a cabeça é tratada separadamente usando um modelo de difusão facial multivisão (CAP4D) para garantir a fidelidade da identidade.

Etapa 4: Animação e Composição

O avatar final, agora com mapas Gaussianos dependentes da pose, pode ser animado com poses arbitrárias e composto em cenas 3DGS reconstruídas a partir de vídeos casuais de celular.

3. Contribuições Principais

1. Reconstrução sob Oclusão: Um método capaz de reconstruir avatares 3DGS completos e animáveis a partir de vídeos monoculares do YouTube com oclusão severa, transformando conteúdo não controlado em ativos 3D.
2. Supervisão por Alucinação: Uma abordagem inovadora que utiliza modelos de difusão de vídeo ajustados à identidade e inversão de difusão para gerar dados de supervisão densos e realistas para regiões nunca observadas.
3. Arquitetura Canônica para Dependente de Pose: Uma arquitetura de duas etapas que permite aprender deformações dependentes da pose de alta fidelidade, superando a falta de dados multivisão reais.
4. Decomposição de Pose (Map/LBS): Uma técnica para absorver inconsistências multivisão inerentes aos dados gerados por difusão, permitindo o treinamento robusto de avatares.
5. Preservação de Identidade Facial: Uma estratégia de supervisão dividida (cabeça/corpo) que evita a perda de identidade facial comum em modelos de difusão de vídeo.

4. Resultados e Avaliação

O AHOY foi avaliado em vídeos do YouTube com oclusão e em dados de captura multivisão (dataset BEHAVE) com oclusão simulada.

• Qualidade de Reconstrução: O método superou o estado da arte (SOTA) em métricas como PSNR, SSIM e LPIPS, tanto para reconstrução estática quanto para animação em novas poses.
• Comparação com Baselines: Métodos existentes (como LHM, IDOL, PSHuman) falharam em gerar avatares completos sob oclusão ou produziram resultados de baixa fidelidade. O AHOY conseguiu reconstruir o corpo inteiro e animá-lo corretamente.
• Ablação: Estudos de ablação confirmaram que cada componente (especialmente a geração de supervisão alucinada e a decomposição de pose) é crucial para o desempenho final.
• Aplicação Prática: Os avatares foram demonstrados sendo animados e integrados em cenas 3DGS realistas, mostrando robustez para uso em ambientes virtuais.

5. Significado e Impacto

O trabalho AHOY representa um avanço significativo ao desbloquear o conteúdo do YouTube como uma fonte inesgotável de ativos humanos 3D. Ao resolver o problema da oclusão severa, o método elimina a necessidade de capturas controladas, rigs multivisão ou cooperação do sujeito.

A principal inovação técnica é o uso de priors de difusão não apenas para geração, mas como um mecanismo de supervisão para preencher lacunas geométricas e texturais em dados reais. Isso permite a criação de avatares digitais de alta fidelidade a partir de vídeos "selvagens" (in-the-wild), abrindo caminho para aplicações massivas em metaverso, cinema e jogos, onde a diversidade de corpos e roupas pode ser capturada diretamente da internet.

Limitações: O método herda limitações dos modelos de difusão (pode alucinar detalhes incorretos em regiões nunca vistas) e é computacionalmente mais lento que métodos de inferência direta (feed-forward) devido às múltiplas etapas de otimização e inferência de difusão.