AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors

Resumen Técnico: AHOY

1. El Problema

La reconstrucción de avatares humanos 3D fotorrealistas y animables a partir de videos monoculares es un objetivo fundamental en visión por computadora y gráficos. Sin embargo, los métodos existentes (basados en NeRF o 3DGS) asumen generalmente que el sujeto está completamente visible y sin oclusiones, a menudo en una pose canónica.

En la realidad, la inmensa mayoría del contenido de video (como el de YouTube) presenta sujetos fuertemente ocluidos por muebles, objetos u otras personas. Esto plantea desafíos fundamentales:

• Grandes regiones del cuerpo nunca son observadas por la cámara.
• No existe supervisión multi-vista por pose para aprender deformaciones dependientes de la postura.
• Los métodos actuales fallan al intentar reconstruir cuerpos completos a partir de estas observaciones parciales, generando artefactos o modelos incompletos.

2. Metodología (Pipeline AHOY)

AHOY propone un pipeline de cuatro etapas para reconstruir un avatar 3D completo (basado en 3D Gaussian Splatting - 3DGS) a partir de un video monocular con oclusiones, utilizando priors de difusión de video.

Fase 1: Construcción de un Avatar Coarse (Bastante)

• Se estima la pose y forma (SMPL) y se mapean las texturas visibles del video a un atlas de textura canónico utilizando correspondencias DensePose.
• Las regiones no observadas se rellenan (inpainting) utilizando un modelo preentrenado (FLUX).
• Se generan vistas canónicas multi-vista (frente, lados, espalda) mediante un modelo de difusión multi-vista.
• Se entrena un avatar 3DGS "coarse" utilizando mapas gaussianos canónicos (invariantes en el tiempo) supervisados por las vistas generadas y los frames originales (solo en regiones visibles).

Fase 2: Generación de Supervisión "Alucinada" (Hallucinated Supervision)

• Para cubrir las regiones nunca observadas, se utiliza un modelo de difusión de video finetuneado (con LoRA) específico para la identidad del sujeto.
• Se renderiza el avatar "coarse" en secuencias de movimiento estructuradas (ej. giros de 360° combinados con acciones como levantar brazos).
• Mediante Inversión de Flujo Rectificado (RF-Inversion), estos renderizados se pasan por el espacio latente del modelo de difusión. El modelo "alucina" o rellena las texturas faltantes y corrige los artefactos, generando videos de supervisión densos que cubren todo el cuerpo desde múltiples ángulos, manteniendo la identidad del sujeto.

Fase 3: Aprendizaje del Avatar Completo (Full Avatar)

• Mapas Gaussianos Dependientes de la Pose: Gracias a la supervisión densa generada en la Fase 2, el sistema transiciona de mapas canónicos a mapas dependientes de la pose (usando una red StyleUNet).
• Desacoplamiento de Poses (Map-Pose / LBS-Pose): Para manejar las inconsistencias geométricas inherentes a los datos generados por difusión (que no son perfectamente consistentes entre vistas), se introducen dos poses:
  • Map-Pose: La pose de entrada para la red que predice los atributos gaussianos (compartida entre frames similares para consistencia).
  • LBS-Pose: La pose que deforma los gaussianos en el espacio 3D, optimizada por frame para absorber las inconsistencias geométricas del video generado.
• Protección de la Identidad Facial: Dado que los modelos de difusión suelen generar caras inconsistentes, se separa la cabeza del cuerpo. La cabeza se supervisa mediante un modelo de difusión facial multi-vista (CAP4D) que preserva la identidad, mientras que el cuerpo se supervisa con los videos alucinados.

Fase 4: Animación y Composición

• El avatar resultante puede ser animado con poses nuevas (SMPL) y compuesto en escenas 3DGS reconstruidas a partir de videos casuales de teléfonos móviles.

3. Contribuciones Clave

1. Reconstrucción bajo Oclusión: Un método capaz de generar avatares 3DGS animables completos a partir de videos monoculares "in-the-wild" con oclusiones severas, desbloqueando el uso de videos de YouTube como fuente de activos 3D.
2. Supervisión mediante Alucinación: Un enfoque novedoso que utiliza modelos de difusión de video finetuneados e inversión de flujo para generar supervisión densa y realista para regiones nunca observadas.
3. Arquitectura Canónica a Dependiente de la Pose: Un diseño de dos etapas que permite aprender deformaciones dependientes de la pose de alta fidelidad en 3DGS, incluso sin captura multi-vista real.
4. Desacoplamiento Map-Pose/LBS-Pose: Una técnica que permite aprender mapas gaussianos de alta fidelidad a partir de datos generados inconsistentes, absorbiendo las discrepancias geométricas en la deformación LBS en lugar de en la textura base.
5. Estrategia de Supervisión Dividida (Cabeza/Cuerpo): Un mecanismo para preservar la identidad facial mediante un modelo especializado, evitando que los artefactos de la difusión de video corrompan el rostro.

4. Resultados y Evaluación

El método se evaluó en videos de YouTube con oclusiones y en el dataset BEHAVE (capturas multi-vista con oclusiones significativas).

• Cuantitativo: AHOY supera al estado del arte (SOTA) en métricas PSNR, SSIM y LPIPS tanto en reconstrucción estática como en animación con nuevas poses. En BEHAVE, logra un PSNR de 24.12 en vista nueva y 22.81 en nueva pose, superando a métodos como LHM, IDOL, PSHuman y SyncHuman.
• Cualitativo:
  • Genera avatares completos y realistas donde otros métodos fallan o producen artefactos graves bajo oclusión.
  • Los avatares son robustos para animarse en poses no vistas durante el entrenamiento.
  • Permite la composición fotorrealista en escenas 3DGS reconstruidas de videos casuales.
• Estudios de Ablación: Se demostró que cada componente (la alucinación, la inversión RF, el desacoplamiento de poses y la división cabeza/cuerpo) es crítico para el rendimiento final. Sin ellos, la calidad cae drásticamente (ej. sin inversión RF, los artefactos de renderizado persisten; sin desacoplamiento, las inconsistencias multi-vista causan borrosidad).

5. Significado e Impacto

AHOY representa un cambio de paradigma en la reconstrucción humana 3D:

• Democratización de Activos 3D: Permite extraer avatares 3D de cualquier video existente en internet, eliminando la necesidad de rigs de captura multi-vista costosos, cooperación del sujeto o entornos controlados.
• Superación de la Oclusión: Transforma la oclusión, tradicionalmente un obstáculo insalvable, en un problema resoluble mediante priors generativos.
• Aplicaciones Prácticas: Abre la puerta a aplicaciones masivas en videojuegos, realidad virtual, cine y metaverso, donde se pueden generar personajes únicos a partir de contenido de video cotidiano.

Limitaciones: El método hereda las limitaciones de los modelos de difusión (puede alucinar detalles incorrectos en regiones nunca vistas) y es computacionalmente más lento que los métodos de inferencia directa (feed-forward) debido a las múltiples etapas de optimización e inferencia de difusión.