Resumen Técnico: CoGS – Escenas de Humanos y Objetos con Dinámica Composicional mediante Gaussian Splatting a partir de Video Monocular

1. Planteamiento del Problema

La reconstrucción de escenas dinámicas que involucran interacciones entre humanos y objetos a partir de un único video monocular es un problema inverso desafiante. La dificultad central radica en que la escena comprende tres componentes distintos —el humano articulado, el objeto rígido manipulado y el fondo estático— que obedecen diferentes modelos de movimiento, pero comparten los mismos píxeles de la imagen.

Los métodos existentes de campos de radiancia dinámica y Gaussian splatting suelen tratar toda la escena como un único campo deformable. Este enfoque conduce al "entrelazamiento de movimiento" (motion entanglement), donde el movimiento de un objeto se filtra en la representación humana o en el fondo estático, y viceversa. Además, la supervisión monocular es inherentemente subdeterminada, particularmente para las regiones humanas que rara vez son observadas, están ocluidas o presentan oclusión propia. Sin una separación explícita, estos métodos tienen dificultades para mantener la consistencia geométrica y la fidelidad fotométrica en escenarios de interacción complejos.

2. Metodología: Marco de Trabajo CoGS

Los autores proponen CoGS, un marco de Gaussian-splatting composicional que descompone el video en tres ramas coordinadas, cada una con su propio modelo de movimiento y estrategia de supervisión. El proceso consta de preprocesamiento, modelado específico por rama y un currículo de optimización por etapas.

2.1. Descomposición Composicional

CoGS separa la escena en:

1. Rama Humana Articulada: Inicializada desde un prior canónico completo (basado en SMPL). Utiliza pesos de deformación de superficie (skinning weights) para deformar los Gaussianas canónicas de acuerdo con las poses corporales estimadas.
2. Rama de Objeto Rígido: Modela el objeto manipulado como un campo de Gaussianas separado con su propia trayectoria rígida. El movimiento del objeto está parametrizado por un conjunto compacto de fotogramas clave (traslación y rotación) interpolados mediante splines de cubic-Hermite e interpolación esférica lineal (SLERP) para asegurar la suavidad temporal.
3. Rama de Escena Estática: Representa el fondo como un campo de Gaussianas estáticas, inicializado a partir de la geometría dispersa de COLMAP. Opcionalmente, es regularizado por primitivas planas débiles extraídas de la escena para estabilizar superficies grandes de baja textura.

2.2. Anclaje Consciente de la Visibilidad

Una innovación crítica es el mecanismo de anclaje humano consciente de la visibilidad (visibility-aware human anchoring). Dado que los videos monoculares a menudo carecen de observación de ciertas partes del cuerpo (por ejemplo, debido a la oclusión por parte del objeto o la oclusión propia), CoGS no depende únicamente de la evidencia fotométrica para estas regiones.

• Para cada Gaussian humana, se calcula una puntuación de visibilidad basada en si se encuentra dentro de la máscara humana, fuera de la máscara del objeto y si contribuye con una opacidad no despreciable.
• Las Gaussianas con puntuaciones de visibilidad bajas están "suavemente atadas" a la semilla humana canónica mediante una pérdida de anclaje (anchor loss), evitando que se desplacen o colapsen.
• Las Gaussianas bien observadas tienen permitido moverse libremente para ajustarse a la evidencia de la imagen.

2.3. Programa de Optimización de Seis Etapas

Para evitar la competencia entre ramas por los mismos píxeles y para estabilizar la optimización, CoGS emplea un currículo de seis etapas:

1. Estabilización Humana (Etapas I–II): La rama humana se entrena de forma independiente utilizando la semilla prior, supervisión de RGB/máscara y anclaje de visibilidad. La densificación se desactiva para preservar la estructura del prior.
2. Estabilización del Objeto (Etapas III–IV): Con la rama humana congelada, la rama del objeto se optimiza utilizando restricciones de silueta, pose y movimiento. La densificación del objeto se retrasa y se limita para evitar que los errores de pose se oculten mediante un crecimiento incontrolado de las Gaussianas.
3. Fusión Composicional (Etapas V–VI): Las ramas humana y de objeto ya estabilizadas se fusionan con un nuevo campo de escena. El renderizador completo se entrena con supervisión de imagen completa, consistencia de primer plano y regularización planar de la escena retrasada. Un pase final de "reanudación real" (true-resume) refina la apariencia y la consistencia de alfa.

3. Contribuciones Clave

El artículo identifica cuatro contribuciones primarias:

• Formulación Composicional: Un novedoso enfoque de Gaussian-splatting que separa explícitamente el video en ramas de humano articulado, objeto rígido y escena estática, asignando distintos modelos de movimiento a cada una.
• Supervisión Consciente de la Fiabilidad: La introducción del anclaje consciente de la visibilidad, que preserva las regiones humanas débilmente observadas al atarlas a un prior canónico mientras permite que las regiones observadas se adapten a la evidencia fotométrica.
• Programa de Optimización por Etapas: Un programa de entrenamiento de seis etapas que estabiliza los componentes individuales antes de fusionarlos, reduciendo la competencia entre ramas y retrasando los cambios agresivos de densidad hasta que los componentes tengan un soporte estable.
• Validación Empírica: Evaluación exhaustiva en los benchmarks HOSNeRF (interacción humano-objeto) y NeuMan (humano-escena en entornos naturales), demostrando mejoras tanto en la calidad de la reconstrucción de fotograma completo como en la enfocada en el humano.

4. Resultados Experimentales

Los autores evaluaron CoGS frente a otros métodos de vanguardia para escenas dinámicas y escenas con humanos (por ejemplo, K-Planes, 4DGS, NeuMan, HUGS).

• HOSNeRF (Interacción Humano-Objeto): CoGS logró el mejor PSNR en las seis escenas probadas y el mejor LPIPS en cinco de las seis escenas. Mostró mejoras significativas en escenarios que involucran oclusión de objetos (por ejemplo, Mochila, Maleta) y movimiento articulado rápido (por ejemplo, Tenis, Danza).
• NeuMan (Humano-Escena): En evaluaciones de fotograma completo, CoGS superó a todos los métodos anteriores en todas las métricas (PSNR, SSIM, LPIPS), con mejoras de PSNR que oscilan entre el 8.46% y el 16.46% y reducciones de LPIPS de entre el 40.91% y el 61.54%.
• Regiones Solo de Humanos: Al evaluar únicamente las regiones humanas dinámicas (excluyendo el fondo estático), CoGS mostró ganancias aún mayores, con reducciones de LPIPS del 66.67% al 81.25% en varias secuencias. Esto resalta la efectividad del prior consciente de la visibilidad para reconstruir partes del cuerpo parcialmente observadas.
• Estudios de Ablación: Eliminar la semilla del prior humano o la del objeto resultó en un aumento del LPIPS (+0.026 y +0.029, respectivamente), confirmando que la inicialización es crucial para manejar las oclusiones. Del mismo modo, eliminar las pérdidas de alfa/frontera humana o la regularización planar de la escena retrasada degradó el rendimiento, indicando que cada componente del flujo de trabajo aborda modos de fallo específicos.

5. Significado y Reivindicaciones

El artículo afirma que CoGS representa un paso significativo hacia adelante en la reconstrucción de escenas dinámicas monoculares al abordar el problema fundamental del entrelazamiento de movimiento. Al separar explícitamente la escena en componentes con distintas restricciones físicas, el método permite que cada parte sea optimizada bajo las señales de supervisión más apropiadas.

Los autores enfatizan que su enfoque no requiere datos multivista ni hardware complejo, basándose en su lugar en entradas monoculares estándar y herramientas de preprocesamiento listas para usar (COLMAP, estimación SMPL, SAM). La importancia reside en lograr una mayor fidelidad y calidad perceptual en escenarios "en la naturaleza" (in-the-wild) donde los objetos ocultan a los humanos y viceversa, un desafío común que los métodos de campo único luchan por resolver.

Limitaciones reconocidas por los autores:

• Dependencia de la calidad del preprocesamiento monocular (por ejemplo, estimación de pose, segmentación).
• Incapacidad para recuperar completamente la identidad o los detalles de la vestimenta en regiones que nunca son observadas.
• El uso de primitivas planas proporciona una geometría de escena débil, en lugar de completa.
• La suposición de que los objetos manipulados son rígidos, lo que limita la aplicabilidad a objetos deformables.

Se sugiere que el trabajo futuro se centre en refinar conjuntamente el preprocesamiento y la reconstrucción, dar soporte a objetos deformables y fortalecer la recuperación de la geometría de la escena.