Resumo Técnico: CoGS – Compositional Dynamic Human-Object Scenes Gaussian Splatting a partir de Vídeo Monocular

1. Definição do Problema

A reconstrução de cenas dinâmicas envolvendo interações humano-objeto a partir de um único vídeo monocular é um problema inverso desafiador. A dificuldade central reside no fato de que a cena compreende três componentes distintos — o humano articulado, o objeto rígido manipulado e o fundo estático — que obedecem a diferentes modelos de movimento, mas compartilham os mesmos pixels da imagem.

Métodos existentes de campos de radiância dinâmica e Gaussian splatting frequentemente tratam toda a cena como um campo de deformação único. Essa abordagem leva ao "emaranhamento de movimento" (motion entanglement), onde o movimento de um objeto vaza para a representação humana ou para o fundo estático, e vice-versa. Além disso, a supervisão monocular é inerentemente subdeterminada, particularmente para regiões humanas que são raramente observadas, ocluídas ou auto-ocluidas. Sem uma separação explícita, esses métodos têm dificuldade em manter a consistência geométrica e a fidelidade fotométrica em cenários de interação complexos.

2. Metodologia: Estrutura CoGS

Os autores propõem o CoGS, uma estrutura de Gaussian-splatting composicional que decompõe o vídeo em três ramos coordenados, cada um com seu próprio modelo de movimento e estratégia de supervisão. O pipeline consiste em pré-processamento, modelagem específica por ramo e um currículo de otimização em estágios.

2.1. Decomposição Composicional

O CoGS separa a cena em:

1. Ramo Humano Articulado: Inicializado a partir de um prior canônico completo (baseado em SMPL). Utiliza pesos de skinning baseados em superfície para deformar os Gaussians canônicos de acordo com as poses corporais estimadas.
2. Ramo de Objeto Rígido: Modela o objeto manipulado como um campo Gaussiano separado com sua própria trajetória rígida. O movimento do objeto é parametrizado por um conjunto compacto de keyframes (translação e rotação) interpolados via splines de Hermite cúbico e interpolação esférica linear (SLERP) para garantir suavidade temporal.
3. Cena Estática: Representa o fundo como um campo Gaussiano estático, inicializado a partir da geometria esparsa do COLMAP. É opcionalmente regularizado por primitivas planas fracas extraídas da cena para estabilizar superfícies amplas de baixa textura.

2.2. Ancoragem Consciente de Visibilidade

Uma inovação crítica é o mecanismo de ancoragem humana consciente de visibilidade. Como vídeos monoculares frequentemente carecem de observação de certas partes do corpo (ex: devido à oclusão pelo objeto ou auto-oclusão), o CoGS não depende exclusivamente de evidências fotométricas para essas regiões.

• Para cada Gaussian humano, um score de visibilidade é calculado com base em se ele está dentro da máscara humana, fora da máscara do objeto e se contribui com uma opacidade não negligenciável.
• Gaussians com baixos scores de visibilidade são "suavemente amarrados" à semente humana canônica via uma perda de ancoragem (anchor loss), evitando que derivem ou colapsem.
• Gaussians bem observados são permitidos para se mover livremente para ajustar-se à evidência da imagem.

2.3. Cronograma de Otimização de Seis Estágios

Para evitar a competição entre os ramos pelos mesmos pixels e para estabilizar a otimização, o CoGS emprega um currículo de seis estágios:

1. Estabilização Humana (Estágios I–II): O ramo humano é treinado independentemente usando a semente prior, supervisão de RGB/máscara e ancoragem de visibilidade. A densificação é desativada para preservar a estrutura do prior.
2. Estabilização do Objeto (Estágios III–IV): Com o ramo humano congelado, o ramo do objeto é otimizado usando restrições de silhueta, pose e movimento. A densificação do objeto é retardada e limitada para evitar que erros de pose sejam ocultados pelo crescimento descontrolado dos Gaussians.
3. Fusão Composicional (Estágios V–VI): Os ramos estabilizados de humano e objeto são fundidos com um novo campo de cena. O renderizador completo é treinado com supervisão de imagem total, consistência de primeiro plano e regularização planar de cena tardia. Uma passagem final de "true-resume" refina a aparência e a consistência de alpha.

3. Principais Contribuições

O artigo identifica quatro contribuições primárias:

• Formulação Composicional: Uma nova abordagem de Gaussian-splatting que separa explicitamente o vídeo em ramos de humano articulado, objeto rígido e cena estática, atribuindo modelos de movimento distintos para cada um.
• Supervisão Consciente de Confiabilidade: A introdução da ancoragem consciente de visibilidade, que preserva regiões humanas fracamente observadas ao amarrá-las a um prior canônico enquanto permite que regiões observadas se adaptem à evidência fotométrica.
• Cronograma de Otimização em Estágios: Um cronograma de treinamento de seis estágios que estabiliza componentes individuais antes de fundi-los, reduzindo a competição entre ramos e retardando mudanças agressivas de densidade até que os componentes tenham suporte estável.
• Validação Empírica: Avaliação abrangente nos benchmarks HOSNeRF (interação humano-objeto) e NeuMan (humano-cena em ambiente natural), demonstrando melhorias tanto na qualidade de reconstrução de quadro total quanto focada no humano.

4. Resultados Experimentais

Os autores avaliaram o CoGS contra baselines de ponta de cena dinâmica e humano-cena (ex: K-Planes, 4DGS, NeuMan, HUGS).

• HOSNeRF (Interação Humano-Objeto): O CoGS alcançou o melhor PSNR em todas as seis cenas testadas e o melhor LPIPS em cinco de seis cenas. Demonstrou melhorias significativas em cenários envolvendo oclusão de objetos (ex: Mochila, Mala) e movimento articulado rápido (ex: Tênis, Dança).
• NeuMan (Humano-Cena): Em avaliações de quadro total, o CoGS superou todos os métodos anteriores em todas as métricas (PSмR, SSIM, LPIPS), com melhorias de PSNR variando de 8,46% a 16,46% e reduções de LPIPS de 40,91% a 61,54%.
• Regiões Apenas Humanas: Ao avaliar apenas as regiões dinâmicas humanas (excluindo o fundo estático), o CoGS mostrou ganhos ainda maiores, com reduções de LPIPS de 66,67% a 81,25% em várias sequências. Isso destaca a eficácia do prior consciente de visibilidade na reconstrução de partes do corpo parcialmente observadas.
• Estudos de Ablação: Remover a semente do prior humano ou do objeto resultou em aumento de LPIPS (+0,026 e +0,029, respectivamente), confirmando que a inicialização é crucial para lidar com oclusões. Da mesma forma, remover as perdas de alpha/fronteira humana ou a regularização planar de cena tardia degradou o desempenho, indicando que cada componente do pipeline aborda modos específicos de falha.

5. Significância e Alegações

O artigo afirma que o CoGS representa um passo significativo à frente na reconstrução de cenas dinâmicas monoculares ao abordar a questão fundamental do emaranhamento de movimento. Ao separar explicitamente a cena em componentes com restrições físicas distintas, o método permite que cada parte seja otimizada sob os sinais de supervisão mais apropriados.

Os autores enfatizam que sua abordagem não requer dados multiview ou hardware complexo, dependendo, em vez disso, de entradas monoculares padrão e ferramentas de pré-processamento prontas para uso (COLMAP, estimativa SMPL, SAM). A significância reside em alcançar maior fidelidade e qualidade perceptual em cenários "in-the-wild", onde objetos ocluem humanos e vice-versa, um desafio comum que métodos de campo único têm dificuldade em resolver.

Limitações reconhecidas pelos autores:

• Dependência da qualidade do pré-processamento monocular (ex: estimativa de pose, segmentação).
• Incapacidade de recuperar totalmente a identidade ou detalhes de vestuário em regiões que nunca foram observadas.
• O uso de primitivas planares fornece apenas uma geometria de cena fraca, não completa.
• A suposição de que os objetos manipulados são rígidos, o que limita a aplicabilidade a objetos deformáveis.

Sugere-se que trabalhos futuros foquem em refinar conjuntamente o pré-processamento e a reconstrução, suportar objetos deformáveis e fortalecer a recuperação da geometria da cena.