Generating Humanless Environment Walkthroughs from Egocentric Walking Tour Videos

1. O Problema

Vídeos de "passeio" (walking tours) em primeira pessoa (ego-cêntricos) são uma fonte rica de dados para modelagem visual de ambientes urbanos, essenciais para áreas como renderização neural 3D, robótica e direção autônoma. No entanto, a utilidade desses vídeos para a extração de ambientes estáticos é severamente limitada pela presença significativa de humanos (transientes) que ocupam uma grande fração dos pixels e ocluem a estrutura da cena.

• Desafio Principal: Remover pessoas e seus efeitos associados (como sombras e acessórios) de vídeos de passeio ego-cêntricos de forma realista.
• Limitação de Métodos Existentes: Modelos de estado da arte, como o Casper (baseado em difusão para Omnimatte), funcionam bem quando há poucas pessoas distantes, mas falham em gerar artefatos razoáveis quando confrontados com multidões densas ou quando as pessoas estão muito próximas da câmera, devido a uma mudança de domínio (domain shift) entre seus dados de treinamento e os vídeos de passeio reais.

2. Metodologia

A abordagem proposta, chamada CrowdEraser, baseia-se no ajuste fino (fine-tuning) de um modelo de difusão de vídeo para a tarefa de inpainting (preenchimento) de objetos e efeitos. A metodologia divide-se em três pilares principais:

A. Construção do Dataset EgoCrowds (Semi-sintético)

Como não existem pares de vídeos reais (mesma cena com e sem multidão) capturados sob condições idênticas de iluminação e movimento de câmera, os autores criaram o dataset EgoCrowds de forma semi-sintética:

• Fontes: Coletaram 1.000 pares de clipes de 7 segundos de vídeos de passeio reais de 50 cidades ao redor do mundo.
• Composição:
  • Fundo (Background): Clipes "vazios" ou com poucas pessoas (filtrados automaticamente).
  • Primeiro Plano (Foreground): Clipes com pessoas e multidões.
  • Síntese: Os clipes de fundo foram combinados com os de primeiro plano. Para garantir realismo, foram adicionados efeitos de sombra simulados sobre os humanos, gerados através de transformações afins aleatórias (rotação, cisalhamento, escala) e convolução com kernel Gaussiano para criar sombras suaves.
• Diversidade: O dataset cobre uma distribuição uniforme de níveis de ocupação humana (Crowd%), variando de 0% a 50% dos pixels da imagem.

B. O Modelo CrowdEraser

• Base: O modelo utiliza o Casper, um modelo de difusão de vídeo desenvolvido para Generative Omnimatte, que já possui a capacidade de associar objetos aos seus efeitos (sombras, reflexos).
• Ajuste Fino: O Casper foi ajustado no dataset EgoCrowds usando uma função de perda composta:
  1. Perda de Denoising Base: Minimiza a diferença entre o ruído previsto e o ruído real.
  2. Perda de Movimento (Motion Loss): Penaliza discrepâncias nas derivadas temporais do ruído entre quadros consecutivos, garantindo consistência temporal suave.
• Entrada: O modelo recebe o vídeo original, a máscara dos humanos e um prompt de texto ("Uma cena bonita, vazia e sem pessoas").

C. Pipeline de Dados

O pipeline envolve a extração de clipes, filtragem por qualidade (luminância, detecção de mudanças de cena, remoção de legendas/adesivos via LLM) e a geração de máscaras de sombra dinâmicas para cada instância humana antes da composição final.

3. Principais Contribuições

1. Dataset EgoCrowds: A criação de um dataset supervisionado de 1.000 pares de vídeos (com e sem multidão) com sombras simuladas, cobrindo diversas cidades e níveis de densidade humana, preenchendo uma lacuna crítica no treinamento de modelos de remoção de objetos.
2. CrowdEraser: Um modelo de difusão otimizado especificamente para remover humanos e sombras em vídeos de passeio, superando os limites de modelos genéricos de inpainting.
3. Validação em Modelagem 3D: Demonstração de que os vídeos limpos gerados permitem a reconstrução 3D/4D de ambientes urbanos de alta fidelidade, algo impossível com os vídeos originais devido à oclusão constante.

4. Resultados

Os resultados foram avaliados qualitativa e quantitativamente no conjunto de teste do EgoCrowds e em vídeos reais.

• Métricas Quantitativas: O CrowdEraser superou consistentemente os baselines (Casper, ProPainter, DiffuEraser) em métricas padrão (PSNR, LPIPS, DreamSim). A melhoria foi mais pronunciada à medida que o Crowd% (porcentagem de pixels ocluídos) aumentava.
  • Exemplo: Em cenários com 40-50% de oclusão, o CrowdEraser manteve um PSNR médio de 23.31, enquanto o ProPainter caiu para 20.93 e o Casper para 19.24.
• Análise Qualitativa:
  • Métodos concorrentes tendem a borrar grandes áreas ocluídas ou falhar na remoção de sombras nítidas.
  • O Casper original tende a "alucinar" objetos ou pessoas dentro das máscaras grandes.
  • O CrowdEraser preserva a estrutura do fundo e gera sombras coerentes, mesmo em cenários densos.
• Estudo de Ablação:
  • A remoção da simulação de sombra resultou em falhas na associação correta das sombras aos humanos.
  • O treinamento apenas com máscaras pequenas (baixo Crowd%) falhou em cenários de multidão, causando oclusões constantes e "sangramento" de cores. A distribuição uniforme de Crowd% foi crucial para a robustez.

5. Significado e Impacto

O trabalho demonstra que a remoção de humanos é um passo fundamental para viabilizar o uso de vídeos de passeio massivos (disponíveis no YouTube) para a construção de modelos de cidades digitais.

• Aplicações Práticas: Os vídeos limpos gerados permitem a reconstrução 3D estável e detalhada de ambientes urbanos usando técnicas de ponta (como o SpatialTrackerV2), que falham quando aplicadas diretamente a vídeos com multidões devido à inconsistência visual e oclusão prolongada.
• Limitações: O modelo ainda pode ter dificuldade em recuperar detalhes de alta frequência em cenários de oclusão extrema (>50%) e pode apresentar inconsistência temporal em vídeos muito longos com oclusões sustentadas, sugerindo futuras direções para mecanismos de memória temporal e restrições geométricas 3D.

Em resumo, o CrowdEraser oferece uma solução prática e eficaz para transformar vídeos de passeios urbanos caóticos em ambientes digitais limpos e modeláveis, expandindo o potencial de dados de visão computacional para o mundo real.