UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models

Imagine que você está segurando um smartphone, gravando um vídeo rápido da sua sala de estar enquanto caminha pelo ambiente. Agora, imagine um truque de mágica onde você pudesse teletransportar instantaneamente esse vídeo para um ângulo completamente diferente — digamos, flutuando perto do teto ou espiando através de uma janela que você nunca filmou — e ver a sala a partir desse novo ponto com clareza perfeita. Este é o sonho da "síntese de novos olhares" (novel view synthesis), um campo da ciência da computação que tenta ensinar as máquinas a compreender o espaço 3D a partir de imagens 2D planas. Por muito tempo, os computadores foram péssimos nisso. Se você pedisse a eles para adivinhar o que há atrás de uma cadeira em uma foto, eles frequentemente davam palpites errados, criando manchas estranhas e esticadas ou buracos invisíveis. Eles ou precisavam de centenas de fotos tiradas de todos os ângulos (o que é entediante e difícil de fazer) ou tentavam "alucinar" as partes que faltavam, o que muitas vezes resultava em pesadelos geométricos onde as paredes dobravam como borracha. Mas e se pudéssemos combinar o melhor dos dois mundos: as regras rígidas da geometria (para que as paredes permaneçam retas) com o poder criativo da IA moderna (para que as partes que faltam pareçam reais)? Essa é a grande questão que pesquisadores estão enfrentando para tornar a realidade virtual, os jogos e as redes sociais verdadeiramente imersivos.

Apresentamos o UniWorld-View, um novo método desenvolvido por pesquisadores da Universidade de Pequim e da Rabbitpre AI que atua como um diretor superinteligente para esses filmes 3D. O problema central que eles resolveram é o que acontece quando você tenta olhar para uma cena de um ângulo muito diferente daquele que você filmou. Pense nisso como tentar desenhar o mapa de uma cidade que você só viu de uma esquina de rua. Se você tentar adivinhar o que há do outro lado de um prédio, pode acidentalmente desenhar a porta da frente do prédio na parede de trás, ou esticar uma árvore através do céu. Métodos anteriores de IA frequentemente cometiam esses erros de "rasgamento" porque não sabiam quais partes da cena estavam escondidas (ocultas) e quais estavam visíveis.

O UniWorld-View corrige isso com uma estratégia inteligente de duas etapas. Primeiro, ele constrói uma "nuvem de pontos" 3D bruta (uma nuvem digital de pontos que representa a cena) a partir do seu vídeo. Mas, em vez de apenas projetar esses pontos em uma nova tela, ele usa um truque de "tripla reprojeção". Imagine tirar uma foto de uma sombra, depois tirar uma foto do reflexo dessa sombra e, finalmente, comparar as duas para descobrir exatamente o que está escondido atrás do objeto. Isso permite que a IA cra uma "máscara" perfeita que diz exatamente quais pixels são reais e quais são apenas buracos vazios. Ele também verifica as "normais" (a direção para a qual uma superfície está voltada) para garantir que não mostre acidentalmente a parte de trás de uma parede.

Depois que a IA tem esse mapa limpo e geometricamente preciso do que deveria estar lá, ela usa um poderoso "modelo de difusão de vídeo" (um tipo de IA que gera vídeo ao transformar lentamente o ruído em uma imagem clara) para preencher as lacunas. Mas aqui está o detalhe: ela não apenas adivinha. Ela usa um sistema de "fluxo duplo". Um fluxo observa o mapa geométrico para garantir que a câmera se mova exatamente para onde você deseja, e o outro fluxo observa o seu vídeo original para copiar as texturas e cores. Isso garante que, se você mover a câmera para um novo lugar, os objetos permaneçam sólidos e a iluminação pareça real, em vez de derreterem em uma sopa de pixels.

Os pesquisadores testaram o método no benchmark "WorldScore", um teste rigoroso de quão bem a IA pode controlar movimentos de câmera e manter a consistência de cenas 3D. O UniWorld-View obteve a pontuação mais alta em cenas "estáticas" (85,53) e ficou em segundo lugar em cenas dinâmicas, superando outros modelos de ponta. Também mostrou que pode gerar novos olhares de alta qualidade a partir de vídeos únicos sem a necessidade de ser treinado especificamente para essas cenas (aprendizado zero-shot). Em resumo, o UniWorld-View ensina a IA a respeitar as regras da física e da geometria, sendo criativa o suficiente para imaginar o que está atrás da cortina, pavimentando o caminho para mundos virtuais mais realistas onde você pode olhar ao redor livremente, mesmo que o vídeo original tenha sido apenas uma selfie rápida.