UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models

Imagina que sostienes un teléfono inteligente, grabando un video rápido de tu sala mientras caminas alrededor. Ahora, imagina un truco de magia donde pudieras teletransportar instantáneamente ese video a un ángulo completamente diferente —por ejemplo, flotando cerca del techo o espiando a través de una ventana que nunca filmaste— y ver la habitación desde ese nuevo lugar con total claridad. Este es el sueño de la "síntesis de vistas novedosas", un campo de la informática que intenta enseñar a las máquinas cómo entender el espacio 3D a partir de imágenes planas en 2D. Durante mucho tiempo, las computadoras fueron pésimas en esto. Si les pedías que adivinaran qué hay detrás de una silla en una foto, a menudo simplemente adivinaban mal, creando manchas extrañas y estiradas o agujeros invisibles. O bien necesitaban cientos de fotos tomadas desde cada ángulo (lo cual es aburrido y difícil de hacer) o intentaban "alucinar" las partes faltantes, lo que a menudo resultaba en pesadillas geométricas donde las paredes se doblaban como si fueran de goma. Pero, ¿qué pasaría si pudiéramos combinar lo mejor de ambos mundos: las reglas estrictas de la geometría (para que las paredes se mantengan rectas) con el poder creativo de la IA moderna (para que las partes faltantes parezcan reales)? Esa es la gran pregunta que los investigadores están abordando para hacer que la realidad virtual, los videojuegos y las redes sociales se sientan verdaderamente inmersivos.

Presentamos UniWorld-View, un nuevo método desarrollado por investigadores de la Universidad de Pekín y Rabbitpre AI que actúa como un director superinteligente para estas películas en 3D. El problema central que resolvieron es qué sucede cuando intentas mirar una escena desde un ángulo muy diferente al que filmaste. Piensa en ello como intentar dibujar el mapa de una ciudad que solo has visto desde una esquina de la calle. Si intentas adivinar qué hay al otro lado de un edificio, podrías accidentalmente dibujar la puerta principal del edificio en la pared trasera, o estirar un árbol a través del cielo. Los métodos de IA anteriores solían cometer estos errores de "desgarro" porque no sabían qué partes de la escena estaban ocultas (ocluidas) y cuáles eran visibles.

UniWorld-View soluciona esto con una astuta estrategia de dos pasos. Primero, construye una "nube de puntos" 3D aproximada (una nube digital de puntos que representa la escena) a partir de tu video. Pero en lugar de solo proyectar estos puntos en una nueva pantalla, utiliza un truco de "triple-reproyección". Imagina tomar una foto de una sombra, luego tomar una foto del reflejo de esa sombra y, finalmente, comparar las dos para determinar exactamente qué hay oculto detrás del objeto. Esto permite que la IA cree una "máscara" perfecta que le indica exactamente qué píxeles son reales y cuáles son solo agujeros vacíos. También verifica las "normales" (la dirección hacia la que apunta una superficie) para asegurarse de que no muestre accidentalmente la parte trasera de una pared.

Una vez que la IA tiene este mapa limpio y geométricamente preciso de lo que debería estar allí, utiliza un poderoso "modelo de difusión de video" (un tipo de IA que genera video convirtiendo lentamente el ruido en una imagen clara) para rellenar los huecos. Pero aquí está el detalle: no solo adivina. Utiliza un sistema de "doble flujo". Un flujo observa el mapa geométrico para asegurar que la cámara se mueva exactamente hacia donde quieres, y el otro flujo observa tu video original para copiar las texturas y los colores. Esto asegura que, si mueves la cámara a un nuevo lugar, los objetos se mantengan sólidos y la iluminación parezca real, en lugar de derretirse en una sopa de píxeles.

Los investigadores lo probaron en el benchmark "WorldScore", una prueba difícil para evaluar qué tan bien la IA controla los movimientos de cámara y mantiene la consistencia de las escenas 3D. UniWorld-View obtuvo la puntuación más alta en escenas "estáticas" (85.53) y fue el segundo mejor en escenas dinámicas, superando a otros modelos de primer nivel. También demostró que podía generar nuevas vistas de alta calidad a partir de videos únicos sin necesidad de ser reentrenado para esas escenas específicas (aprendizaje zero-shot). En resumen, UniWorld-View enseña a la IA a respetar las reglas de la física y la geometría mientras sigue siendo lo suficientemente creativa como para imaginar qué hay detrás de la cortina, allanando el camino para mundos virtuales más realistas donde puedes mirar alrededor libremente, incluso si el video original fue solo un selfie rápido.