ZeroScene: A Zero-Shot Framework for 3D Scene Generation from a Single Image and Controllable Texture Editing

El marco ZeroScene propone un enfoque de cero disparos que utiliza modelos de visión grandes para reconstruir escenas 3D completas a partir de una sola imagen y permitir la edición de texturas coherentes, garantizando tanto la precisión geométrica como la consistencia visual en múltiples vistas.

Lo esencial

¡Hola! Imagina que tienes una sola foto de tu habitación favorita, llena de muebles, juguetes y cuadros. Ahora, imagina que pudieras "levantar" esa foto del papel y convertirla en un mundo 3D real que pudieras caminar, tocar y modificar.

Eso es exactamente lo que hace ZeroScene, una nueva herramienta creada por investigadores que funciona como un arquitecto y diseñador de interiores mágico.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: La Foto vs. El Mundo Real

Antes, si intentabas convertir una foto en 3D, los ordenadores se volvían locos. Era como intentar armar un rompecabezas 3D con piezas que no encajan: los objetos se atravesaban entre sí, flotaban en el aire o se veían borrosos por detrás. Además, si querías cambiar el color de una silla, todo el mundo se rompía.

2. La Solución: ZeroScene (El "Desarmador" Inteligente)

ZeroScene es como un chef experto que sabe separar los ingredientes antes de cocinar. En lugar de intentar cocinar todo el plato de golpe, hace dos cosas principales:

• Paso A: Separar el "Plato Principal" (Los Objetos) de la "Mesa" (El Fondo).
  Imagina que tienes una foto de una mesa con un vaso y una manzana. ZeroScene usa "gafas mágicas" (modelos de visión por IA) para identificar qué es la manzana, qué es el vaso y qué es la mesa.

  • El truco de la "Inpainting" (Pintura de relleno): A veces, la manzana tapa parte del vaso. ZeroScene es tan inteligente que "adivina" qué hay detrás de la manzana y rellena los huecos invisibles, como si un pintor completara un dibujo a medias. Así, crea una versión perfecta de cada objeto por separado.

• Paso B: Construir el 3D y Colocar las Cosas.
  Una vez que tiene los objetos "limpios", crea una versión 3D de cada uno. Pero aquí está la magia: no los deja tirados al azar.

  • Usa una brújula y una regla digital (optimización de puntos) para colocar cada objeto exactamente donde estaba en la foto original. Si la manzana estaba sobre la mesa, ZeroScene se asegura de que la manzana 3D esté sobre la mesa y no flotando. Hace esto ajustando la posición, rotación y tamaño hasta que encaja perfectamente.

3. El Fondo: No Olvidar la Pared

Muchas herramientas anteriores ignoraban el fondo (las paredes, el suelo). ZeroScene, en cambio, reconstruye también el "escenario". Si en la foto hay una pared con un cuadro, ZeroScene crea esa pared 3D para que los objetos tengan dónde apoyarse y sombras realistas. Es como construir un escenario completo de teatro, no solo los actores.

4. El Superpoder: Cambiar la "Piel" de los Objetos (Edición de Texturas)

Esta es la parte más divertida. Imagina que tienes un vaso 3D generado por ZeroScene y quieres cambiarlo de "vidrio transparente" a "metal dorado con un corazón rosa".

• El "Pintor de Múltiples Vistas":
  Para cambiar el color, ZeroScene no solo pinta una cara del objeto. Imagina que tienes un muñeco y quieres pintarlo. Si solo pintas la cara frontal, la espalda se queda en blanco. ZeroScene usa una estrategia llamada "generación progresiva con máscaras".

  • Es como si pintaras una cara, luego giraras al muñeco y pintaras la parte que acabas de ver, asegurándote de que los colores coincidan perfectamente en las uniones. Hace esto vista por vista hasta que el objeto está pintado por completo y sin costuras, desde todos los ángulos.

• Realismo Físico (PBR):
  No solo cambia el color, sino que le da "personalidad" física. Le dice al ordenador: "Haz que esto brille como metal" o "Haz que esto se vea como tela suave". Esto hace que, cuando pones una luz en la escena, el objeto reaccione de verdad (reflejos, sombras, brillo), como en una película de Pixar.

5. ¿Para qué sirve todo esto?

ZeroScene es como una máquina del tiempo y de creación:

• Videojuegos: Puedes tomar una foto de tu calle y convertir los edificios en niveles de juego en segundos.
• Robótica: Puedes crear entornos virtuales perfectos para entrenar robots antes de enviarlos al mundo real.
• Diseño: Puedes ver cómo quedaría tu mueble nuevo en tu sala antes de comprarlo, y cambiarle el color al instante.

En resumen: ZeroScene toma una foto plana, la desarma pieza por pieza, repara los agujeros, construye un mundo 3D realista donde todo encaja perfectamente, y te deja cambiar la ropa y el estilo de los objetos como si fueran muñecos de juguete, todo sin necesidad de que seas un experto en 3D. ¡Es como tener un estudio de cine mágico en tu ordenador!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "ZeroScene: A Zero-Shot Framework for 3D Scene Generation from a Single Image and Controllable Texture Editing", presentado en Eurographics 2026.

1. El Problema

La reconstrucción de escenas 3D a partir de una única imagen RGB presenta desafíos significativos en el estado actual de la tecnología:

• Calidad vs. Coherencia: Los métodos existentes suelen generar objetos individuales de alta calidad pero fallan al mantener la coherencia global de la escena, especialmente en entornos complejos con múltiples objetos.
• Oclusión y Relaciones Espaciales: La oclusión mutua en la vista única provoca pérdida de detalles y inconsistencias multivista. Además, la falta de modelado de las relaciones espaciales entre objetos genera escenas físicamente implausibles (objetos flotando, penetrándose o con poses anómalas).
• Edición de Texturas: Las técnicas de edición de texturas a menudo carecen de continuidad local y consistencia entre diferentes vistas, resultando en artefactos visuales o el famoso problema "Janus" (caras múltiples).
• Fondo Ignorado: La mayoría de los enfoques se centran únicamente en los objetos de primer plano, ignorando la modelación del fondo, lo cual es crucial para la iluminación global y la simulación física.

2. Metodología Propuesta: ZeroScene

ZeroScene es un marco de trabajo zero-shot (sin entrenamiento específico para la tarea) que aprovecha el conocimiento previo de grandes modelos de visión para reconstruir escenas 3D completas y editar texturas. El proceso se divide en tres etapas principales:

A. Generación y Composición de Objetos de Primer Plano

1. Segmentación e Inpainting: El sistema desacopla el primer plano del fondo. Detecta instancias de objetos y utiliza modelos de visión-lingüística (VLM) para identificar regiones ocluidas y realizar inpainting (relleno) para generar imágenes de instancias completas y estructuralmente integrales.
2. Generación 3D: Las instancias inpainted se convierten en modelos 3D de alta fidelidad utilizando modelos de generación de imagen a 3D (ej. Hunyuan3D 2.5).
3. Extracción de Nubes de Puntos: Se utiliza DUSt3R para estimar la profundidad y los parámetros de la cámara, extrayendo una nube de puntos de la escena completa y segmentándola por instancia.
4. Optimización de Distribución (Layout Optimization): Para alinear los objetos 3D generados con la escena de la imagen original, se optimizan los parámetros de transformación (traslación, rotación, escala) minimizando una función de pérdida combinada:
   • Pérdida 3D (Chamfer Distance): Alinea la nube de puntos del objeto con la nube de puntos objetivo en el espacio 3D.
   • Pérdida 2D (Proyección): Proyecta ambas nubes de puntos en el plano de la imagen y minimiza la distancia, actuando como supervisión auxiliar para corregir ambigüedades de escala/profundidad.

B. Manejo del Fondo

• Se elimina digitalmente el primer plano (incluyendo sombras) para obtener una imagen de fondo completa.
• Se reconstruye la geometría del fondo (paredes, suelos, mesas) a partir de la nube de puntos del fondo, ajustando planos regulares mediante RANSAC y reconstrucción Poisson.
• El fondo se optimiza espacialmente junto con los objetos de primer plano para garantizar una ensamblaje unificado y coherente.

C. Edición de Texturas Controlable

ZeroScene permite editar las texturas de los objetos mediante prompts de texto, manteniendo la consistencia multivista:

1. Condiciones Geométricas: Se renderizan mapas de normales, posición y bordes del mesh para guiar el modelo de difusión (ControlNet), asegurando que la textura siga la geometría ("texture follows geometry").
2. Generación Progresiva Guiada por Máscara: Para evitar inconsistencias entre vistas, el sistema genera vistas de forma progresiva. Para cada nueva vista, proyecta las vistas anteriores conocidas y utiliza una máscara para identificar las regiones desconocidas (ocluidas en vistas previas) que deben ser generadas inpainting.
3. Síntesis de Textura y PBR: Las imágenes generadas se proyectan de vuelta al espacio UV mediante un módulo de back-projection ponderado por confianza (evitando ángulos rasantes). Finalmente, se estiman mapas de materiales PBR (albedo, rugosidad, metalicidad) para un renderizado físicamente basado.

3. Contribuciones Clave

• Reconstrucción de Escena Completa: Es capaz de generar múltiples activos 3D independientes y un fondo coherente a partir de una sola imagen, resolviendo problemas de oclusión y relaciones espaciales mediante optimización conjunta 3D/2D.
• Edición de Texturas de Alta Fidelidad: Introduce una estrategia de generación progresiva guiada por máscaras que garantiza la consistencia multivista y la alineación perfecta con la geometría, superando el problema "Janus".
• Marco Desacoplado y Zero-Shot: El sistema es altamente modular, permitiendo la sustitución de componentes de modelos visuales fundamentales. Todos los activos se representan como mallas triangulares explícitas, listas para su uso en motores de juego y simulación.
• Integración PBR: La estimación de materiales físicamente basados mejora significativamente el realismo del renderizado final.

4. Resultados Experimentales

El marco se evaluó en un conjunto de datos con escenas de múltiples objetos y oclusiones complejas, comparándose con métodos como Hunyuan3D 2.5, MIDI y SceneGen.

• Métricas Geométricas: ZeroScene superó a los métodos de referencia en distancia de Chamfer (CD) y puntuación F-Score tanto a nivel de objeto como de escena, demostrando una recuperación más precisa de la distribución espacial.
• Calidad Visual: Logró puntuaciones superiores en similitud CLIP y DINOv2, indicando una mayor fidelidad visual y adherencia a los prompts de texto.
• Edición de Texturas: En comparación con TEXTure, MVPaint y otros, ZeroScene obtuvo los mejores resultados en métricas FID y KID (menor distancia de distribución) y mayor similitud CLIP, produciendo texturas más detalladas y consistentes.
• Estudios de Ablación: Se demostró que tanto el inpainting de instancias como la combinación de pérdidas 3D y 2D son críticos para la calidad geométrica, y que la estrategia de generación progresiva es esencial para la consistencia de las texturas.

5. Significado y Aplicaciones

ZeroScene representa un avance significativo en la creación de contenido digital 3D:

• Creación de Activos: Permite transformar imágenes 2D en mundos 3D diversos y estilizados, reduciendo la necesidad de modelado manual.
• Gemelos Digitales y Realidad Virtual: Facilita la reconstrucción rápida de entornos reales para su uso en gemelos digitales.
• Robótica (Real-to-Sim): Su capacidad para generar entornos de simulación realistas y entrenables es crucial para la transferencia de habilidades de robots del mundo real a la simulación.
• Desarrollo de Juegos: La salida en mallas explícitas con texturas editables permite una integración directa en motores como Unity y Unreal Engine.

En resumen, ZeroScene aborda la brecha entre la generación de objetos individuales y la reconstrucción de escenas completas y coherentes, ofreciendo una solución robusta para la generación 3D a partir de una sola imagen con capacidades avanzadas de edición.