Generative World Renderer

1. El Problema

El modelado de mundos digitales requiere dos tareas fundamentales: renderizado hacia adelante (sintetizar imágenes fotorrealistas a partir de atributos de la escena) y renderizado inverso (descomponer imágenes observadas en componentes físicos como geometría, materiales e iluminación). Aunque los modelos generativos han comenzado a unificar estas tareas, escalarlos a escenarios del "mundo real" (in-the-wild) se ve frenado por una bottleneck de datos.

Los conjuntos de datos sintéticos existentes sufren de:

• Complejidad limitada: Escenas estáticas, modelos de materiales simplificados y falta de condiciones climáticas adversas (niebla, lluvia, nieve).
• Falta de coherencia temporal: Secuencias de video cortas que no capturan dependencias temporales a largo plazo.
• Brecha de dominio: Los modelos entrenados con estos datos fallan al manejar la complejidad de colas largas del mundo real, como la desiluminación imperfecta en entornos desordenados, geometría de vegetación fina o parpadeo temporal bajo movimiento rápido.
• Falta de Ground Truth (GT): Es extremadamente difícil obtener buffers G (G-buffers) de alta fidelidad sincronizados con videos reales para evaluar el rendimiento en escenarios sin datos de referencia.

2. Metodología

Los autores proponen un enfoque integral que abarca la creación de datos, la captura y la evaluación:

A. Construcción del Dataset (Generative World Renderer)

• Fuente de Datos: Se curaron secuencias de video continuas de dos juegos AAA de alta fidelidad: Cyberpunk 2077 y Black Myth: Wukong.
• Pipeline de Captura No Intrusivo:
  • Utilizan ReShade para interceptar la API de gráficos en tiempo de ejecución, evitando la necesidad de descompilar el motor del juego o extraer activos propietarios.
  • Método de Costura de Pantalla Dual: Para superar las limitaciones de ancho de banda y resolución, renderizan los buffers en una "mosaico" en la pantalla y los graban mediante OBS. Esto permite capturar 6 canales simultáneamente (RGB + 5 buffers G) a 720p/30 FPS con sincronización estricta.
• Contenido del Dataset:
  • Escala: Más de 4 millones de frames continuos.
  • Canales: RGB sincronizado con 5 canales de G-buffer: Profundidad (Depth), Normales (Normals), Albedo, Metálico (Metallic) y Rugosidad (Roughness).
  • Diversidad: Escenas urbanas y naturales, diversas condiciones atmosféricas (soleado, lluvioso, neblina, nieve) y variaciones de movimiento.
  • Augmentación de Movimiento: Se sintetizan variantes con desenfoque de movimiento (motion blur) para reducir la brecha sim-to-real, ya que los videos reales suelen tener este efecto.

B. Evaluación Basada en VLM (Vision-Language Models)

Dado que no existe ground truth para videos del mundo real, los autores proponen un nuevo protocolo de evaluación:

• Utilizan un modelo VLM (específicamente Gemini 3 Pro para la evaluación y Qwen3-VL para anotaciones) como juez.
• El VLM evalúa la consistencia semántica, la fidelidad espacial y la coherencia temporal de las predicciones de materiales (especialmente metálico y rugosidad), demostrando una alta correlación con el juicio humano.

C. Entrenamiento y Aplicación

• Fine-tuning: Se ajustó el modelo DiffusionRenderer (un modelo de difusión para renderizado inverso/forward) utilizando el nuevo dataset.
• Edición de Juegos: Se adaptó un modelo generativo (basado en Wan 2.1) para usar los G-buffers como entrada condicional, permitiendo editar estilos de juegos (iluminación, clima, efectos visuales) mediante prompts de texto.

3. Contribuciones Clave

1. Dataset a Gran Escala: Un conjunto de datos continuo y de alta fidelidad con 4M de frames, sincronizando RGB y 5 canales de G-buffer, cubriendo dinámicas ricas, clima diverso y coherencia temporal a largo plazo.
2. Pipeline de Curación Eficiente: Un marco de captura novedoso basado en la interceptación de API gráfica y la costura de pantallas duales, que permite la adquisición escalable de G-buffers de alta resolución sin modificar el motor del juego.
3. Protocolo de Evaluación VLM: Una metodología escalable para evaluar el rendimiento en escenarios reales sin ground truth, validada mediante estudios con expertos humanos.
4. Mejora en el Rendimiento: Evidencia de que el ajuste fino con este dataset mejora significativamente la descomposición de materiales y la síntesis de video condicional en G-buffers, superando a los modelos del estado del arte.

4. Resultados

• Rendimiento Cuantitativo: En benchmarks como Black Myth: Wukong y MPI-Sintel, el modelo ajustado ("Ours") superó a los métodos baselines (DiffusionRenderer, DNF-Intrinsic, RGB↔X) en todas las métricas clave:
  • Profundidad y Normales: Mejor error relativo absoluto (AbsRel) y precisión angular.
  • Albedo: Mejores puntuaciones PSNR y LPIPS, incluyendo variantes invariantes a la escala.
  • Materiales: Reducción significativa en el error RMSE/MAE para los canales metálico y rugosidad.
• Generalización: El modelo muestra una excelente capacidad de generalización cruzada (entrenado en Cyberpunk, probado en Black Myth y viceversa) y en videos reales del mundo real.
• Evaluación VLM vs. Humana: El protocolo basado en VLM mostró una alta tasa de acuerdo (70-85%) con expertos humanos en la preferencia de modelos, validando su uso como métrica de evaluación.
• Calidad Visual: Las comparaciones cualitativas muestran una desiluminación más limpia, reconstrucción de geometría más precisa y predicciones de materiales semánticamente correctas, resistiendo mejor a efectos atmosféricos como humo y dispersión volumétrica.
• Aplicación de Edición: El modelo permite editar estilos de juegos (ej. cambiar a "lluvia", "submarino" o "ciberpunk") manteniendo la coherencia geométrica y de materiales, superando a métodos basados solo en mapas de bordes o edición estocástica.

5. Significado e Impacto

Este trabajo representa un avance crucial hacia la simulación de mundos generativos escalables. Al abordar la escasez de datos de alta calidad y sincronizados, demuestra que:

• La calidad y escala de los datos son tan críticas como la arquitectura del modelo para resolver la ambigüedad inherente del renderizado inverso en el mundo real.
• Es posible cerrar la brecha entre datos sintéticos y reales mediante la captura inteligente de motores de juegos AAA, proporcionando un "ground truth" denso que antes era inalcanzable.
• La evaluación basada en VLM ofrece una solución viable y escalable para medir la calidad en tareas de visión por computadora donde el ground truth es inexistente.
• El dataset y el toolkit habilitan nuevas capacidades en edición de video generativa y renderizado bidireccional, permitiendo no solo entender la física de una escena, sino también manipularla de manera coherente y controlada.

En resumen, el paper establece un nuevo estándar para la investigación en renderizado generativo, proporcionando los datos, las herramientas y las métricas necesarias para llevar estas tecnologías de entornos controlados a la complejidad del mundo real.