Resumen Técnico: SceneForge

Enunciado del Problema

Los sistemas modernos de aprendizaje multimodal requieren una supervisión que no solo sea a gran escala, sino también estructurada, controlable y consistente a través de ediciones, puntos de vista y modalidades. Los conjuntos de datos existentes suelen proporcionar instantáneas a nivel de observación (por ejemplo, pares de imágenes antes y después) que exponen resultados renderizados en lugar del estado subyacente de la escena. En consecuencia, estos conjuntos de datos no logran proporcionar intervenciones coincidentes, contrafactuales físicamente consistentes, descomposiciones en capas o señales multimodales alineadas para la misma escena. Si bien los conjuntos de datos sintéticos de diagnóstico (por ejemplo, CLEVR) ofrecen generación controlable, se centran en tareas de razonamiento fijas en lugar de en supervisión impulsada por intervenciones para modelos generativos y de edición. De manera similar, las pipelines sintéticas 3D existentes a menudo tratan las escenas como configuraciones de renderizado estáticas en lugar de mundos persistentes donde las transiciones de estado pueden manipularse para inducir actualizaciones consistentes entre entidades y vistas.

Metodología: El Marco de Trabajo SceneForge

SceneForge es un marco centrado en el mundo que genera supervisión estructurada al tratar las escenas como estados de mundo editables en lugar de colecciones de imágenes independientes. La pipeline procede a través de cuatro etapas principales:

1. Representación del Estado del Mundo

En lugar de configuraciones de renderizado planas, SceneForge representa una escena en el tiempo $t$ como una tupla estructurada $w_t = (S_t, D_t, A_t, R_t, E_t)$:

• $S_t$ (Elementos Estructurales): Componentes estables como suelos, paredes y geometría fija.
• $D_t$ (Objetos Dinámicos): Entidades sujetas a intervención (inserción, eliminación, reubicación).
• $A_t$ (Atributos): Propiedades semánticas, geométricas y físicas (categoría, pose, material, estado de soporte).
• $R_t$ (Relaciones): Dependencias como soporte, contención, oclusión y visibilidad.
• $E_t$ (Factores Ambientales): Condiciones de iluminación y renderizado.

Esta representación asegura que la escena se trate como un sistema persistente donde los cambios en los objetos dinámicos se propagan a través de restricciones estructurales y relacionales.

2. Modelo de Intervención

Una intervención $\iota$ se define como una operación explícita sobre objetos dinámicos o variables ambientales (por ejemplo, eliminación de objetos, modificación de iluminación). El sistema aplica una edición provisional $\tilde{w}_{t+1} = I(w_t, \iota)$. Crucialmente, esta etapa incluye módulos de consulta de escena para verificar la validez, asegurando que las ediciones sean físicamente plausibles (por ejemplo, objetos colocados en superficies de soporte válidas, sin colisiones) y semánticamente coherentes antes del renderizado.

3. Propagación del Estado Consciente de Dependencias

Para manejar las consecuencias no locales de ediciones locales, SceneForge aplica un operador de propagación $P$ para actualizar el estado del mundo: $w_{t+1} = P(\tilde{w}_{t+1})$. Este paso recalcula la visibilidad, la oclusión, las relaciones de soporte y los efectos de iluminación (sombras, reflejos) basándose en el nuevo estado. Esto asegura que todas las señales de supervisión aguas abajo permanezcan semántica y físicamente consistentes con el mundo editado, distinguiendo este enfoque de la generación ingenua de imágenes "antes y después".

4. Generación de Supervisión Multimodal

A partir de la transición consistente del estado del mundo, el marco renderiza supervisión alineada a través de múltiples modalidades ($y_m = G_m(w_t, w_{t+1}, c)$). Dado que todas las salidas se derivan del mismo grafo de escena, están alineadas por construcción. Las salidas generadas incluyen:

• Observaciones RGB y renderizados multivista.
• Ediciones contrafactuales (eliminación de objetos).
• Capas de descomposición (máscaras de objetos, completaciones amodales).
• Canales conscientes de efectos (sombras, reflejos, iluminación).
• Anotaciones semánticas y de relaciones.

Instanciación del Conjunto de Datos

Los autores instanciaron SceneForge utilizando Infinigen y Blender para crear un recurso libre de licencias. El conjunto de datos incluye:

• SceneForge (S): Un corpus de cámara única con 2,369 habitaciones y 25,688 capas vinculadas a objetos.
• SceneForge (M): Un corpus de múltiples cámaras con 517 habitaciones y 2,772 instancias multivista registradas bajo 8 configuraciones de cámara.
• Tareas Derivadas: Conjuntos de datos filtrados para eliminación de objetos (SceneForge-Removal) y eliminación estructural a nivel de escena (SceneForge-IndoorDynamicRemoval), con un total de más de 13,000 instancias editadas de vista única y 4,000 de vista múltiple.

Resultados Empíricos

El marco se evaluó en tareas de eliminación a nivel de objeto y a nivel de escena utilizando el backbone Qwen-Image-Edit-2509 con ajuste fino LoRA. Se compararon tres configuraciones de entrenamiento bajo presupuestos coincidentes:

1. OpenData-30K: 30,000 muestras de entrenamiento públicas.
2. OpenData+SceneForge-30K: Datos públicos mezclados con muestras de SceneForge.
3. SceneForge-16K: Solo 16,000 muestras de SceneForge.

Hallazgos Clave:

• Mejoras de Rendimiento: Los modelos entrenados con supervisión de SceneForge (OpenData+SceneForge-30K) superaron significativamente a aquellos entrenados solo con datos públicos (OpenData-30K) en todos los puntos de referencia (OpenData-30K, RORem, RemovalBench) y métricas (PSNR, SSIM, LPIPS).
• Eficiencia de Datos: La configuración SceneForge-16K logró los mejores resultados en cada métrica en los cuatro conjuntos de prueba, a pesar de usar menos muestras totales que las configuraciones de 30K. Esto sugiere que una supervisión de alta calidad y consistente con la intervención supera a grupos de entrenamiento más grandes y mezclados.
• Mejoras Cualitativas: En escenarios de casos difíciles que involucran sombras y reflejos complejos (Removal-HardEffects), los modelos entrenados con SceneForge demostraron una capacidad superior para eliminar efectos visuales secundarios asociados y restaurar fondos consistentes en comparación con los modelos base.
• Consistencia Multivista: En la configuración multivista (SceneForge-Removal M), el marco mantuvo la consistencia espacial a través de puntos de vista diversos (superposición alta y ángulos diversos) porque todos los renderizados se derivaron del mismo estado de mundo 3D persistente.

Significado y Afirmaciones

El artículo afirma que SceneForge proporciona una base práctica y escalable para el aprendizaje multimodal consistente con la intervención. Al modelar la supervisión como transiciones de estado estructuradas en mundos editables, el marco resuelve el problema de alineación inherente a los conjuntos de datos a nivel de observación. Los autores afirman que este enfoque:

• Genera salidas alineadas (contrafactuales, descomposiciones, efectos) sin coincidencia de espacio de imagen a posteriori.
• Ofrece un motor flexible que puede extenderse a una supervisión lingüística más rica y una mayor diversidad de activos.
• Demuestra que una "supervisión más limpia y más consistente con la intervención" puede producir una utilidad aguas abajo superior en comparación con conjuntos de datos más grandes y menos estructurados.

Los autores posicionan a SceneForge no como un reemplazo para conjuntos de datos reales o híbridos, sino como un motor complementario que aborda la necesidad específica de consistencia bajo ediciones, puntos de vista e intervenciones a nivel de escena.