Generate Any Scene: Scene Graph Driven Data Synthesis for Visual Generation Training

1. El Problema

A pesar de los avances recientes en la fidelidad visual de los modelos generativos de texto a imagen y video, estos sistemas aún luchan con dos limitaciones fundamentales:

• Generalización Composicional: Los modelos tienen dificultades para generar escenas complejas que involucren múltiples objetos, atributos específicos y relaciones espaciales o semánticas precisas (ej. "un perro negro persiguiendo a un conejo que come hierba").
• Alineación Semántica: Existe una desconexión entre el prompt de entrada y el contenido generado, donde los modelos a menudo omiten elementos o fallan en la comprensión de conceptos difíciles.

La causa raíz identificada es la falta de datos de entrenamiento estructurados y ricos en composición. Los conjuntos de datos existentes (como LAION o CC3M) son ruidosos, están sesgados hacia descripciones de objetos únicos y carecen de anclajes explícitos entre objetos, atributos y relaciones. Además, la anotación manual densa es costosa y los métodos automáticos (como los LLMs) sufren de alucinaciones y ruido semántico.

2. Metodología: GENERATE ANY SCENE

El núcleo del trabajo es GENERATE ANY SCENE (GAS), un motor de datos programático que sintetiza sistemáticamente un espacio combinatorio de escenas visuales mediante grafos de escena.

A. Arquitectura del Motor

El sistema se basa en una taxonomía jerárquica de elementos visuales extraídos de fuentes diversas (WordNet, Wikipedia, Visual Genome, Places365), que incluye:

• 28,787 Objetos.
• 1,494 Atributos (color, material, forma, etc.).
• 10,492 Relaciones (espaciales, funcionales, sociales).
• 2,193 Atributos de Escena (estilo artístico, iluminación, perspectiva).

El proceso de generación sigue cinco pasos deterministas:

1. Enumeración de Estructura: Se precalculan topologías de grafos dirigidos bajo restricciones de usuario (complejidad, grado de nodo, componentes conectados).
2. Población de Metadatos: Se rellenan los nodos y aristas del grafo con elementos muestreados de la taxonomía, permitiendo control fino sobre el contenido.
3. Muestreo de Atributos de Escena: Se añaden contextos globales (estilo, tiempo, cámara).
4. Traducción a Texto: Un algoritmo programático convierte el grafo en un caption coherente, evitando duplicaciones y referencias ambiguas.
5. Generación de Pares Pregunta-Respuesta (QA): Se generan automáticamente preguntas exhaustivas sobre cada objeto, atributo y relación del grafo para evaluación y modelado de recompensas.

B. Aplicaciones y Estrategias de Entrenamiento

El papel propone cuatro aplicaciones principales utilizando GAS:

1. Auto-mejora Iterativa (Self-Improving Framework):

   • Se genera un conjunto masivo de captions sintéticos.
   • El modelo (SDv1.5) genera múltiples imágenes por caption.
   • Se seleccionan las imágenes con mayor puntuación en una métrica de alineación (VQA Score) para reentrenar el modelo.
   • Este ciclo se repite iterativamente, permitiendo que el modelo aprenda de sus propias mejores generaciones.

2. Destilación de Capacidades (Distillation):

   • Se identifican las fortalezas específicas de modelos propietarios (como DALL-E 3) en tareas composicionales y de conceptos difíciles.
   • Se sintetizan captions dirigidos (ej. combinaciones multi-objeto o conceptos raros) y se utilizan imágenes generadas por el modelo propietario como "datos maestros" para afinar (fine-tune) modelos de código abierto (SDv1.5) mediante LoRA.

3. Modelado de Recompensas para RLHF (Reinforcement Learning from Human Feedback):

   • Se propone un modelo de recompensa basado en grafos de escena de bajo costo.
   • En lugar de usar CLIP (que ofrece señales de similitud gruesas), se utilizan los pares QA generados por GAS. Un modelo VLM ligero (Qwen2.5-VL) responde a las preguntas sobre la imagen generada; la precisión en las respuestas actúa como recompensa.
   • Se utiliza el algoritmo GRPO (Group Relative Policy Optimization) para ajustar modelos autoregresivos (SimpleAR-0.5B-SFT).

4. Detección de Contenido Generado (Content Moderation):

   • Se utiliza GAS para generar datos sintéticos diversos que complementan conjuntos de datos reales (como D3).
   • Esto entrena detectores de IA (ViT-T) para ser más robustos ante modelos generativos desconocidos y escenas complejas, mejorando la generalización en escenarios out-of-domain.

3. Resultados Clave

• Auto-mejora: El ajuste fino de SDv1.5 con datos de GAS superó al ajuste fino con datos reales de CC3M, logrando un 4% de mejora promedio en métricas de fidelidad semántica y calidad perceptual, sin sacrificar la diversidad.
• Destilación: Al destilar capacidades de DALL-E 3 a SDv1.5 utilizando menos de 800 captions sintéticos, se logró un aumento del 10% en la puntuación TIFA para tareas composicionales y generación de conceptos difíciles.
• RLHF con Recompensas Sintéticas: El modelo SimpleAR-0.5B-SFT ajustado con la recompensa basada en grafos de escena superó a los métodos basados en CLIP en un +5% en el DPG-Bench, demostrando una mejor alineación composicional.
• Detección de Deepfakes: Los detectores entrenados con la mezcla de datos reales y sintéticos de GAS mostraron una mayor robustez y puntuaciones F1 más altas en pruebas cruzadas entre diferentes modelos generativos y dominios.
• Evaluación de Modelos: GAS sirvió como un banco de pruebas exhaustivo para evaluar 12 modelos de texto a imagen, 9 de video y 5 de 3D, revelando que los modelos con arquitectura DiT (Diffusion Transformers) tienen una mayor fidelidad a los prompts que los basados en UNet, y que los modelos de video aún luchan con la consistencia dinámica.

4. Contribuciones Principales

1. Motor de Datos Programático: Introducción de un sistema escalable que enumera exhaustivamente el espacio de grafos de escena, superando las limitaciones de diversidad y control de los LLMs tradicionales.
2. Marco de Auto-mejora: Demostración de que los datos sintéticos de alta calidad y diversidad composicional pueden superar a los datos reales de alta calidad para el entrenamiento de modelos generativos.
3. Método de Recompensa de Bajo Costo: Una solución escalable para RLHF en generación visual que utiliza pares QA derivados de grafos de escena, eliminando la necesidad de anotación manual costosa o inferencia pesada de LLMs.
4. Destilación Eficiente: Un método para transferir capacidades específicas de modelos propietarios a modelos abiertos utilizando un número muy reducido de ejemplos sintéticos dirigidos.

5. Significado e Impacto

Este trabajo aborda la crisis de datos estructurados en la visión por computadora generativa. Al demostrar que la síntesis programática de datos basada en grafos de escena puede mejorar la generalización composicional, la alineación semántica y la robustez de los modelos, GENERATE ANY SCENE ofrece una ruta viable para escalar el entrenamiento de modelos de visión sin depender exclusivamente de la anotación manual o de datos web ruidosos.

Además, el enfoque de usar datos sintéticos para la moderación de contenido sugiere que la síntesis de datos no solo sirve para entrenar generadores, sino también para defenderse de ellos, cerrando el ciclo de seguridad en la era de la IA generativa. El código y el dataset están disponibles públicamente, fomentando la reproducibilidad y la investigación futura en la composición visual.