StructDiff: A Structure-Preserving and Spatially Controllable Diffusion Model for Single-Image Generation

Resumen Técnico: StructDiff

1. El Problema

La generación de una sola imagen (single-image generation) busca sintetizar muestras diversas que mantengan el contenido visual de una imagen de entrada única, aprendiendo sus estadísticas internas sin depender de datos externos masivos. A pesar de los avances recientes, los métodos existentes enfrentan dos desafíos críticos:

• Preservación Estructural Deficiente: Los métodos multi-escala (como SinGAN) sufren de acumulación de errores en la generación jerárquica, distorsionando objetos grandes. Los métodos de escala única (como SinDiffusion) utilizan campos receptivos fijos que no pueden capturar simultáneamente texturas finas y estructuras globales, lo que lleva a la pérdida de coherencia estructural, especialmente en objetos rígidos grandes.
• Falta de Control Espacial: La mayoría de los enfoques carecen de mecanismos para guiar la ubicación, escala o disposición de los objetos generados, limitando su aplicabilidad en tareas de edición interactiva.
• Limitaciones en la Evaluación: Las métricas objetivas tradicionales no correlacionan bien con la calidad perceptual en esta tarea, y los estudios con usuarios son costosos y laboriosos.

2. Metodología

StructDiff es un marco generativo basado en un modelo de difusión de escala única (single-scale diffusion) diseñado para superar las limitaciones anteriores mediante tres componentes principales:

• Arquitectura Base Modificada: Se basa en la formulación estándar de DDPM (Denoising Diffusion Probabilistic Models) pero elimina las capas de submuestreo (downsampling), sobremuestreo (upsampling) y módulos de atención. Esto reduce el riesgo de "memorización" (overfitting) de la imagen de entrenamiento, un problema común en el aprendizaje interno.
• Módulo de Campo Receptivo Adaptativo (ARF):
  • En lugar de variar la resolución de la imagen (enfoque multi-escala), StructDiff varía el tamaño del campo receptivo dentro de una única resolución fija.
  • Utiliza bloques con múltiples ramas convolucionales paralelas de diferentes tamaños de kernel (ej. 5x5, 7x7, 9x9, 11x11).
  • Un mecanismo de atención dinámicamente asigna pesos a estas ramas: los campos receptivos más grandes se activan para estructuras globales, mientras que los más pequeños capturan detalles locales. Esto permite una percepción multi-escala adaptable sin acumulación de errores.
• Codificación Posicional 3D (PE) para Control Espacial:
  • Introduce un vector de codificación posicional tridimensional que combina las coordenadas espaciales $(x, y)$ con una máscara binaria de primer plano-fondo ($m$).
  • Aplica una incrustación de Fourier aprendible a este vector. Esto garantiza la equivalencia traslacional (consistencia en regiones no controladas) y la sensibilidad a altas frecuencias (bordes nítidos).
  • Durante la inferencia, modificar este vector permite controlar explícitamente la posición, escala y deformación local de los objetos generados.
• Aplicaciones sin Entrenamiento: El modelo soporta tareas como generación guiada por texto (usando CLIP), edición de imágenes, outpainting (extensión de imagen) y transferencia de estilo mediante estrategias de muestreo especializadas que no requieren reentrenamiento.

3. Contribuciones Clave

1. StructDiff: Un marco de generación de una sola imagen que integra un módulo de campo receptivo adaptativo, logrando una conciencia estructural multi-escala dentro de una arquitectura de escala única, mejorando significativamente la preservación de estructuras rígidas y grandes.
2. Control Espacial mediante PE 3D: La primera exploración (según los autores) de la manipulación espacial basada en codificación posicional (PE) para la generación de una sola imagen. Permite un control preciso sobre la ubicación y escala de los objetos mediante la inyección de priores espaciales explícitos.
3. Nueva Métrica de Evaluación basada en LLM: Propone un paradigma de evaluación utilizando Grandes Modelos de Lenguaje (LLM, específicamente GPT-4o) para calificar la calidad de generación y la consistencia estructural. Esta métrica supera las limitaciones de las métricas objetivas tradicionales y reduce los costos de los estudios con usuarios.

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos: Places50, Mulmini-N (imágenes generales) y Mulmini-L (imágenes con objetos a gran escala).

• Rendimiento Cuantitativo: StructDiff obtuvo los mejores puntajes en SIFID (indicando una mejor captura de estadísticas internas) y en métricas de calidad visual (MUSIQ, DB-CNN) en comparación con métodos como SinGAN, SinDDM y SinDiffusion.
• Consistencia Estructural: En el conjunto de datos Mulmini-L, StructDiff superó significativamente a los métodos baselines en la preservación de la estructura de objetos grandes, evitando las distorsiones comunes en otros enfoques.
• Control Espacial: En tareas de generación controlada, StructDiff demostró una mayor precisión en la preservación del fondo y la estructura del primer plano (medido por PSNR y SSIM) en comparación con la guía de ROI de SinDDM, que a menudo producía bordes borrosos y artefactos.
• Validación de la Métrica LLM: La evaluación basada en LLM mostró una tasa de acuerdo del 92.5% con estudios de usuarios reales, superando ampliamente a las métricas de calidad de imagen sin referencia tradicionales (que rondaban el 70%).
• Comparación con Modelos DiT: A diferencia de los grandes modelos basados en Transformers de Difusión (DiT) que tienden a memorizar la imagen o generar poca diversidad, StructDiff mantiene la diversidad y la fidelidad estructural al enfocarse en las estadísticas de parches internos.

5. Significado e Impacto

El trabajo de StructDiff representa un avance significativo en el campo del aprendizaje interno (internal learning) y la generación de imágenes:

• Resuelve el dilema Escala vs. Estructura: Demuestra que es posible lograr una percepción multi-escala y una preservación estructural robusta sin necesidad de arquitecturas jerárquicas complejas que acumulan errores.
• Habilita la Edición Interactiva: La introducción de priores espaciales explícitos (PE) abre nuevas posibilidades para la edición de imágenes basada en una sola fuente, permitiendo a los usuarios mover, escalar o modificar objetos localmente de manera coherente.
• Nueva Estándar de Evaluación: La propuesta de usar LLMs para la evaluación de tareas de generación de una sola imagen ofrece una solución práctica, escalable y precisa a la falta de métricas objetivas confiables en este dominio específico.
• Versatilidad: El modelo funciona como un marco general para diversas tareas de síntesis y edición de imágenes sin requerir fine-tuning, lo que lo hace altamente aplicable en escenarios prácticos donde los datos de entrenamiento son limitados.

En conclusión, StructDiff establece un nuevo estado del arte en la generación de imágenes a partir de una sola fuente, equilibrando eficazmente la fidelidad estructural, la diversidad visual y el control espacial.