Generative Phomosaic with Structure-Aligned and Personalized Diffusion

1. Problema y Motivación

La creación de fotomosaicos tradicionales se basa en métodos de recuperación (retrieval) que seleccionan pequeñas imágenes (baldosas o tiles) de una base de datos externa para reconstruir una imagen de referencia. Estos enfoques sufren de limitaciones intrínsecas:

• Dependencia de datos: Requieren grandes colecciones de imágenes de baldosas, lo que limita la diversidad y la disponibilidad.
• Inconsistencia estructural: Es difícil encontrar baldosas que se alineen estructuralmente con los bloques de la imagen de referencia, lo que a menudo resulta en estructuras globales poco claras.
• Repetición: Para mantener la fidelidad, a menudo se reutilizan las mismas baldosas, degradando la calidad visual.
• Falta de control: Los métodos basados en coincidencia de color o histogramas no permiten controlar el contenido semántico de las baldosas individuales mediante prompts de texto.

El objetivo del trabajo es redefinir la creación de fotomosaicos como un proceso generativo, donde las baldosas se sintetizan en lugar de seleccionarse, permitiendo una alineación estructural global y una diversidad local semánticamente rica.

2. Metodología Propuesta

Los autores proponen un marco de fotomosaico generativo basado en modelos de difusión, que sintetiza baldosas condicionadas a la imagen de referencia y a prompts de texto. El enfoque integra tres componentes clave:

A. Inicialización con Muestreo de Ruido Integral (Integral-Noise Subsampling)

Para garantizar la consistencia espacial entre baldosas y evitar artefactos en los bordes:

• En lugar de inicializar cada baldosa con ruido aleatorio independiente, se genera un campo de ruido coherente a múltiples escalas.
• Se utiliza una técnica de muestreo de ruido integral que trata cada píxel como la integral de un campo blanco gaussiano continuo.
• Esto asegura que las baldosas compartan una fuente de ruido coherente, manteniendo la estructura global y reduciendo incoherencias de alta frecuencia durante el proceso de eliminación de ruido (denoising).

B. Alineación de Distribución de Color (Color Distribution Alignment)

Para evitar inconsistencias tonales y costuras visibles entre baldosas:

• Se emplea una estrategia de emparejamiento de distribuciones inspirada en la Normalización de Instancia Adaptativa (AdaIN).
• En cada paso de generación, se calculan las estadísticas de primer orden (media) y segundo orden (desviación estándar) de la baldosa en generación y del bloque de referencia correspondiente.
• Se ajusta la baldosa para que sus estadísticas de color coincidan con las del bloque de referencia global, armonizando los tonos en todo el mosaico.

C. Guía Estructural de Baja Frecuencia con Descenso de Gradiente

Para preservar la estructura global mientras se permite la diversidad de detalles locales:

• Se introduce un paso de guía basado en descenso de gradiente durante el proceso de difusión.
• En cada paso de tiempo $t$, se predice la imagen limpia ($\hat{x}_0$) y se aplica un operador de paso bajo (ej. desenfoque gaussiano) para extraer componentes de baja frecuencia.
• Se calcula una pérdida (MSE) entre las componentes de baja frecuencia de la baldosa generada y las del bloque de referencia.
• Se actualiza el latente de la baldosa mediante descenso de gradiente para minimizar esta diferencia. Esto fuerza la alineación estructural global sin restringir los detalles de alta frecuencia, que quedan libres para seguir el prompt de texto.

D. Personalización Few-Shot

El marco integra modelos de difusión personalizados (usando LoRA y el enfoque Mix-of-Show) para adaptarse a un pequeño conjunto de imágenes proporcionadas por el usuario. Esto permite generar baldosas que reflejan conceptos específicos (ej. un personaje, un estilo artístico) manteniendo la identidad visual del usuario.

3. Contribuciones Clave

1. Primer enfoque generativo: Introducen el primer método que sintetiza fotomosaicos utilizando modelos de difusión, eliminando la dependencia de grandes bases de datos de imágenes de baldosas.
2. Mecanismo de control estructural: Diseñan un mecanismo que armoniza la alineación de baja frecuencia (estructura global) con la generación de detalles de alta frecuencia (contenido local), logrando coherencia global y diversidad local simultáneamente.
3. Personalización: Integran modelos de difusión personalizados con pocos ejemplos (few-shot) para crear mosaicos que incorporan memorias personales, preferencias estilísticas o elementos de marca específicos.
4. Reinterpretación del proceso: Cambian el paradigma de la creación de fotomosaicos de uno combinatorio (búsqueda/emparejamiento) a uno generativo.

4. Resultados y Evaluación

Los autores compararon su método con enfoques tradicionales (Match & Tone, ajuste de histograma) y otros métodos basados en difusión (Color ControlNet, AdaIN, NoiseBlend, StreamDiffusion I2I).

• Métricas Cuantitativas: El método propuesto obtuvo los mejores resultados en métricas de fidelidad estructural global (PSNR, SSIM) y calidad perceptual local (LPIPS, CLIP, HPSv2). Superó significativamente a los baselines en la preservación de la estructura de la imagen de referencia mientras mantenía la alineación semántica con los prompts locales.
• Estudio de Preferencia Humana: En una prueba A/B con 100 participantes, el método propuesto fue preferido en un 98.7% para la fidelidad global y un 73.3% para la calidad local frente al mejor método tradicional. Los baselines mostraron una compensación (trade-off): los que tenían buena estructura global tenían mala calidad local, y viceversa.
• Análisis de Ablación:
  • Sin la inicialización de ruido integral, la estructura global se degrada.
  • Sin la alineación de color, el mosaico se vuelve casi monocromático.
  • Sin la guía de gradiente, se pierde casi por completo la estructura de referencia.
  • La guía basada en MSE de baja frecuencia funcionó mejor que las alternativas basadas en LPIPS o solo en luminancia (YCbCr).

5. Significado e Impacto

Este trabajo representa un avance significativo en la composición de imágenes y el arte generativo. Al superar las limitaciones de los métodos de recuperación, permite:

• Creación de mosaicos ilimitados: No se requiere una colección de imágenes externa; las baldosas se generan on-the-fly.
• Control semántico preciso: Los usuarios pueden dictar qué aparece en cada baldosa mediante texto, permitiendo narrativas visuales complejas (ej. un retrato de una persona formado por fotos de sus viajes).
• Aplicaciones personalizadas: Facilita la creación de contenido publicitario, artístico o educativo altamente personalizado y coherente, abriendo nuevas vías para la asamblea de imágenes controlable y adaptable al usuario.

En resumen, el paper demuestra que la generación basada en difusión puede resolver el problema clásico de los fotomosaicos, logrando un equilibrio óptimo entre la coherencia estructural global y la riqueza semántica local.