PhotoQuilt: Training-Free Arbitrary-Resolution Photomosaics via Bootstrapped Tiled Denoising

Resumen Técnico: PhotoQuilt

Planteamiento del Problema
Las fotomosaicos son imágenes compuestas donde las regiones locales funcionan como fotografías independientes y autónomas, aunque su disposición colectiva reconstruye una escena global coherente. La generación de fotomosaicos de alta resolución presenta un desafío dual: el sistema debe mantener la coherencia estructural global (la imagen objetivo debe ser reconocible desde la distancia) y, al mismo tiempo, asegurar la autonomía de las teselas locales (cada tesela debe ser una imagen detallada y convincente). Los enfoques basados en la recuperación están limitados por depósitos de imágenes finitos, lo que conduce a teselas repetitivas y una corrección de color limitada. Los métodos generativos, particularmente aquellos que utilizan modelos de difusión, enfrentan un compromiso: la generación directa de alta resolución es computacionalmente costosa y tiende a producir una única imagen suave en lugar de un mosaico, mientras que los métodos de generación de teselas secuenciales o basados en parches suelen perder la estructura global o requieren procedimientos de coordinación costosos para alinear las teselas generadas independientemente.

Metodología: Denoising de Teselas con Arranque de Refuerzo (Bootstrapped Tiled Denoising)
PhotoQuilt es un marco de trabajo libre de entrenamiento que desacopla la composición global de la generación de teselas locales. Opera sin cambios arquitectónicos en el modelo de difusión subyacente (compatible tanto con backbones de U-Net como de Diffusion Transformer). El método procede en tres etapas:

1. Inicialización Globalmente Coherente: Se genera una representación latente base ($z_{base}$) a baja resolución (por ejemplo, 768×768) ya sea a partir de un prompt de texto o mediante la codificación de una imagen de referencia. Esta base se escala mediante un upsampler fijo al tamaño de la rejilla latente objetivo.
2. Renoising Parcial: El latente escalado se corrompe parcialmente con ruido gaussiano a una fuerza específica $s$. Este paso es crítico: retiene la disposición de baja frecuencia del esquema global mientras destruye los detalles de alta frecuencia. El latente renoisado ($\tilde{z}_s$) sirve como una inicialización compartida para todas las teselas, actuando como un control global único que fija la composición general de la escena.
3. Denoising Independiente por Tesela: El espacio latente objetivo se particiona en $K$ teselas no superpuestas. Cada tesela se denoise de forma independiente, partiendo de su región específica dentro del latente renoisado compartido $\tilde{z}_s$. Crucialmente, cada tesela sigue su propia trayectoria de denoising condicionada a un prompt específico de nivel de tesela o una imagen de referencia. Debido a que las teselas se denoise por separado dentro de regiones fijas, desarrollan detalles únicos de alta frecuencia (autonomía) mientras permanecen ancladas a la estructura de baja frecuencia compartida (coherencia global).

El proceso concluye decodificando las teselas denoisadas independientemente en la imagen del fotomosaico final. El método evita los costos de atención cuadrática al confinar los mecanismos de atención dentro de cada tesela, permitiendo la generación de lienzos de tamaño arbitrario.

Contribuciones Clave

• Marco Libre de Entrenamiento: PhotoQuilt no requiere entrenamiento adicional, ajuste fino (fine-tuning) ni módulos especializados (como ControlNet o adaptadores). Aprovecha las capacidades internas de los modelos de texto-a-imagen e imagen-a-imagen preentrenados.
• Resolución Arbitraria: Al desacoplar el diseño global de la generación de detalles locales y confinar la atención a teselas individuales, el método escala a altas resoluciones sin los cuellos de botella computacionales asociados con los mecanismos de atención global.
• Optimización de Doble Escala: El enfoque de "arranque de refuerzo" (bootstrapped) resuelve explícitamente la tensión entre la estructura global y el realismo local. El latente renoisado compartido impone el diseño global, mientras que las trayectorias de denoising independientes permiten que cada tesela diverja hacia una imagen distinta y de alta calidad.
• Agnosticismo de Modelo: El marco es compatible con varios backbones de difusión, incluyendo Stable Diffusion 2.1, FLUX.1 y FLUX.2.

Resultados Experimentales
Los experimentos se realizaron en mosaicos de alta resolución (6144×6144 píxeles) utilizando rejillas de teselas de 8×8. PhotoQuilt fue evaluado frente a seis líneas base, incluyendo métodos de recuperación (Match & Tone), enfoques de transferencia de estilo (AdaIN) y otras estrategias generativas (Phomosaic, StreamDiff).

• Desempeño Cuantitativo: PhotoQuilt superó a las líneas base existentes tanto en la preservación de la estructura global (medida por PSNR, SSIM, LPIPS y HPSv2 en imágenes submuestreadas) como en la calidad de la tesela local (medida por CLIP score, BLIP e Image Reward). Notablemente, mientras que métodos como StreamDiff lograron una alta fidelidad global, fallaron en producir teselas diversas (colapsando los puntajes locales). Por el contrario, los métodos centrados en la autonomía de la tesela a menudo sacrificaron la coherencia global. PhotoQuilt logró el mejor equilibrio, con la variante FLUX.1 alcanzando los puntajes más altos de CLIP e Image Reward junto con métricas globales sólidas.
• Estudios de Ablación:
  • Guía Global: Eliminar la inicialización de arranque de refuerzo (reemplazando el latente compartido con ruido independiente) resultó en teselas individuales de alta calidad pero con un colapso total de la estructura global (el PSNR cayó a 13.10), confirmando que el latente compartido es esencial para la coherencia del diseño.
  • Fuerza de Renoising ($s$): El parámetro de fuerza $s$ actúa como un dial entre la fidelidad global y la independencia de la tesela. Los valores de $s$ más bajos preservan la estructura global pero restringen la diversidad de las teselas; los valores de $s$ más altos aumentan la libertad de la tesela pero degradan la coherencia global. Se identificó un valor de $s=0.6$ como el compromiso óptimo.
  • Resolución de Arranque: Las imágenes base de mayor resolución (768×768) proporcionaron una guía estructural más rica en comparación con las de menor resolución (256×256), mejorando directamente la fidelidad global.

Significancia y Reivindicaciones
El artículo afirma que PhotoQuilt ofrece una solución mínima pero efectiva para la generación de fotomosaicos de alta resolución. Al resolver el problema de la doble escala a través de un procedimiento de denoising de teselas con arranque de refuerzo, permite la creación de mosaicos a gran escala donde la imagen objetivo es claramente reconocible como un todo, mientras que cada tesela permanece como una fotografía significativa y autónoma. Los autores enfatizan que este enfoque evita el gasto computacional de la generación directa de alta resolución y la sobrecarga de coordinación del ensamblaje de teselas secuencial, proporcionando un método estable y eficiente que funciona a través de una amplia gama de resoluciones de salida y backbones de modelos.