PhotoQuilt: Training-Free Arbitrary-Resolution Photomosaics via Bootstrapped Tiled Denoising

Sintesi Tecnica: PhotoQuilt

Problematica
I fotomosaici sono immagini composite in cui le regioni locali funzionano come fotografie indipendenti e autosufficienti, pur ricostruendo una scena globale coerente nella loro disposizione collettiva. La generazione di fotomosaici ad alta risoluzione presenta una duplice sfida: il sistema deve mantenere la coerenza strutturale globale (l'immagine target deve essere riconoscibile da lontano) garantendo al contempo l'autonomia locale delle piastrelle (ogni tile deve essere un'immagine dettagliata e convincente). Gli approcci esistenti faticano a soddisfare entrambe le scale simultaneamente. I metodi basati sul recupero (retrieval-based) sono limitati da pool di immagini finiti, portando a piastrelle ripetitive e a una limitata correzione del colore. I metodi generativi, in particolare quelli che utilizzano i modelli di diffusione, affrontano un compromesso: la generazione diretta ad alta risoluzione è computazionalmente costosa e tende a produrre un'unica immagine fluida piuttosto che un mosaico, mentre i metodi basati su piastrelle sequenziali o patch spesso perdono la struttura globale o richiedono procedure di coordinamento costose per allineare le piastrelle generate indipendentemente.

Metodologia: Bootstrapped Tiled Denoising
PhotoQuilt è un framework senza addestramento (training-free) che decouple la composizione globale dalla generazione della piastrella locale. Opera senza modifiche architettoniche al modello di diffusione sottostante (compatibile sia con backbone U-Net che Diffusion Transformer). Il metodo procede in tre fasi:

1. Inizializzazione Globalmente Coerente: Una rappresentazione latente di base ($z_{base}$) viene generata a bassa risoluzione (ad es. 768×768) partendo da un prompt testuale o codificando un'immagine di riferimento. Questa base viene sovra-campionata alla dimensione della griglia latente target utilizzando un upsampler fisso.
2. Renoising Parziale: La latente sovra-campionata viene parzialmente corrotta con rumore Gaussiano a una specifica intensità $s$. Questo passaggio è critico: preserva il layout grossolano a bassa frequenza della struttura globale pur distruggendo i dettagli ad alta frequenza. La latente renoisata ($\tilde{z}_s$) funge da controllo globale condiviso per tutte le piastrelle, agendo come un singolo controllo che fissa la composizione complessiva della scena.
3. Denoising Indipendente per Piastrella: Lo spazio latente target viene partizionato in $K$ piastrelle non sovrapponibili. Ogni piastrella viene denoised indipendentemente, partendo dalla propria regione specifica all'interno della latente renoisata condivisa $\tilde{z}_s$. Fondamentalmente, ogni piastrella segue la propria traiettoria di denoising condizionata da un prompt specifico o da un'immagine di riferimento a livello di piastrella. Poiché le piastrelle vengono denoised separatamente all'interno di regioni fisse, esse sviluppano dettagli unici ad alta frequenza (autonomia) rimanendo però ancorate alla struttura a bassa frequenza condivisa (coerenza globale).

Il processo si conclude decodificando le piastrelle indipendentemente denoised nell'immagine fotomosaico finale. Il metodo evita i costi di attenzione quadratica confinando i meccanismi di attenzione all'interno di ogni singola piastrella, permettendo la generazione di tele di dimensioni arbitrariamente grandi.

Contributi Chiave

• Framework Senza Addestramento: PhotoQuilt non richiede addestramento aggiuntivo, fine-tuning o moduli specializzati (come ControlNet o adapter). Sfrutta le capacità interne dei modelli pre-addestrati text-to-image e image-to-image.
• Risoluzione Arbitraria: Decouple la disposizione globale dal dettaglio locale e confinando l'attenzione alle singole piastrelle, il metodo scala verso alte risoluzioni senza i colli di bottiglia computazionali associati all'attenzione globale.
• Ottimizzazione a Doppia Scala: L'approccio "bootstrapped" risolve esplicitamente la tensione tra struttura globale e realismo locale. La latente renoisata condivisa impone il layout globale, mentre le traiettorie di denoising indipendenti permettono a ogni piastrella di divergere in un'immagine distinta e di alta qualità.
• Agnosticismo rispetto al Modello: Il framework è compatibile con vari backbone di diffusione, inclusi Stable Diffusion 2.1, FLUX.1 e FLUX.2.

Risultati Sperimentali
Gli esperimenti sono stati condotti su mosaici ad alta risoluzione (6144×6144 pixel) utilizzando griglie di piastrelle 8×8. PhotoQuilt è stato valutato rispetto a sei baseline, inclusi metodi basati sul recupero (Match & Tone), approcci di trasferimento di stile (AdaIN) e altre strategie generative (Phomosaic, StreamDiff).

• Prestazioni Quantitative: PhotoQuilt ha superato le baseline esistenti sia nella preservazione della struttura globale (misurata tramite PSNR, SSIM, LPIPS e HPSv2 su immagini sottocampionate) sia nella qualità locale della piastrella (misurata tramite punteggi CLIP, BLIP e Image Reward). Notevolmente, mentre metodi come StreamDiff raggiungevano un'alta fedeltà globale, fallivano nel produrre piastrelle diverse (collasso dei punteggi locali). Al contrario, i metodi focalizzati sull'autonomia della piastrella spesso sacrificavano la coerenza globale. PhotoQuilt ha raggiunto il miglior equilibrio, con la variante FLUX.1 che otteneva i punteggi più alti in CLIP e Image Reward insieme a forti metriche globali.
• Studi di Ablazione:
  • Guida Globale: Rimuovendo l'inizializzazione bootstrapped (sostituendo la latente condivisa con rumore indipendente), si ottenevano piastrelle individuali di alta qualità ma con un completo collasso della struttura globale (il PSNR scendeva a 13.10), confermando che la latente condivisa è essenziale per la coerenza del layout.
  • Intensità di Renoising ($s$): Il parametro di intensità $s$ funge da regolatore tra fedeltà globale e indipendenza della piastrella. Valori di $s$ più bassi preservano la struttura globale ma limitano la diversità delle piastrelle; valori di $s$ più alti aumentano la libertà della piastrella ma degradano la coerenza globale. Un valore di $s=0.6$ è stato identificato come il compromesso ottimale.
  • Risoluzione di Bootstrap: Immagini di base a risoluzione più alta (768×768) hanno fornito una guida strutturale più ricca rispetto a risoluzioni inferiori (256×256), migliorando direttamente la fedeltà globale.

Significatività e Rivendicazioni
L'articolo sostiene che PhotoQuilt offra una soluzione minima ma efficace per la generazione di fotomosaici ad alta risoluzione. Risolvendo il problema della doppia scala attraverso una procedura di denoising a piastrelle bootstrapped, esso consente la creazione di mosaici su larga scala dove l'immagine target è chiaramente riconoscibile nel suo insieme, mentre ogni piastrella rimane una fotografia significativa e autosufficiente. Gli autori sottolineano che questo approccio evita la spesa computazionale della generazione diretta ad alta risoluzione e l'overhead di coordinamento dell'assemblaggio sequenziale delle piastrelle, fornendo un metodo stabile ed efficiente che funziona attraverso una vasta gamma di risoluzioni di output e backbone di modelli.