PhotoQuilt: Training-Free Arbitrary-Resolution Photomosaics via Bootstrapped Tiled Denoising

Technische Samenvatting: PhotoQuilt

Probleemstelling
Fotomosaïeken zijn samengestelde afbeeldingen waarbij lokale regio's functioneren als onafhankelijke, zelfstandige foto's, terwijl hun collectieve arrangement een coherente globale scène reconstrueert. Het genereren van fotomosaïeken met een hoge resolutie vormt een dubbele uitdaging: het systeem moet zowel de globale structurele coherentie handhaven (de doelafbeelding moet van een afstand herkenbaar zijn) als de lokale tegelautonomie waarborgen (elke tegel moet een overtuigende, gedetailleerde afbeelding zijn). Bestaande benaderingen hebben moeite om beide schalen simultaan te bevredigen. Retrieval-gebaseerde methoden worden beperkt door eindige beeldpools, wat leidt tot repetitieve tegels en beperkte kleurcorrectie. Generatieve methoden, met name die gebruikmaken van diffusiemodellen, kampen met een afweging: directe generatie met een hoge resolutie is computationeel duur en heeft de neiging een enkele gladde afbeelding te produceren in plaats van een mozaïek, terwijl sequentiële tegelgeneratie of patch-gebaseerde methoden vaak de globale structuur verliezen of kostbare coördinatieprocedures vereisen om onafhankelijk gegenereerde tegels uit te lijnen.

Methodologie: Bootstrapped Tiled Denoising
PhotoQuilt is een training-vrij framework dat de globale compositie ontkoppelt van de lokale tegelgeneratie. Het werkt zonder architecturale wijzigingen aan de onderliggende diffusie-architectuur (compatibel met zowel U-Net als Diffusion Transformer backbones). De methode verloopt in drie fasen:

1. Globaal Coherente Initialisatie: Een basis latente representatie ($z_{base}$) wordt gegenereerd op een lage resolutie (bijv. 768×768), ofwel vanuit een tekstprompt of door een referentieafbeelding te coderen. Deze basis wordt geüp sampled naar de doel latente gridgrootte met behulp van een vaste upsampler.
2. Partiële Renoising: De geüp sampled latente wordt gedeeltelijk gecorrumpeerd met Gaussische ruis met een specifieke sterkte $s$. Deze stap is cruciaal: het behoudt de grove, laagfrequente lay-out van de globale structuur, terwijl de hoogfrequente details worden vernietigd. De gerenoised latente ($\tilde{z}_s$) dient als een gedeelde initialisatie voor alle tegels, wat fungeert als een enkele globale controle die de algehele scènecompositie vastlegt.
3. Onafhankelijke Per-Tegel Denoising: De doel latente ruimte wordt gepartitioneerd in $K$ niet-overlappende tegels. Elke tegel wordt onafhankelijk gedenoised, uitgaande van zijn specifieke regio binnen de gedeelde gerenoised latente $\tilde{z}_s$. Cruciaal is dat elke tegel zijn eigen denoising-traject volgt, geconditioneerd op een specifieke tegel-niveau prompt of referentieafbeelding. Omdat de tegels afzonderlijk worden gedenoised binnen vaste regio's, ontwikkelen ze unieke hoogfrequente details (autonomie), terwijl ze verankerd blijven aan de gedeelde laagfrequente structuur (globale coherentie).

Het proces wordt afgerond door de onafhankelijk gedenoised tegels te decoderen naar de uiteindelijke fotomosaïek-afbeelding. De methode vermijdt kwadratische attention-kosten door de attention-mechanismen binnen elke tegel te beperken, waardoor de generatie van willekeurig grote canvassen mogelijk is.

Belangrijkste Bijdragen

• Training-vrij Framework: PhotoQuilt vereist geen extra training, fine-tuning of gespecialiseerde modules (zoals ControlNet of adapters). Het maakt gebruik van de interne capaciteiten van pre-trained text-to-image en image-to-image modellen.
• Arbitraire Resolutie: Door de globale lay-out te ontkoppelen van de lokale detailgeneratie en de attention te beperken tot individuele tegels, schaalt de methode naar hoge resoluties zonder de computationele bottlenecks die geassocieerd worden met globale attention-mechanismen.
• Dual-Scale Optimalisatie: De "bootstrapped" benadering lost expliciet de spanning op tussen globale structuur en lokale realisme. De gedeelde gerenoised latente dwingt de globale lay-out af, terwijl de onafhankelijke denoising-trajecten elke tegel toestaan uit te wijken naar een distincte, hoogwaardige afbeelding.
• Model Agnosticisme: Het framework is compatibel met diverse diffusie backbones, inclusief Stable Diffusion 2.1, FLUX.1 en FLUX.2.

Experimentele Resultaten
Experimenten werden uitgevoerd op hoog-resolutie mozaïeken (6144×6144 pixels) met behulp van 8×8 tegelgrids. PhotoQuilt werd geëvalueerd tegen zes baselines, waaronder retrieval-gebaseerde methoden (Match & Tone), stijltransfer-benaderingen (AdaIN) en andere generatieve strategieën (Phomosaic, StreamDiff).

• Kwantitatieve Prestaties: PhotoQuilt presteerde beter dan bestaande baselines op zowel de preservatie van de globale structuur (gemeten via PSNR, SSIM, LPIPS en HPSv2 op gedownsampled afbeeldingen) als de lokale tegelkwaliteit (gemeten via CLIP score, BLIP en Image Reward). Opvallend genoeg, terwijl methoden zoals StreamDiff een hoge globale getrouwheid bereikten, faalden zij in het produceren van diverse tegels (instorting van lokale scores). Omgekeerd faalden methoden die zich richtten op tegelautonomie vaak in het behouden van de globale coherentie. PhotoQuilt bereikte de beste balans, waarbij de FLUX.1 variant de hoogste CLIP en Image Reward scores behaalde naast sterke globale metrieken.
• Ablatie Studies:
  • Globale Guidance: Het verwijderen van de bootstrapped initialisatie (het vervangen van de gedeelde latente door onafhankelijke ruis) resulteerde in hoogwaardige individuele tegels maar een volledige instorting van de globale structuur (PSNR daalde naar 13.10), wat bevestigt dat de gedeelde latente essentieel is voor lay-out coherentie.
  • Renoising Sterkte ($s$): De sterkteparameter $s$ fungeert als een draaiknop tussen globale getrouwheid en tegelonafhankelijkheid. Lagere $s$-waarden bewaren de globale structuur maar beperken de tegeldiversiteit; hogere $s$-waarden vergroten de tegelvrijheid maar verslechteren de globale coherentie. Een waarde van $s=0.6$ werd geïdentificeerd als de optimale afweging.
  • Bootstrap Resolutie: Hogere resolutie basisafbeeldingen (768×768) boden rijkere structurele sturing vergeleken met lagere resoluties (256×256), wat de globale getrouwheid direct verbeterde.

Betekenis en Claims
Het artikel claimt dat PhotoQuilt een minimale doch effectieve oplossing biedt voor hoog-resolutie fotomosaïek-generatie. Door de dual-scale problematiek op te lossen via een bootstrapped tiled denoising procedure, maakt het de creatie van grootschalige mozaïeken mogelijk waarbij de doelafbeelding als geheel duidelijk herkenbaar is, terwijl elke tegel een betekenisvolle, zelfstandige foto blijft. De auteurs benadrukken dat deze benadering de computationele kosten van directe hoog-resolutie generatie en de coördinatie-overhead van sequentiële tegelassemblage vermijdt, waardoor een stabiele en efficiënte methode wordt geboden die werkt over een breed scala aan output-resoluties en model backbones.