GarmentZoom: Generating Zoomable Images from Garment Listings

Technische Samenvatting: GarmentZoom

Probleemstelling

Online kledingadvertenties presenteren doorgaans een gefragmenteerde kijkervaring: een afbeelding met standaardresolutie voor het volledige overzicht biedt context, terwijl afzonderlijke close-up afbeeldingen de fijne textuurdetails onthullen. Gebruikers moeten voortdurend tussen deze weergaven schakelen, wat de continuïteit van het browsen onderbreekt. Hoewel Reference-Based Super-Resolution (RefSR) een potentiële oplossing biedt, kampen bestaande methoden met aanzienlijke beperkingen in dit specifieke domein:

1. Ruimtelijke Misalignement: Standaard RefSR gaat ervan uit dat de referentieafbeelding en de lage-resolutie (LR) input een ruimtelijke correspondentie delen. Bij kledingadvertenties beslaan close-ups vaak slechts een klein, niet-overlappend gebied van het volledige kledingstuk, en kunnen ze verschillen in viewpoint, belichting of stofvervorming, waardoor pixel-niveau uitlijning onhaalbaar is.
2. Variabele Schalfactoren: Traditionele RefSR-methoden gaan uit van vaste, discrete upsampling-factoren (bijv. 4×). In de echte wereld vertonen kledingadvertenties continue schalfactoren variërend van 3× tot 20× tussen het volledige overzicht en de close-up.
3. Computationele Kosten: Eerdere benaderingen die in staat zijn om variabele schalen en misalignement aan te pakken (zoals UltraZoom), vertrouwen op per-instantie fine-tuning, wat computationeel onhaalbaar is voor grootschalige e-commerce implementatie.

Methodologie

GarmentZoom pakt deze uitdagingen aan door een enkele, ultra-hoge-resolutie kledingafbeelding te synthetiseren uit een foto van het volledige overzicht en een niet-uitgelijnde close-up referentie. Het systeem is gebouwd op Flux.1-dev, een state-of-the-art flow-matching model, en bevat drie kerncomponenten:

1. Dataset Constructie

Omdat echte productfoto's geen betrouwbare pixel-niveau uitlijning missen, construeert de auteur een synthetische gesuperviseerde dataset van hoog-resolutie kleding-close-ups.

• Triplet Generatie: Voor elke hoog-resolutie close-up worden twee ruimtelijk gescheiden crops gesampled: één als referentie ($I_{Ref}$) en één als de grondwaarheid ($I_{GT}$).
• Synthetische LR Input: De grondwaarheid wordt gedownsampled door een willekeurige continue schalfactor $s \in [3, 20]$ om de lage-kwaliteit input ($I_{LQ}$) te creëren.
• Restrictie: De ruimtelijke scheiding tussen de crops voorkomt dat het model triviale copy-paste oplossingen leert, waardoor het gedwongen wordt om textuurtransfer te leren op basis van uiterlijke kenmerken in plaats van directe correspondentie.
• Tekst Conditionering: Een vision-language model genereert gedetailleerde tekstbeschrijvingen voor elk kledingstuk om als hulp-conditionering te dienen.

2. Model Architectuur

Het systeem past de Flux.1-dev transformer architectuur aan met de volgende modificaties:

• Unified-Sequence Conditionering: De referentieafbeelding ($I_{Ref}$) en de ruisige target latent ($x_t$) worden gecodeerd in latent-sequenties en geconcateneerd. Deze gecombineerde sequentie wordt verwerkt door de transformer, waardoor de target tokens toegang krijgen tot de referentietextuur via cross-attention mechanismen.
• ControlNet Integratie: Een bevroren, vooraf getrainde 4× Single-Image Super-Resolution (SISR) ControlNet is geconditioneerd op de lage-kwaliteit input ($x_{LQ}$) om de globale structuur en de stofvervorming van de originele volledige afbeelding te behouden.
• Trainingsdoel: Het model wordt getraind met een flow-matching objectief om het snelheidveld te voorspellen, waarbij het verschil tussen de voorspelde en de target snelheden wordt geminimaliseerd.
• Parameter Efficiëntie: Het model wordt gefinetuned met LoRA (Low-Rank Adaptation) met een rank van 512, waarbij de basisgewichten bevroren blijven om efficiëntie te garanderen.

3. Inferentie Strategie

Om de generatie van volledige resoluties binnen de GPU-geheugenbeperkingen af te handelen, gebruiken de auteurs een sliding-window inferentie strategie:

• De afbeelding van het volledige overzicht wordt verdeeld in overlappende vensters.
• Inference wordt onafhankelijk op elke patch uitgevoerd.
• Om artefacten veroorzaakt door herhaalde venstergrenzen te mitigeren, wordt de positie van de sliding windows bij elke inferentie-timestep gevarieerd.
• Overlappende latent regio's worden gemiddeld op een verenigd canvas om een naadloze, artefact-vrije output te produceren.

Belangrijkste Bijdragen

1. Een Nieuw Systeem: GarmentZoom synthetiseert een enkele afbeelding van een kledingstuk met hoge details vanuit volledige overzicht- en niet-uitgelijnde close-up foto's, wat een naadloze zoom-en-pan exploratie mogelijk maakt.
2. Robuuste Referentie-gestuurde SR: Het model ondersteunt ruimtelijk niet-uitgelijnde referenties en continue schalfactoren (3–20×), waarmee de beperkingen van vaste schalen en uitlijning-afhankelijke methoden worden overwonnen.
3. Efficiënt Trainingsproces: De aanpak traint een enkel generaliseerbaar model met behulp van synthetische triplets afgeleid van echte e-commerce listings, waardoor de hoge computationele kosten van per-instantie fine-tuning worden vermeden.

Experimentele Resultaten

De methode is geëvalueerd op een dataset van 8.547 kledingproducten, waarbij het is vergeleken met algemene RefSR baselines (TTSR, DATSR, AdaRefSR, ReFIR) en een continue-schaal SISR baseline (ContinuousSR).

• Kwantitatieve Prestaties: GarmentZoom behaalde state-of-the-art resultaten op perceptuele metrieken (LPIPS, DISTS) en frequentiedomein metrieken (LSD) bij zowel 4× als 10× schalen. Opvallend genoeg behield het een consistente prestatie tot 16×, terwijl baseline methoden significant verslechterden naarmate de schalfactoren toenamen.
• Gebruikersstudie: In een studie met 13 deelnemers kreeg GarmentZoom in 97,7% van de gevallen de top-1 voorkeur bij 10× schaling, wat de gefinetunede baselines aanzienlijk overtrof.
• Vergelijking met Per-Instance Methoden: Bij een kwalitatieve en kwantitatieve vergelijking met UltraZoom (die ~1,5 uur fine-tuning per product vereist), produceerde GarmentZoom resultaten van vergelijkbare kwaliteit zonder instantie-specifieke training. Het vertoonde superieure kleurgetrouwheid en vermeed de "kleurdrift" problemen die bij UltraZoom werden waargenomen.
• Ablatie Studies:
  • Schaal Robuustheid: Het model generaliseerde effectief over het bereik van 3–20×.
  • Referentie Gelijkenis: De prestaties namen af naarmate de ruimtelijke afstand tussen de referentie en de target toenam, wat bevestigt dat het model leunt op referentie-gelijkenis maar toch robuust blijft bij matige misalignement.
  • Architectuur: De unified-sequence conditionering met LoRA presteerde beter dan alternatieve cross-attention injectiemethoden (geïnspireerd door IP-Adapter), wat suggereert dat het gezamenlijk evolueren van referentie- en input-latents binnen dezelfde attention space effectiever is voor textuurtransfer.

Betekenis en Claims

Het artikel positioneert GarmentZoom als een praktische stap naar naadloze virtuele productervaringen. Door de noodzaak voor ruimtelijke uitlijning en per-instantie training te ontkoppelen, stelt het systeem de generatie van hoogwaardige, zoombare kledingafbeeldingen mogelijk tegen een fractie van de trainingskosten van bestaande per-instance methoden. De auteurs beweren dat het systeem succesvol generaliseert over diverse kledingstukken en schalfactoren, waardoor de kloof tussen overzichtelijke context en detail-niveau getrouwheid in online winkelen wordt overbrugd.

Beperkingen: De auteurs erkennen dat, net als andere RefSR methoden, als de vereiste textuur volledig afwezig is in de referentie, het model plausibele details moet hallucineren. Zij suggereren dat toekomstig werk zich kan richten op het automatisch selecteren van optimale referentie-crops om de nodige texturen te dekken.