Sintesi Tecnica: GarmentZoom

Problematica

Le inserzioni di abbigliamento online presentano tipicamente un'esperienza di visualizzazione frammentata: un'immagine a risoluzione standard a tutta visuale fornisce il contesto, mentre immagini ravvicinate separate rivelano i dettagli fini della trama. Gli utenti devono continuamente passare da una visualizzazione all'altra, interrompendo la continuità della navigazione. Sebbene la Super-Risoluzione Basata su Riferimento (RefSR) offra una potenziale soluzione, i metodi esistenti affrontano limitazioni significative in questo specifico dominio:

1. Disallineamento Spaziale: La RefSR standard assume che l'immagine di riferimento e l'input a bassa risoluzione (LR) condividano una corrispondenza spaziale. Nelle inserzioni di abbigliamento, i primi piani spesso coprono solo una piccola regione non sovrapponibile del capo completo e possono differire per prospettiva, illuminazione o deformazione del tessuto, rendendo l'allineamento a livello di pixel impraticabile.
2. Fattori di Scala Variabili: I metodi tradizionali di RefSR assumono fattori di upsampling fissi e discreti (ad es. 4×). Le inserzioni di abbigliamento nel mondo reale presentano fattori di scala continui che vanno da 3× a 20× tra la vista completa e il primo piano.
3. Costo Computazionale: Gli approcci precedenti capaci di gestire scale variabili e disallineamenti (ad es. UltraZoom) si affidano al fine-tuning per singola istanza, il che è computazionalmente proibitivo per una distribuzione su larga scala nell'e-commerce.

Metodologia

GarmentZoom affronta queste sfide sintetizzando un'unica immagine di un capo ad altissima risoluzione partendo da una foto a tutta visuale e un riferimento ravvicinato non allineato. Il sistema si basa su Flux.1-dev, un modello di flow-matching allo stato dell'arte, e incorpora tre componenti chiave:

1. Costruzione del Dataset

Poiché le foto dei prodotti reali mancano di un affidabile allineamento a livello di pixel, gli autori costruiscono un dataset supervisionato sintetico partendo da primi piani di capi ad alta risoluzione.

• Generazione di Triplette: Per ogni primo piano ad alta risoluzione, vengono campionati due ritagli spazialmente separati: uno come riferimento ($I_{Ref}$) e uno come verità fondamentale ($I_{GT}$).
• Input LR Sintetico: La verità fondamentale viene ridimensionata tramite un fattore di scala continuo casuale $s \in [3, 20]$ per creare l'input a bassa qualità ($I_{LQ}$).
• Vincolo: La separazione spaziale tra i ritagli impedisce al modello di apprendere soluzioni banali di tipo "copia e incolla", costringendolo ad apprendere il trasferimento della texture basato su indizi di aspetto piuttosto che sulla diretta corrispondenza.
• Condizionamento Testuale: Un modello vision-language genera descrizioni testuali dettagliate per ogni capo per fungere da condizionamento ausiliario.

2. Architettura del Modello

Il sistema adatta l'architettura transformer di Flux.1-dev con le seguenti modifiche:

• Condizionamento a Sequenza Unificata (Unified-Sequence Conditioning): L'immagine di riferimento ($I_{Ref}$) e il target latente rumoroso ($x_t$) vengono codificati in sequenze latenti e concatenati. Questa sequenza combinata è elaborata dal transformer, permettendo ai token target di accedere alle informazioni della texture di riferimento tramite meccanismi di cross-attention.
• Integrazione ControlNet: Un ControlNet pre-addestrato e congelato per la Single-Image Super-Resolution (SISR) 4× è condizionato sull'input a bassa qualità ($x_{LQ}$) per preservare la struttura globale e la deformazione del tessuto dell'immagine originale a tutta visuale.
• Obiettivo di Addestramento: Il modello è addestrato utilizzando un obiettivo di flow-matching per predire il campo di velocità, minimizzando la differenza tra le velocità predette e quelle target.
• Efficienza dei Parametri: Il modello viene sottoposto a fine-tuning utilizzando LoRA (Low-Rank Adaptation) con un rank di 512, mantenendo congelati i pesi base per garantire l'efficienza.

3. Strategia di Inferenza

Per gestire la generazione a piena risoluzione entro i vincoli di memoria della GPU, gli autori impiegano una strategia di inferenza a finestra scorrevole (sliding-window inference):

• L'immagine a tutta visuale viene divisa in finestre sovrapposte.
• L'inferenza viene eseguita su ogni patch indipendentemente.
• Per mitigare gli artefatti causati dai bordi ripetuti delle finestre, la posizione delle finestre scorrevoli viene variata ad ogni timestep di inferenza.
• Le regioni latenti sovrapposte vengono mediate su una tela unificata per produrre un output fluido e privo di artefatti.

Contributi Chiave

1. Un Sistema Novello: GarmentZoom sintetizza un'immagine di un capo ad alto dettaglio da foto a tutta visuale e primi piani non allineati, consentendo un'esplorazione fluida di zoom e pan.
2. RefSR Robusta Guidata dal Riferimento: Il modello supporta riferimenti spazialmente non allineati e fattori di scala continui (3–20×), superando i limiti dei metodi precedenti a scala fissa e dipendenti dall'allineamento.
3. Pipeline di Addestramento Efficiente: L'approccio addestra un singolo modello generalizzabile utilizzando triplette sintetiche derivate da reali inserzioni e-commerce, evitando l'alto costo computazionale del fine-tuning per singola istanza.

Risultati Sperimentali

Il metodo è stato valutato su un dataset di 8.547 prodotti di abbigliamento, confrontandolo con i baseline generali di RefSR (TTSR, DATSR, AdaRefSR, ReFIR) e un baseline di SISR a scala continua (ContinuousSR).

• Performance Quantitativa: GarmentZoom ha raggiunto risultati allo stato dell'arte nelle metriche percettive (LPIPS, DISTS) e nelle metriche nel dominio della frequenza (LSD) sia a scale 4× che 10×. Notevolmente, ha mantenuto prestazioni costanti fino a 16×, mentre i metodi baseline degradavano significativamente all'aumentare dei fattori di scala.
• Studio Utente: In uno studio con 13 partecipanti, GarmentZoom ha ricevuto la preferenza top-1 nel 97,7% dei casi per lo scaling 10×, superando significativamente i baseline sottoposti a fine-tuning.
• Confronto con Metodi Per-Istanza: Confrontato qualitativamente e quantitativamente con UltraZoom (che richiede circa 1,5 ore di fine-tuning per prodotto), GarmentZoom ha prodotto risultati di qualità paragonabile senza l'addestramento specifico per istanza. Ha dimostrato una fedeltà cromatica superiore ed ha evitato i problemi di "color drift" osservati in UltraZoom.
• Studi di Ablazione:
  • Robustezza della Scala: Il modello si è generalizzato efficacemente nell'intervallo 3–20×.
  • Similitudine del Riferimento: Le prestazioni sono diminuite all'aumentare dello spostamento spaziale tra il riferimento e il target, confermando che il modello si affida alla similitudine del riferimento ma rimane robusto a un moderato disallineamento.
  • Architettura: Il condizionamento a sequenza unificata con LoRA ha superato i metodi alternativi di iniezione di cross-attention (ispirati a IP-Adapter), suggerendo che la co-evoluzione dei latenti di riferimento e di input nello stesso spazio di attenzione sia più efficace per il trasferimento della texture.

Significato e Rivendicazioni

Il paper posiziona GarmentZoom come un passo pratico verso esperienze di prodotto virtuali senza interruzioni. Decoupling (scollegando) la necessità di allineamento spaziale e di addestramento per singola istanza, il sistema consente la generazione di immagini di capi ad alta fedeltà e con possibilità di zoom a una frazione del costo di addestramento dei metodi per istanza esistenti. Gli autori affermano che il sistema riesce a generalizzare con successo su diversi capi e fattori di scala, colmando il divario tra il contesto di panoramica e la fedeltà del dettaglio.

Limitazioni: Gli autori riconoscono che, come altri metodi RefSR, se la texture richiesta è totalmente assente dal riferimento, il modello deve allucinare dettagli plausibili. Suggeriscono che il lavoro futuro potrebbe concentrarsi sulla selezione automatica dei ritagli di riferimento ottimali per coprire le texture necessarie.