Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

Immagina di cercare di insegnare a un robot come vestirsi. Gli mostri la foto di una persona e la foto di una nuova giacca fantastica, e gli chiedi: "Puoi mettere la giacca sulla persona?". Questo è il mondo del Virtual Try-On (VITON), un ramo della computer vision dove le macchine cercano di risolvere l'enigma di come i vestiti appaiano su corpi diversi. Per farlo, il robot utilizza un tipo speciale di "cervello" chiamato modello di diffusione. Pensa a un modello di diffusione come a un artista magico che inizia con una tela coperta di staticità (come la neve di un vecchio televisore) e lentamente, passo dopo passo, elimina il rumore per rivelare un'immagine. Se dai a questo artista una descrizione testuale come "una camicia rossa", può dipingerla. Ma se vuoi che dipinga esattamente quella specifica camicia su quella specifica persona, con le maniche che finiscono al gomito e il colletto posizionato nel modo giusto, l'artista spesso si confonde. Potrebbe dipingere la camicia troppo lunga, troppo corta o con il colore sbagliato. Questo è un grande problema per i negozi online, perché se un cliente acquista una camicia basandosi su una foto falsa che non corrisponde alla realtà, sarà infelice.

Questo rapporto di Max Rehman Linder affronta proprio quella confusione. L'autore si chiede: "E se potessimo dare al robot un righello e un set di istruzioni, invece di una vaga descrizione?". Il documento propone un nuovo metodo chiamato ControlableClothing. Invece di mostrare semplicemente le immagini al robot, il team dell'autore misura i vestiti e il corpo della persona con precisione matematica — calcolando esattamente quanto è coperto il braccio, quanto è profondo lo scollo e quanto sono lunghe le maniche. Trasformano queste misurazioni in un codice segreto (etichette) e le forniscono al robot insieme alle immagini. Il risultato è un sistema che non si limita a indovinare dove vanno i vestiti; segue una mappa. Il documento suggerisce che, utilizzando queste misurazioni precise e un "adapter" speciale (uno strumento che aiuta il robot a comprendere il codice), le immagini generate diventano molto più controllabili. Tuttavia, l'autore avverte con cura che, sebbene il robot possa ora seguire queste regole, deve ancora fare molta pratica per rendere perfetto ogni minimo dettaglio, e alcuni dei nuovi strumenti che hanno costruito sono ancora in fase di test per vedere se funzionano bene come sperato.

La magia dell'artista che "pulisce il rumore"

Per capire come funziona, guardiamo il cervello del robot. Il documento utilizza un tipo di IA chiamato modello di diffusione latente. Immagina un secchio di acqua fangosa. Se continui a mescolarla, diventerà sempre più sporca finché non sarà solo fango marrone. Un modello di diffusione impara a fare l'opposto: impara come prendere quel fango marrone e separare lentamente lo sporco dall'acqua finché non avrai di nuovo un'immagine nitida. Nel mondo informatico, lo "fango" è il rumore casuale, e la "immagine nitida" è la foto di una persona che indossa dei vestiti.

Per molto tempo, questi robot sono stati bravissimi a creare nuove immagini da zero, ma terribili nel seguire regole rigide. Se chiedevi una camicia con le maniche che finiscono esattamente al gomito, il robot poteva solo tirare a indovinare. È come chiedere a un bambino di disegnare una casa con una porta larga esattamente 3 pollici; potrebbe disegnare una porta, ma raramente avrà la dimensione esatta che desideravi. I tentativi precedenti per risolvere il problema hanno coinvolto le GAN (un altro tipo di IA), che però erano spesso rigide e non riuscivano a creare pieghe o illuminazione realistiche. Poi sono arrivati i Modelli di Diffusione, che sono molto più bravi a rendere le cose realistiche, ma hanno comunque faticato con il problema dell' "esatta collocazione".

La nuova soluzione: Dare al robot un righello

L'idea principale dell'autore è semplice: smettere di indovinare e iniziare a misurare.

In passato, se volevi provare una camicia, mostravi semplicemente la camicia al robot e alla persona. Il robot cercava di "adattare" la camicia per farla calzare. Ma l'autore ha capito che per farlo bene, il robot deve sapere come la camicia calza. È stretta? È larga? La manica si ferma al polso o al gomito?

Così, il team ha costruito una pipeline di pre-elaborazione. Prima che il robot veda l'immagine, utilizzano altri strumenti intelligenti per:

1. Ritagliare i vestiti: Usano una "maschera" per nascondere la parte della persona dove andrà la nuova camicia.
2. Misurare tutto: Utilizzano la computer vision per misurare la distanza dalle anche della persona alla base della camicia, la larghezza del collo e quanto è coperto il braccio.
3. Creare una "Scheda di Valutazione": Trasformano queste misurazioni in numeri ed etichette. Ad esempio, invece di dire solo "maniche lunghe", potrebbero dire "le maniche finiscono allo 0,8 della lunghezza del braccio".

Lo strumento "Adapter": Il traduttore

Il cervello del robot (il modello di diffusione) è già molto bravo a dipingere, ma non parla la lingua delle "misurazioni". Per risolvere questo problema, l'autore ha costruito uno strumento speciale chiamato adapter. Pensa a questo adapter come a un traduttore.

Il traduttore prende la "Scheda di Valutazione" (le misurazioni e le etichette) e l'immagine della camicia, e le converte in un linguaggio che il robot comprende. Poi sussurra queste istruzioni all'orecchio del robot mentre sta dipingendo.

• L'IP-Adapter: Questa parte aiuta il robot a comprendere l'aspetto della camicia (il motivo, il colore).
• Il T2I-Adapter: Questa parte aiuta il robot a comprendere i dettagli e dove posizionarli.

L'autore ha creato una nuova versione personalizzata di questo traduttore specificamente per la parte di "up-sampling" del processo di pittura. Questa è la fase in cui il robot aggiunge i dettagli fini, come la trama del tessuto o il modo in cui la luce colpisce una piega. Iniettando i dati delle misurazioni proprio in questa fase, il robot può regolare i dettagli in base alle istruzioni del righello.

Cosa hanno mostrato gli esperimenti

L'autore ha addestrato questo nuovo sistema su migliaia di immagini di persone e vestiti. Ecco cosa ha scoperto:

• Funziona, ma è un lavoro in corso: Quando hanno girato le "manopole" (le etiquette di misurazione), il robot ha effettivamente cambiato i vestiti. Ad esempio, se dicevano al robot di rendere lo scollo più profondo (cambiando un numero da 1 a -2), il robot disegnava uno scollo più profondo. Se dicevano di coprire solo una spalla, lo faceva anche lui.
• I numeri sono meglio delle parole: L'autore ha scoperto che dare al robot un numero specifico (come un valore float) funzionava meglio che dare una categoria (come "manica lunga"). È come dire a uno chef "aggiungi 5 grammi di sale" invece di "aggiungi un po' di sale". Il robot poteva seguire il numero con più precisione.
• Il trucco della "Maschera": Il team ha anche insegnato al robot a ignorare le parti dell'immagine nascoste dietro una maschera. Hanno scoperto che se dicevano al robot "la maschera finisce qui, ma puoi dipingere sopra di essa", il robot generava nuovo tessuto sopra la linea della maschera. Questo è enorme perché significa che potresti prendere la foto di qualcuno con una camicia lunga e dire al robot di trasformarla in un crop top, e il robot saprebbe come dipingere l'area dello stomaco mancante.
• I Limiti: Il documento ammette che il robot non è ancora perfetto. Quando i vestiti avevano schemi o dettagli molto complessi, il robot a volte li perdeva. L'autore sospetta che ciò sia dovuto al fatto che il nuovo strumento di "up-sampling" che hanno costruito non è stato addestrato abbastanza a lungo. Il robot sta ancora imparando a usare il suo nuovo righello.

Ciò a cui l'autore dice "No"

L'autore è stato molto chiaro su ciò che non funziona o che non è l'oggetto dell'attenzione:

• Usare solo prompt testuali non è sufficiente: Hanno provato a chiedere al robot di "rendere le maniche più lunghe" usando solo parole, ma il robot spesso le ignorava o sbagliava. Le misurazioni erano necessarie.
• Il "one-hot encoding" non è l'ideale: Hanno provato a usare semplici interruttori "on/off" per cose come la lunghezza delle maniche (es. "è lunga? Sì/No"), ma hanno scoperto che i numeri continui (come un cursore da 0 a 1) davano un controllo molto migliore.
• Non è una soluzione magica per tutto: L'autore nota che se il robot viene addestrato su un dataset dove ha già memorizzato le risposte, aggiungere nuove istruzioni potrebbe non aiutare. Hanno dovuto ricominciare da capo per far funzionare il nuovo sistema.

Il Verdetto

Questo documento suggerisce che combinando misurazioni precise con strumenti "adapter" intelligenti, possiamo dare ai sistemi di virtual try-on molto più controllo. Non è un problema risolto — il robot deve ancora fare molto addestramento per rendere perfetti i minimi dettagli e i nuovi strumenti devono essere testati ulteriormente — ma la direzione è promettente. L'autore dimostra che se dai all'IA un righello e un set di istruzioni, essa può smettere di indovinare e iniziare a seguire gli ordini, creando immagini che sono molto più vicine a ciò che un vero cliente vedrebbe. È un passo verso un futuro in cui puoi provare i vestiti online, e la foto che vedi è esattamente ciò che riceverai quando arriverà il pacco.