FabricGen: Microstructure-Aware Woven Fabric Generation

Il paper presenta FabricGen, un framework end-to-end che genera tessuti intrecciati realistici a partire da descrizioni testuali decomponendo il processo nella sintesi di texture macroscopiche tramite modelli di diffusione e di geometrie microscopiche dei fili controllate da un modello linguistico specializzato (WeavingLLM) per rispettare le regole dell'intreccio.

L'essenziale

Ecco una spiegazione semplice e creativa del paper FabricGen, pensata per chiunque, anche senza conoscenze tecniche.

Immagina di voler creare un tessuto digitale perfetto per un videogioco o un film. Fino a oggi, era come se dovessi essere un tessitore esperto e un pittore allo stesso tempo: dovevi sapere come intrecciare i fili (le regole della tessitura) e poi dipingere i colori. Se sbagliavi un filo, il tessuto sembrava finto o "plasticoso" quando ci si guardava da vicino.

FabricGen è come un magico assistente di sartoria che fa tutto questo per te, semplicemente ascoltando quello che dici.

Ecco come funziona, diviso in due parti principali:

1. La "Pittura" su larga scala (Il Macro)

Immagina di dover dipingere un muro. Se usi un pennello normale, potresti vedere le pennellate o le imperfezioni.

• Il problema: I vecchi computer, quando provavano a creare tessuti, dipingevano tutto insieme: colore e fili. Risultato? Da lontano sembrava bello, ma da vicino si vedevano errori, strisce strane o fili che non avevano senso.
• La soluzione di FabricGen: Il sistema ha un "pittore speciale" (un modello di intelligenza artificiale chiamato Diffusion Model). Questo pittore è stato addestrato a creare solo il colore e il disegno di fondo, ignorando completamente i fili. È come se dipingesse una tela liscia e perfetta, pronta per essere "tessuta".
  • Metafora: È come se il pittore disegnasse solo il motivo a quadri o a righe su un foglio di carta liscia, senza preoccuparsi della trama della carta stessa.

2. L'Intreccio dei fili (Il Micro)

Ora che abbiamo il disegno di fondo, dobbiamo costruire la struttura fisica del tessuto: i fili che si incrociano, quelli che spuntano fuori, quelli che scivolano.

• Il problema: Costruire questi fili a mano è difficilissimo. Inoltre, i tessuti reali non sono mai perfetti: ci sono fili che si muovono, pelucchi che escono fuori (i "pelucchi" o flyaway), e irregolarità naturali.
• La soluzione di FabricGen: Qui entra in gioco il "Tessitore Intelligente" (un modello linguistico chiamato WeavingLLM).
  • Tu scrivi: "Voglio un tessuto arancione con un motivo a rombi verde, stile scozzese".
  • Il Tessitore Intelligente non disegna pixel. Invece, scrive le istruzioni matematiche per costruire il tessuto, filo per filo. Sa esattamente come intrecciare i fili (il "disegno di tessitura") e aggiunge quel tocco di caos naturale: fa sì che alcuni fili scivolino leggermente fuori posto e che altri pelucchi spuntino dalla superficie.
  • Metafora: È come se avessi un robot che, invece di stampare un'immagine, costruisce fisicamente il tessuto con un ago e un filo, seguendo le tue istruzioni, ma lo fa in un istante e con una precisione che nessun umano potrebbe mantenere per ore.

Perché è così speciale?

La vera magia di FabricGen è che separa i due compiti:

1. Il Pittore si occupa solo dei colori e dei motivi grandi (senza fili).
2. Il Tessitore si occupa solo della struttura fisica dei fili (senza preoccuparsi dei colori).

Alla fine, il computer unisce i due risultati. Il risultato è un tessuto che, se lo guardi da lontano, ha il colore e il motivo che hai chiesto, e se te lo porti vicino al naso (come in un primo piano di un film), vedi ogni singolo filo, ogni pelucco e ogni irregolarità che lo rende reale.

In sintesi

Prima, per creare un tessuto digitale realistico, serviva un artista esperto che passasse giorni a modellare ogni filo. Con FabricGen, basta dire a un computer: "Fammi un tessuto di seta marrone con un motivo a scacchi e un po' di pelucchi".
Il computer:

1. Dipinge la base marrone a scacchi.
2. Costruisce i fili di seta intrecciandoli perfettamente.
3. Aggiunge quel tocco di "disordine naturale" che rende il tessuto vivo.

È come avere un tessitore magico che trasforma le tue parole in stoffa digitale, perfetta sia per l'occhio che per la mano (virtualmente!).

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper FabricGen: Microstructure-Aware Woven Fabric Generation, presentato in italiano.

1. Il Problema

La generazione di materiali tessili realistici per il rendering fotorealistico (usato in modellazione digitale, design d'interni e produzione cinematografica) è un processo complesso. Tradizionalmente, richiede competenze specializzate in principi di tessitura e creazione di texture, coinvolgendo più fasi manuali.
Sebbene i recenti modelli di diffusione abbiano semplificato la creazione di materiali, presentano limiti significativi quando applicati ai tessuti:

• Mancanza di dettagli micro-strutturali: I modelli pre-addestrati su immagini naturali faticano a generare dettagli a livello di filato (yarn-level) che rispettino le regole fisiche della tessitura.
• Artifatti strutturali: Spesso producono pattern fisicamente implausibili, strisce artificiali o omettono completamente la microstruttura, rendendo i rendering poco realistici in primo piano.
• Difficoltà di controllo: È difficile imporre vincoli specifici del dominio (come le regole di intreccio) durante il processo generativo.

2. Metodologia: FabricGen

Il framework FabricGen risolve questi problemi attraverso un approccio end-to-end che decomponga la generazione del materiale tessile in due scale distinte:

1. Macro-scala: La texture di superficie (albedo) priva di microstrutture.
2. Micro-scala: Il pattern di tessitura e la geometria dei filati.

A. Generazione della Texture Macro-Scala (Diffusion Model)

Per evitare che il modello di diffusione generi dettagli micro-strutturali indesiderati (che creerebbero conflitti con il modello procedurale), gli autori hanno:

• Raccolto un dataset di 600 texture tessili prive di microstrutture.
• Fine-tunato un modello di diffusione pre-addestrato (FLUX.1-dev) utilizzando la tecnica LyCORIS su questo dataset specifico.
• Il risultato è un generatore di mappe di albedo (colore) che produce texture tessili lisce, seamless (senza cuciture) e prive di dettagli geometrici, pronte per essere sovrapposte alla microstruttura.
• Supporta anche il condizionamento multimodale (testo + immagine opzionale) per preservare lo stile del pattern originale.

B. Generazione della Microstruttura Procedurale (LLM-Driven)

Questa è la componente innovativa principale. Invece di generare la microstruttura direttamente con la diffusione, FabricGen utilizza un modello procedurale guidato da un Large Language Model (LLM):

• WeavingLLM: Un modello linguistico (basato su Qwen2.5-14B-it) fine-tunato con QLoRA su un dataset di 1.142 "bozze di tessitura" (weaving drafts) annotate.
  • Riceve prompt testuali (es. "twill ripido", "pattern a scacchi").
  • Genera una matrice binaria (il draft di tessitura) e i parametri geometrici (numero di filati, ruvidità, irregolarità).
  • Utilizza il prompt tuning con conoscenze specifiche del dominio tessile per garantire che i parametri rispettino le regole fisiche della tessitura.
• Modello Geometrico Procedurale Avanzato:
  • Filati Multi-ply: Modella i filati non come semplici cilindri, ma come eliche curve composte da più "ply" (fili avvolti), permettendo configurazioni complesse.
  • Irregolarità Globali: Introduce effetti realistici spesso ignorati:
    • Scorrimento dei filati (Yarn Sliding): Simula lo spostamento casuale dei filati tramite rumore procedurale (Perlin noise), creando spazi vuoti realistici tra i fili.
    • Fibre fuoriuscite (Flyaway fibers): Simula fibre che escono dalla superficie, generando riflessi speculari stocastici.
  • Il modello calcola analiticamente le mappe di normale, orientamento e altezza direttamente dalle coordinate UV, senza bisogno di pre-calcolare texture ad alta risoluzione.

C. Rendering

Le mappe di albedo (dal diffusion model) e i dati geometrici micro-strutturali (dal modello procedurale) vengono combinati utilizzando un modello di shading a strati (SpongeCake) per produrre il rendering finale fotorealistico.

3. Contributi Chiave

1. Framework FabricGen: Un nuovo sistema end-to-end che separa la generazione della texture macroscopica da quella della microstruttura, permettendo dettagli finissimi e rispettando le regole di tessitura.
2. WeavingLLM e Modello Procedurale: Un approccio innovativo che utilizza un LLM specializzato per generare draft di tessitura e parametri, guidando un modello geometrico procedurale avanzato che include filati multi-ply, scorrimento e fibre fuoriuscite.
3. Modello di Diffusion Fine-Tuned: Un generatore di texture specifico per tessuti, addestrato su dati privi di microstrutture, che evita artefatti e garantisce mappe di albedo pulite e seamless.

4. Risultati

Gli autori hanno confrontato FabricGen con metodi dello stato dell'arte come DressCode e MatFuse:

• Qualità Visiva: Mentre i metodi esistenti producono texture PBR che appaiono sfocate o distorte in primo piano, FabricGen mantiene dettagli nitidi sia a livello macro che micro.
• Metriche Quantitative:
  • CLIP Score: FabricGen ottiene un punteggio più alto (0.317 vs 0.307 di DressCode), indicando una migliore allineamento semantico con il prompt.
  • Studio Utenti: Il 82,55% dei partecipanti ha preferito i risultati di FabricGen rispetto al 16,02% di DressCode e 1,43% di MatFuse.
  • Coerenza Immagine: Nel condizionamento immagine+testo, FabricGen ottiene un CLIP-I Score di 0.827 contro 0.722 di MatFuse.
• Ablation Studies: Gli esperimenti dimostrano che:
  • Senza il fine-tuning del LLM, i pattern generati sono meno realistici.
  • Senza il fine-tuning del diffusion model, si generano artefatti 3D indesiderati.
  • Senza gli effetti di irregolarità (scorrimento e fibre), il rendering appare troppo perfetto e non realistico rispetto alle foto reali.

5. Significato e Impatto

FabricGen rappresenta un passo avanti significativo nella generazione di materiali tessili:

• Accessibilità: Permette a utenti non esperti di creare materiali tessili fotorealistici complessi partendo da semplici descrizioni testuali, senza bisogno di conoscenze tecniche sulla tessitura.
• Realismo Fisico: Risolve il problema della mancanza di dettagli micro-strutturali nei modelli generativi attuali, rendendo possibile il rendering di tessuti in primo piano (close-up) con un realismo senza precedenti.
• Applicabilità: Il metodo è immediatamente utile per la moda digitale, il design d'interni e la produzione cinematografica, offrendo un controllo preciso su pattern e texture che i modelli generativi puri non possono garantire.

In sintesi, FabricGen supera i limiti dei modelli di diffusione generici combinando la potenza della generazione semantica (LLM e Diffusion) con la precisione fisica dei modelli procedurali, creando un ponte tra la descrizione testuale e la realtà fisica del tessuto.