FabricGen: Microstructure-Aware Woven Fabric Generation

Le papier présente FabricGen, un cadre de génération de tissus tissés de haute qualité qui combine un modèle de diffusion pour les textures macroscopiques et un modèle géométrique procédural piloté par un LLM spécialisé pour créer des motifs de tissage réalistes au niveau des fils.

Yingjie Tang, Di Luo, Zixiong Wang, Xiaoli Ling, jian Yang, Beibei Wang

Publié Tue, 10 Ma
📖 4 min de lecture☕ Lecture pause café

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous voulez créer un tissu virtuel ultra-réaliste pour un jeu vidéo ou un film, mais que vous n'êtes ni un tisserand expert, ni un graphiste 3D. C'est là qu'intervient FabricGen, une nouvelle invention présentée dans cet article.

Pour faire simple, FabricGen est comme un chef cuisinier magique qui transforme une simple description en mots (par exemple : "un tissu beige avec un motif en losange orange") en un tissu numérique parfait, prêt à être utilisé.

Voici comment cela fonctionne, expliqué avec des analogies du quotidien :

1. Le problème : La confusion entre la peinture et la structure

Jusqu'à présent, les ordinateurs avaient du mal à créer des tissus réalistes. C'est un peu comme si un peintre essayait de peindre un jean en utilisant seulement de la peinture en bombe. Il pourrait réussir à faire la couleur bleue et les poches (le macro), mais il échouerait totalement à dessiner les fils de coton entrelacés, les petites irrégularités et la texture du tissu (le micro). Le résultat ressemblait souvent à un tissu lisse et artificiel, sans vie.

2. La solution : Découper le gâteau en deux couches

L'idée brillante de FabricGen est de ne pas essayer de tout faire d'un coup. Ils séparent la création du tissu en deux étapes distinctes, comme si on préparait un gâteau en deux couches :

  • La couche de base (Le Macro) : La "Peinture" sans relief.
    Imaginez que vous prenez une toile blanche et que vous y peignez uniquement les couleurs et les motifs larges (les rayures, les carreaux), mais sans aucun relief. C'est ce que fait le premier modèle (un "diffuseur" entraîné sur des tissus lisses). Il crée la carte de couleur parfaite, sans les détails des fils, pour éviter que l'ordinateur ne se trompe et ne dessine des ombres bizarres là où il ne faut pas.

  • La couche de structure (Le Micro) : Le "Tissage" invisible.
    C'est ici que la magie opère. Au lieu de dessiner chaque fil pixel par pixel (ce qui serait trop lent), le système utilise un architecte virtuel (appelé WeavingLLM).

    • L'Architecte (WeavingLLM) : C'est un expert en langage qui comprend les règles du tissage. Si vous lui dites "twill" (sergé), il sait exactement comment croiser les fils. Il ne dessine pas le tissu, il écrit le plan de construction (comme un plan d'architecte ou une partition de musique).
    • Le Constructeur (Modèle procédural) : Une fois qu'il a le plan, un moteur mathématique construit virtuellement les fils. Il ajoute des détails réalistes que les humains remarquent sans y penser :
      • Des fils qui glissent légèrement (comme dans un vrai jean usé).
      • De petits brins de coton qui dépassent (les "poils" ou flyaway fibers).
      • Des fils torsadés complexes.

3. Le résultat final : Un tissu qui a de la "vie"

Quand on assemble la "peinture" (la couleur) et le "plan de construction" (la structure), on obtient un tissu qui réagit à la lumière comme un vrai.

  • Si vous regardez de loin, vous voyez le motif (les losanges, les rayures).
  • Si vous zoomez très près (comme une loupe), vous voyez les fils s'entrecroiser, les petites ombres portées par les fils qui dépassent, et la texture du coton.

Pourquoi est-ce une révolution ?

Avant, pour obtenir un résultat pareil, il fallait des années d'expérience pour configurer manuellement chaque paramètre de tissage. Avec FabricGen, n'importe qui peut dire : "Je veux un tissu en satin marron avec des chats stylisés" et l'ordinateur génère instantanément un tissu qui respecte les règles physiques du tissage, avec des détails microscopiques réalistes.

En résumé : FabricGen ne "dessine" pas le tissu. Il comprend d'abord la recette du tissage grâce à un expert en langage, puis il construit la structure physique des fils, et enfin il peint la couleur par-dessus. Le résultat est un tissu virtuel qui semble tout droit sorti d'une boutique de textile, mais créé en quelques secondes à partir d'une phrase.