FabricGen: Microstructure-Aware Woven Fabric Generation

O artigo apresenta o FabricGen, um framework end-to-end que gera materiais de tecidos realistas a partir de descrições textuais, decompondo o processo na criação de texturas macro-escalares via modelos de difusão e na síntese de padrões de tecelagem micro-escalares guiados por um modelo de linguagem especializado (WeavingLLM) que respeita os princípios da tecelagem.

O essencial

Imagine que você quer criar um tecido virtual perfeito para um jogo, um filme ou um design de interiores. Antigamente, fazer isso era como tentar construir uma casa de bonecas complexa usando apenas uma caixa de ferramentas de marceneiro: exigia muito conhecimento técnico, horas de trabalho e um olho treinado para saber como os fios se entrelaçam.

O artigo "FabricGen" apresenta uma nova solução que transforma esse processo difícil em algo tão simples quanto descrever o que você quer em uma conversa. Pense no FabricGen como um "Chef de Tecidos" robótico que entende duas coisas diferentes ao mesmo tempo: a cor e o desenho geral (o que você vê de longe) e a estrutura dos fios (o que você vê de perto, com uma lupa).

Aqui está como eles fazem a mágica acontecer, usando analogias do dia a dia:

1. O Problema: A Confusão entre "Pintura" e "Arquitetura"

Antes, os computadores tentavam criar o tecido inteiro de uma só vez, como se um pintor tentasse desenhar cada fio de cabelo de uma pessoa em uma foto. O resultado? Fios que pareciam borrões, padrões que não faziam sentido físico (como fios atravessando outros sem se entrelaçar) e detalhes que sumiam quando você chegava perto.

O FabricGen resolve isso dividindo o trabalho em duas equipes especializadas:

2. A Equipe 1: O "Pintor de Fundo" (Macro-textura)

Imagine que você quer um tecido xadrez laranja e verde.

• O que eles fazem: Eles usam uma IA (um modelo de difusão) que foi treinada especificamente para não desenhar fios. É como se esse pintor recebesse a ordem: "Pinte apenas a cor e o padrão, mas deixe a superfície perfeitamente lisa, como uma folha de papel".
• O resultado: Você obtém um mapa de cores perfeito, sem sombras estranhas ou texturas de fios. É a "pele" do tecido.

3. A Equipe 2: O "Arquiteto de Fios" (Micro-estrutura)

Agora, precisamos dar vida a essa cor lisa. É aqui que entra a parte mais genial do FabricGen.

• O "Tradutor Mágico" (WeavingLLM): O usuário digita algo como "sarja íngreme com padrão argyle". O FabricGen usa um "cérebro" de linguagem (uma IA especializada) que funciona como um engenheiro têxtil experiente. Ele traduz sua frase simples em um "plano de construção" matemático (chamado de draft de tecelagem). Ele sabe exatamente como os fios devem cruzar, quantas voltas eles dão e onde devem ficar.
• O "Construtor Procedural": Com esse plano, um sistema matemático constrói os fios. Mas não são fios perfeitos e robóticos. O sistema adiciona "imperfeições naturais":
  • Fios Deslizando: Na vida real, os fios não ficam perfeitamente alinhados; eles escorregam um pouco. O FabricGen simula isso, criando pequenas lacunas realistas.
  • Fios "Fujões" (Flyaway): Sabe aqueles fiosinhos que saem da roupa e pegam a luz? O sistema cria esses fios soltos aleatoriamente, dando aquele brilho natural que vemos em fotos de tecido de alta qualidade.

4. O Resultado Final: A Fusão

No final, o FabricGen junta a "pele" colorida (da Equipe 1) com a "estrutura de fios" complexa (da Equipe 2).

• De longe: Você vê o padrão xadrez ou o desenho de gatos estilizados com cores vibrantes.
• De perto: Você vê a textura real dos fios, o entrelaçamento correto e até os fios soltos brilhando, sem parecer um desenho digital artificial.

Por que isso é revolucionário?

Antes, para ter um tecido realista de perto, você precisava ser um especialista em tecelagem para configurar cada parâmetro manualmente. Com o FabricGen, qualquer pessoa pode dizer: "Quero um tecido de lã bege com padrão de cabana e textura de veludo" e o sistema cria isso instantaneamente, respeitando as regras físicas da tecelagem.

É como ter um assistente que não só pinta a parede, mas também constrói os tijolos e o rejunte com a perfeição de um mestre pedreiro, tudo baseado apenas no que você diz. Isso permite que designers, artistas e até curiosos criem materiais incríveis para o mundo digital sem precisar de anos de treinamento técnico.

Resumo técnico

Título: FabricGen: Geração de Tecidos Tecidos Consciente da Microestrutura

1. O Problema

A criação de materiais de tecido realistas para aplicações de renderização (como modelagem de humanos digitais, design de interiores e cinema) é tradicionalmente um processo complexo, envolvendo múltiplos estágios: criação de padrões de tecelagem, autoria de texturas e ajuste de parâmetros de sombreamento. Isso exige expertise em princípios de tecelagem e é demorado.

Embora modelos de difusão recentes tenham facilitado a geração de materiais a partir de texto, eles enfrentam limitações críticas:

• Falta de Detalhes em Nível de Fio: Modelos pré-treinados em imagens naturais lutam para gerar microestruturas intrincadas (nível de fio) que obedecem às regras físicas da tecelagem.
• Artefatos Estruturais: As gerações frequentemente produzem listras artificiais, padrões fisicamente implausíveis ou omitem microestruturas, resultando em renderizações pouco realistas em close-up.
• Dependência de Especialistas: Métodos existentes ainda exigem que artistas experientes projetem manualmente os "rascunhos de tecelagem" (weaving drafts) e parâmetros.

2. Metodologia: Framework FabricGen

O FabricGen é um framework de geração de materiais de tecido de ponta a ponta (end-to-end) que decompõe o problema em duas escalas distintas: macro-textura e microestrutura.

A. Geração de Macro-textura (Nível de Cor/Albedo)

• Objetivo: Gerar mapas de albedo (cor) de alta qualidade, livres de microestruturas (sombras ou relevos de fios), para evitar conflitos com a geometria procedural.
• Abordagem:
  • Os autores coletaram um dataset de 600 texturas de tecido livres de microestruturas.
  • Fine-tunaram um modelo de difusão pré-treinado (FLUX.1-dev) utilizando LyCORIS (uma técnica de adaptação de parâmetros eficientes) para especializar a geração apenas em mapas de albedo.
  • Incorporaram um mecanismo de "noise rolling" para garantir que as texturas sejam "tileable" (seamless/sem costura).
  • Suporta condicionamento multimodal (texto e imagem opcional), onde a imagem de entrada é codificada via VAE para guiar o estilo do padrão sem introduzir dobras geométricas indesejadas.

B. Geração de Microestrutura (Nível de Fio/Geometria)

• Objetivo: Sintetizar geometria de fios realista, incluindo múltiplos fios (plies), deslizamento e fibras soltas (flyaway), seguindo regras de tecelagem.
• Componente 1: WeavingLLM (Modelo de Linguagem)
  • Um LLM especializado (Qwen2.5-14B-it) é ajustado via SFT (Supervised Fine-Tuning) e Prompt Tuning em um dataset de 1.142 rascunhos de tecelagem anotados.
  • O modelo aprende a converter prompts de linguagem natural em rascunhos de tecelagem (matrizes binárias) e parâmetros geométricos (ex: contagem de fios, rugosidade, irregularidade).
  • Isso elimina a necessidade de conhecimento prévio do usuário sobre tecelagem.
• Componente 2: Modelo Geométrico Procedural Avançado
  • Substitui modelos de cilindros simples por um modelo de hélice curva para fios compostos por múltiplos "plies" (fios torcidos).
  • Geometria: Mapeia coordenadas UV para geometria de fio analiticamente, gerando normais, orientações e campos de altura sem necessidade de pré-computação de texturas de alta resolução.
  • Irregularidades Naturais: Introduz dois efeitos críticos para realismo:
    1. Deslizamento de Fios (Yarn Sliding): Usa ruído de Perlin para perturbar a posição dos fios, criando lacunas realistas e revelando fios de camadas inferiores.
    2. Fibras Soltas (Flyaway Fibers): Adiciona uma camada estocástica de fibras escapando da superfície, simulando brilhos especulares aleatórios capturados em fotos reais.

C. Renderização

• A macro-textura (albedo) e os dados de microestrutura (normais, tangentes, altura) são combinados usando o modelo de sombreamento em camadas SpongeCake para renderização final.

3. Principais Contribuições

1. Framework FabricGen: Uma nova arquitetura que desacopla a geração de textura macroscópica da modelagem de microestrutura, permitindo detalhes finos e realismo físico.
2. WeavingLLM: Um modelo de linguagem especializado que gera rascunhos de tecelagem e parâmetros a partir de texto, automatizando o design de padrões complexos.
3. Modelo Procedural Aprimorado: Um modelo geométrico que suporta configurações de múltiplos fios (plies), deslizamento e fibras soltas, superando as limitações de modelos de superfície baseados em cilindros simples.
4. Dataset e Ajuste Específico: Criação de um dataset de tecidos sem microestrutura para fine-tuning de difusão e um dataset de rascunhos de tecelagem para treinar o LLM.

4. Resultados e Avaliação

O método foi comparado com estados da arte como DressCode e MatFuse.

• Qualidade Visual: Enquanto métodos anteriores geram texturas PBR que parecem boas à distância, mas ficam borradas ou distorcidas em close-up, o FabricGen preserva detalhes em nível de fio, garantindo fidelidade visual tanto macro quanto micro.
• Métricas Quantitativas:
  • CLIP Score: O FabricGen alcançou 0.317 (vs 0.240 do MatFuse), indicando melhor alinhamento semântico com o prompt.
  • CLIP-I Score (Imagem): 0.827 (vs 0.722 do MatFuse) para condicionamento com imagem.
  • Estudo de Usuário: 82.55% dos participantes preferiram os resultados do FabricGen, comparado a 16.02% do MatFuse e 1.43% do DressCode.
• Ablação:
  • O uso do WeavingLLM (com fine-tuning e prompt tuning) foi crucial para gerar padrões corretos e parâmetros realistas, superando modelos base (Qwen2.5) e GPT-5.
  • O fine-tuning do modelo de difusão foi essencial para evitar artefatos 3D indesejados e listras implícitas.
  • Os efeitos de irregularidade (deslizamento e fibras soltas) reduziram significativamente o erro LPIPS em comparação com fotos reais, capturando lacunas entre fios e brilhos estocásticos.

5. Significado e Impacto

O FabricGen representa um avanço significativo na geração de materiais texturizados, preenchendo a lacuna entre a geração de imagens difusa e a modelagem geométrica procedural rigorosa.

• Acessibilidade: Permite que usuários não especialistas criem materiais de tecido fotorealistas complexos apenas com descrições de texto.
• Aplicações: Ideal para animação, jogos, design de moda digital e realidade virtual, onde o realismo em close-up é crítico.
• Limitações Futuras: O trabalho atual foca em tecidos tecidos (woven). A extensão para malhas (knitted), jacquard e bordados é apontada como trabalho futuro.

Em resumo, o FabricGen resolve o problema da falta de detalhes físicos e regras de tecelagem em modelos generativos atuais, oferecendo uma solução híbrida que combina a flexibilidade de LLMs e difusão com a precisão de modelos procedurais geométricos.