FabricGen: Microstructure-Aware Woven Fabric Generation

이 논문은 텍스트 설명을 기반으로 거시적 텍스처와 미세한 조직 구조를 분리하여 생성하는 'FabricGen' 프레임워크를 제안함으로써, 기존 확산 모델의 한계를 극복하고 더 풍부하고 사실적인 직물 재료를 자동 생성하는 방법을 제시합니다.

핵심

천을 마법처럼 만드는 'FabricGen': 직조 구조를 아는 AI 의 이야기

이 논문은 **"FabricGen"**이라는 새로운 기술을 소개합니다. 쉽게 말해, **"직조 (천을 짜는) 원리를 완벽하게 이해하는 AI"**가 텍스트로만 된 설명을 듣고, 마치 실제 천을 짜듯 아주 정교하고 사실적인 직물 디자인을 만들어내는 방법입니다.

기존의 AI 들이 천을 만들 때 겪던 문제와 FabricGen 이 어떻게 해결했는지, 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (기존의 문제점)

과거에 AI 가 천을 만들 때 겪던 문제는 마치 "그림을 그릴 때 실의 질감까지 그리는 대신, 그냥 평평한 페인트로 칠해버리는" 것과 비슷했습니다.

• 기존 AI (Diffusion 모델): "파란색 체크무늬 천"이라고 하면, 색과 무늬는 잘 그렸지만, 실 (Yarn) 이 어떻게 엮였는지는 모릅니다. 그래서 가까이서 보면 (마이크로 단위로) 실이 뭉개지거나, 물리적으로 불가능한 엉뚱한 패턴이 나오거나, 마치 페인트로 칠한 것처럼 평평해 보입니다.
• 전문가들의 방식: 진짜 천을 만들려면 직조 전문가가 "이 실은 위로, 저 실은 아래로"라고 수천 번의 과정을 설계해야 합니다. 일반인에게는 너무 어렵고 시간이 걸립니다.

2. FabricGen 의 핵심 아이디어: "두 가지 일을 나누다"

FabricGen 은 천을 만들 때 두 가지 일을 완전히 분리해서 처리합니다. 마치 **벽지 (색상/무늬)**와 **벽돌 (구조/질감)**을 따로 만드는 것과 같습니다.

① 거시적 작업: "색감과 큰 무늬를 그리는 화가" (Macro-scale)

• 역할: 천의 전체적인 색상, 큰 패턴 (체크무늬, 줄무늬 등) 을 그립니다.
• 특징: 이 단계에서는 실의 질감이나 입체감을 전혀 넣지 않습니다. 마치 평평한 종이에 그림을 그리는 것처럼 깔끔하게 만듭니다.
• 비유: 벽에 칠할 페인트 색상과 큰 무늬를 먼저 결정하는 작업입니다.

② 미시적 작업: "실 하나하나를 짜는 로봇" (Micro-scale)

• 역할: 위에서 만든 그림 위에, 실 (Yarn) 이 어떻게 엮였는지를 3D 로 정교하게 짜냅니다.
• 특징: 이 부분이 FabricGen 의 가장 큰 마법입니다.
  • WeavingLLM: 이 AI 는 천을 짜는 전문가 (직조사) 역할을 합니다. 사용자가 "파란색 체크무늬"라고 말하면, AI 는 "아, 이건 4 가닥 실을 엮어서 이런 패턴으로 짜야겠구나"라고 **직조 설계도 (Draft)**를 자동으로 그립니다.
  • 프로시저럴 모델 (Procedural Model): 이 설계도를 바탕으로 실제 실의 모양을 만듭니다.
    • 여러 겹의 실 (Multi-ply): 한 가닥의 실이 여러 가닥의 실로 꼬여 있는 모습을 구현합니다.
    • 실의 미끄러짐 (Sliding): 실제 천은 짜여도 실들이 완벽하게 일렬로 서 있지 않고 살짝 비틀리거나 미끄러집니다. AI 는 이 자연스러운 불규칙함까지 시뮬레이션합니다.
    • 날카로운 실 (Flyaway fibers): 천에서 살짝 튀어나와 있는 솜털 같은 것들도 만들어냅니다.

3. 이 기술의 마법 같은 점 (비유로 설명)

• 기존 방법: "천"을 만들 때, AI 가 사진을 찍어서 그리는 것입니다. 멀리서 보면 천처럼 보이지만, 확대하면 픽셀이 깨지거나 실의 구조가 없습니다.
• FabricGen: "천"을 직접 짜는 것입니다.
  • WeavingLLM은 "이 천은 4 가닥 실로 엮고, 실이 살짝 미끄러지게 해줘"라고 설계도를 그립니다.
  • 프로시저럴 모델은 그 설계도대로 실 하나하나를 3D 로 꼬아 만듭니다.
  • 결과: 멀리서 보면 아름다운 무늬가 있고, 확대해서 아주 가까이서 봐도 실이 꼬이고, 미끄러지고, 솜털이 튀어나온 진짜 천의 질감이 살아있습니다.

4. 왜 이것이 중요한가요?

• 누구나 전문가가 될 수 있습니다: "분홍색 다이아몬드 무늬에 줄무늬가 있는 부드러운 천"이라고 말만 하면, 직조 원리를 몰라도 AI 가 알아서 가장 적합한 직조 방식을 찾아서 만들어줍니다.
• 영화와 게임에 활용 가능: 디지털 인간 (가상 인형) 이 입는 옷, 게임 속 배경의 커튼이나 소파 등 가장 가까이서 봐도 티가 나지 않는 진짜 같은 천을 만들 수 있습니다.
• 자연스러운 불규칙함: 기계적으로 완벽하게 짜인 천은 오히려 인위적으로 보입니다. FabricGen 은 실의 미끄러짐과 날카로운 실 같은 '불완전한 자연스러움'까지 구현하여 훨씬 더 생생합니다.

요약

FabricGen은 **"직조 전문가 (WeavingLLM)"**와 **"정교한 짜기 로봇 (프로시저럴 모델)"**이 팀을 이뤄, 색깔을 그리는 화가와 실 구조를 만드는 기술자의 역할을 분리했습니다. 그 결과, 텍스트 명령 하나만으로 가까이서 봐도 실의 질감이 살아있는, 진짜 같은 천을 만들어내는 혁신적인 기술을 선보였습니다.

이제 우리는 복잡한 직조 지식 없이도, 상상하는 대로 아름다운 천을 마법처럼 만들어낼 수 있게 된 것입니다.

기술 요약

1. 문제 제기 (Problem)

기존의 디지털 콘텐츠 제작 (영화, 게임, 인테리어 디자인 등) 에서 직물 (Woven Fabric) 소재를 생성하는 과정은 다음과 같은 한계를 가지고 있습니다:

• 고도의 전문성 요구: 현실적인 직물 디자인은 직조 원리 (Weaving principles) 에 대한 깊은 이해와 텍스처 제작 기술이 필요하여 비전문가에게는 접근성이 낮습니다.
• 기존 생성 모델의 한계: 최근 확산 모델 (Diffusion Models) 이 직물 생성에 적용되고 있으나, 사전 학습된 자연 이미지 기반 모델은 다음과 같은 문제를 겪습니다.
  • 미세 구조 (Microstructure) 부재: 실 (Yarn) 단위의 정교한 디테일이나 직조 규칙을 준수하지 못함.
  • 비현실적인 패턴: 물리적으로 불가능한 패턴 생성이나 인위적인 줄무늬 발생.
  • 해상도 제한: 근접 촬영 (Close-up) 시 흐릿하거나 왜곡된 결과물 생성.

2. 방법론 (Methodology)

저자들은 FabricGen이라는 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 제안합니다. 이 프레임워크의 핵심 아이디어는 **매크로 스케일 텍스처 (Macro-scale Texture)**와 **마이크로 스케일 직조 패턴 (Micro-scale Weaving Pattern)**을 분리하여 생성하는 것입니다.

A. 전체 아키텍처

1. 매크로 스케일 텍스처 생성 (Macro-scale Texture Generation):

   • 목적: 미세 구조 (실의 교차 등) 가 없는 순수한 알베도 (Albedo/Color) 맵 생성.
   • 방법: 사전 학습된 확산 모델 (FLUX.1-dev) 을 미세 구조가 제거된 직물 데이터셋으로 파인 - 튜닝 (Fine-tuning) 합니다.
   • 특징: LyCORIS 를 사용하여 모델 적응, Noise Rolling 메커니즘을 통해 타일링 가능한 (Tileable) 텍스처 생성, 텍스트 및 이미지 조건부 생성 지원.

2. 마이크로 스케일 미세 구조 생성 (Micro-scale Microstructure Generation):

   • 목적: 실 (Yarn), 플라이 (Ply), 섬유 (Fiber) 단위의 기하학적 디테일 및 자연스러운 불규칙성 생성.
   • 방법: WeavingLLM이라는 도메인 특화 대형 언어 모델 (LLM) 이 직조 도면 (Weaving Draft) 과 파라미터를 생성하고, 이를 기반으로 **프로시저럴 기하 모델 (Procedural Geometric Model)**이 3D 미세 구조를 합성합니다.
   • WeavingLLM: Qwen2.5-14B 모델을 기반으로, 1,142 개의 주석 달린 직조 도면 데이터셋으로 SFT(지도 미세 조정) 하고, 직물 전문가 지식을 프롬프트 튜닝하여 직조 규칙을 학습시킵니다.
   • 프로시저럴 모델:
     • Curved Helix Model: 단일 실이 아닌 다중 플라이 (Multi-ply) 구조를 나선형 (Helix) 곡선으로 모델링하여 실의 회전과 트위스트를 표현.
     • Global Irregularities: 실제 직물의 자연스러운 불규칙성을 모사하기 위해 **실 미끄러짐 (Yarn Sliding)**과 **날실/씨실의 튀어오름 (Flyaway Fibers)**을 시뮬레이션합니다.

3. 렌더링:

   • 생성된 매크로 텍스처 (알베도) 와 마이크로 구조 데이터 (법선, 접선, 높이 등) 를 SpongeCake 와 같은 레이어드 쉐이딩 모델을 사용하여 렌더링합니다.

3. 주요 기여 (Key Contributions)

1. FabricGen 프레임워크: 직물 생성을 매크로 텍스처와 마이크로 직조 패턴으로 분해하여, 텍스트/이미지 프롬프트만으로 고해상도이고 디테일한 직물 소재를 생성하는 새로운 접근법 제시.
2. LLM 기반 프로시저럴 생성기: WeavingLLM 을 통해 직조 도면과 파라미터를 자동 생성하고, 이를 기반으로 다중 플라이 구조, 실 미끄러짐, 날실 튀어오름 등을 포함한 자연스러운 미세 구조를 생성하는 프로시저럴 모델 개발.
3. 미세 구조 제거 파인 - 튜닝 확산 모델: 자연 이미지 기반 모델의 한계를 극복하기 위해 미세 구조가 없는 직물 데이터셋으로 파인 - 튜닝하여, 깔끔하고 타일링 가능한 알베도 맵을 생성하는 모델 제안.

4. 실험 결과 (Results)

• 비교 대상: DressCode [4], MatFuse [23] 등 기존 직물/소재 생성 모델.
• 정성적 평가:
  • 기존 모델들은 근접 촬영 시 흐릿하거나 왜곡된 결과를 보인 반면, FabricGen 은 매크로와 마이크로 스케일 모두에서 사실적인 디테일을 유지합니다.
  • 텍스트 프롬프트에 대한 의미적 일치도 (Semantic Alignment) 가 높습니다.
• 정량적 평가:
  • CLIP Score: 텍스트 - 이미지 일치도에서 기존 모델 대비 높은 점수 기록.
  • 사용자 연구 (User Study): 64 명의 참가자를 대상으로 한 평가에서 **82.55%**의 선호도를 기록하여 기존 모델 (16.02% 등) 을 압도했습니다.
  • Ablation Study:
    • WeavingLLM 과 프롬프트 튜닝이 직조 도면의 정확도와 렌더링의 사실성에 결정적임을 입증.
    • 미세 구조 제거 파인 - 튜닝이 불필요한 그림자나 줄무늬를 제거하여 렌더링 품질을 높임을 확인.
    • 실 미끄러짐과 날실 튀어오름 효과가 실제 사진의 LPIPS(학습된 지각적 이미지 패치 유사성) 점수를 크게 개선함을 증명.

5. 의의 및 의의 (Significance)

• 접근성 향상: 직물 직조 지식이 없는 일반 사용자도 텍스트만으로 고품질의 직물 소재를 생성할 수 있게 하여, 디지털 인간 (Digital Human), 인테리어, 영화 제작 등의 분야에 혁신을 가져옵니다.
• 기술적 진보: 확산 모델의 한계 (미세 구조 생성 불가) 를 프로시저럴 모델과 LLM 의 결합으로 해결하여, 물리 기반 렌더링 (PBR) 에 적합한 고해상도 직물 생성의 새로운 표준을 제시합니다.
• 확장성: 향후 니트 직물, 자수, 재킷 (Jacquard) 등 다양한 직물 유형으로의 확장을 위한 기반을 마련했습니다.

요약하자면, FabricGen은 AI 생성 모델의 장점과 전통적인 직조 공학의 규칙을 결합하여, 기존에는 불가능했던 '디테일하고 물리적으로 정확한' 직물 생성을 가능하게 한 획기적인 프레임워크입니다.