기술 요약: 의류 입자

문제 정의

의류 디자인은 직관적이고 고수준의 창작 (예: 텍스트 또는 이미지 기반) 과 2 차원 재단 패턴 및 3 차원 드레이핑 기하학의 정밀한 저수준 편집이라는 두 가지 뚜렷한 모드를 아우르는 복잡한 과정입니다. 기존 프레임워크들은 대개 이 스펙트럼의 한쪽 끝만 다룹니다. 산업 표준 도구들 (예: CLO3D) 은 정밀한 저수준 편집을 허용하지만, 2 차원 패턴과 3 차원 드레이핑 간의 인과 관계에 대한 전문가 지식을 요구합니다. 반면, 최근의 생성 모델들은 고수준 입력으로부터 패턴을 생성할 수 있지만, 종종 모드별 훈련에 의존하며 2 차원과 3 차원 영역 모두에서 대칭적이고 반복적인 편집을 수행할 능력이 부족합니다. 더 나아가, 기하학 이미지와 같은 기존 표현들은 3 차원 외관이 2 차원 패널 모양 (픽셀 불투명도) 에 의존하는 비대칭성을 보여, 표현 위에서 3 차원 목표를 직접 최적화하기 어렵게 만듭니다. 핵심적인 과제는 2 차원 패턴과 3 차원 기하학 모두에서 다중 모드 생성과 다양한 훈련 없는 편집을 지원하는 통합된 표현과 프레임워크를 개발하는 것입니다.

방법론

1. 의류 입자 (Garment Particles) 표현

저자들은 2 차원 재단 패턴과 그 3 차원 드레이핑 기하학을 대칭적으로 인코딩하는 새로운 5 차원 점구름 표현인 **의류 입자 (Garment Particles)**를 제안합니다.

• 수학적 공식화: 의류는 매개변수 표면 $\mathbf{r}: U \to \mathbb{R}^3$로 모델링되며, 여기서 $U$는 2 차원 재단 패턴 영역이고 $\mathbf{r}(U)$는 3 차원 기하학입니다. 표현은 그래프 $\Gamma(\mathbf{r}) = \{(\mathbf{x}, \mathbf{r}(\mathbf{x})) \mid \mathbf{x} \in U\}$입니다.
• 이산화: 이 그래프는 5 차원 점구름 $\mathbf{X}_{\mathbf{r}} = \{(\mathbf{x}_{\mathbf{r}}, f_{\mathbf{x}_{\mathbf{r}}})\}$로 이산화되며, 여기서 각 점은 2 차원 좌표, 3 차원 좌표, 그리고 점이 패널 가장자리에 있는지 여부를 나타내는 경계 플래그 ($f$) 를 포함합니다.
• 속성: 이 표현은 2 차원 영역 ($\pi_D$) 또는 3 차원 이미지 공간 ($\pi_I$) 으로 미분 가능한 투영을 허용하여 패턴과 드레이핑 간의 대칭적 상호작용을 가능하게 합니다.

2. 의류 입자 흐름 (Garment Particles Flow, GPF)

이러한 입자를 생성하고 편집하기 위해 저자들은 정류 흐름 기반 생성 모델인 **의류 입자 흐름 (Garment Particles Flow)**을 소개합니다.

• 아키텍처: 이 모델은 Diffusion Transformer(DiT) 아키텍처를 사용합니다. 노이즈 $\mathbf{X}_0$를 의류 입자 $\mathbf{X}_1$로 매핑하는 확률 흐름을 학습합니다.
• 조건부: GPF 는 크로스 어텐션 메커니즘을 통해 다중 모드 조건부 (텍스트, 이미지, 스케치) 를 지원합니다. 텍스트는 CLIP 을 사용하여 인코딩되고, 이미지는 고정된 DINOv2 인코더를 사용하여 인코딩됩니다.
• 훈련: 이 모델은 2 차원 -3 차원 의류 공간에 대한 사전 공간 (prior space) 을 학습하기 위해 GarmentCodeData v2(GCDv2) 데이터셋으로 훈련됩니다.

3. 입자 - 패턴 흐름 (Particles-to-Pattern Flow, PPF)

생성된 입자가 순서가 없는 점구름이므로, 시뮬레이션 준비가 된 벡터화 재단 패턴을 복원할 수 있는 메커니즘이 필요합니다.

• 기능: PPF 는 생성된 의류 입자 $\mathbf{X}$를 구조화된 재단 패턴 $P$로 매핑하는 조건부 흐름 모델입니다.
• 표현: 출력 패턴은 스티칭 플래그와 경계 조건을 포함하는 정렬된 패널과 에지 (3 차 베지어 곡선 또는 호) 의 텐서로 표현됩니다.
• 강건성: 결정론적 회귀와 달리 PPF 는 패턴 복원을 조건부 생성 작업으로 처리하여 입력 입자의 노이즈에 대해 강건합니다.

4. 확산 후사 샘플링 (DPS) 을 통한 편집

프레임워크의 핵심 기능은 확산 후사 샘플링 (Diffusion Posterior Sampling, DPS) 을 사용한 훈련 없는 편집을 수행할 수 있다는 점입니다.

• 메커니즘: 특정 편집을 위해 모델을 재훈련하는 대신, 샘플링 단계 동안 목적 함수 $\mathcal{L}$에 의해 생성 과정이 안내됩니다. 모델은 생성된 샘플의 투영과 사용자 관찰 간의 손실을 최소화하기 위해 사후 평균을 최적화합니다.
• 응용 분야:
  • 점구름 조건부 생성: 특정 3 차원 점구름과 일치하도록 생성을 안내 (지구의 이동 거리 사용).
  • 의류 완성: 부분적인 3 차원 기하학을 완성.
  • 재단 패턴 편집: 2 차원 패턴을 직접 편집하고 대응하는 3 차원 드레이핑을 재생성 ($\pi_D$ 투영 사용).
  • 실루엣 조건부 생성: 임의의 시점에서 2 차원 실루엣과 일치하는 의류 생성.

주요 기여

1. 의류 입자: 2 차원 재단 패턴과 3 차원 드레이핑 기하학을 공동으로 인코딩하는 대칭적인 5 차원 점구름 표현으로, 목적 함수 유도 샘플링을 위한 완전히 미분 가능한 파이프라인을 가능하게 함.
2. 의류 입자 흐름 (GPF): 다중 모드 입력으로부터 의류 입자를 생성하고 의류 생성 분야에서 최첨단 (SOTA) 성능을 달성하는 정류 흐름 모델.
3. 입자 - 패턴 흐름 (PPF): 생성된 입자를 시뮬레이션 준비가 된 벡터화 재단 패턴으로 변환하는 모델.
4. DPS 를 통한 다양한 편집: 표현의 대칭성을 활용하여 재훈련 없이 패턴 편집, 3 차원 완성, 실루엣 조건부 등 다양한 편집 시나리오를 가능하게 하는 프레임워크.

결과 및 평가

생성 성능

모델은 AIpparel, ChatGarment, SewingLDM, Design2GarmentCode 를 포함한 베이스라인 대비 GCDv2 데이터셋에서 평가되었습니다.

• 텍스트 조건부 생성: GPF 는 분포 지표 (Coverage, MMD, 1-NNA, p-FID) 와 CLIP 정렬에서 SOTA 점수를 달성했습니다. 잘못된 패널 수나 스타일과 같은 아티팩트를 종종 생성한 베이스라인에 비해 우수한 다양성과 충실도를 보여주었습니다.
• 이미지 조건부 생성: GCDv2 렌더링, 의류 스케치, 그리고 자연스러운 이미지 (in-the-wild images) 에서 평가되었습니다. GPF 는 패널 정확도, 교차율 (IOU), 그리고 스티치 정확도에서 베이스라인을 능가하여, 실제 지상 진실 (ground truth) 과 밀접하게 일치하는 패턴을 복원했습니다.
• 런타임: 생성 시간 (약 4 초) 은 다른 확산 기반 방법과 유사하며 외부 쿼리가 필요한 LLM 기반 접근법보다 훨씬 빠릅니다.

편집 능력

논문은 DPS 가 가능하게 하는 여러 편집 응용 분야를 보여줍니다:

• 보간: 잠재 공간에서 다양한 의류 스타일 (예: 비대칭에서 대칭 소매로) 간의 부드러운 전환을 제공하여 벡터 기반 또는 기하학 이미지 베이스라인에서 보이는 급격한 변화를 방지합니다.
• 3 차원 편집: 사용자는 3 차원 점구름에 점을 추가, 삭제, 또는 이동시켜 일치하는 재단 패턴 생성을 안내할 수 있습니다.
• 2 차원 패턴 편집: 사용자는 2 차원 재단 패턴을 수정 (예: 치마 폭 넓히기) 할 수 있으며, 모델은 대응하는 3 차원 드레이핑을 재생성합니다.
• 실루엣 편집: 다양한 카메라 각도에서 사용자가 그린 실루엣과 일치하는 의류를 생성합니다.

물리적 검증

• 제작: 파이프라인에 의해 무조건적으로 생성된 두 가지 의류 (비대칭 연필 치마와 터틀넥 셔츠) 가 재단사에 의해 성공적으로 제작되어 출력물의 물리적 타당성을 검증했습니다.
• 시뮬레이션 성공률 (SSR): 모델은 높은 SSR(약 90%) 을 달성하여 생성된 기하학이 드레이핑 시뮬레이션에 물리적으로 유효함을 나타냈습니다.

중요성 및 주장

이 논문은 의류 입자가 직관적인 고수준 디자인과 전문적인 저수준 편집 간의 격차를 해소한다고 주장합니다. 2 차원 패턴과 3 차원 기하학을 단일 대칭 표현으로 통합함으로써, 이 프레임워크는 다음과 같은 것을 가능하게 합니다:

• 대칭적 편집: 2 차원 또는 3 차원 영역 중 어느 쪽에서든 편집하고 변경 사항이 다른 영역으로 올바르게 전파되도록 하는 능력으로, 이는 이전의 모드별 또는 비대칭 표현에서 부족했던 기능입니다.
• 훈련 없는 유연성: DPS 의 사용은 각 새로운 편집 목표에 대해 특정 데이터셋을 수집하거나 모델을 재훈련할 필요 없이 다양한 편집 작업을 가능하게 합니다.
• 실용적 유용성: 이 파이프라인은 시뮬레이션 준비가 된 재단 패턴을 생성하여, 순전히 시각적 생성을 넘어 하류 물리적 시뮬레이션 및 제조에서 사용할 수 있는 자산으로 발전시킵니다.

저자들은 점구름의 이산적 특성으로 인해 정밀한 조정 (예: 다트 크기 조절) 이 어렵다는 점과 현재 단일 신체 유형과 자세에 의존한다는 한계를 인정합니다. 향후 작업은 다중 신체 입력을 처리하고 제조상의 하드 제약을 강제하도록 모델을 확장하는 것이 제안됩니다.