기술 요약: 스티치 임베딩 (Stitched Embeddings, StEm)

문제 정의

3D 인간 디지털화는 파라메트릭 바디 모델(예: SMPL)을 통해 크게 발전했지만, 의류의 재구성과 조작은 방대한 위상적 가변성과 비강체 변형으로 인해 여전히 어려운 과제로 남아 있습니다. 전통적인 의류 모델링은 2D 재봉 패턴—베지에 곡선(Bézier curves)과 같은 파라메트릭 곡선 및 솔기 제약 조건으로 정의된 이산적인 패널들로 구성된 조각별 CAD 정식화—에 의존하며, 이는 물리적 제조 및 사실적인 애니메이션을 위한 청사진 역할을 합니다.

현재 2D 패턴과 3D 기하학 사이의 간극을 메우기 위해서는 일반적으로 패널들을 서로 "꿰매기" 위해 물리 기반 시뮬레이션(예: 스프링-질량 시스템)이 필요합니다. 이러한 시뮬레이터에 대한 의존은 세 가지 결정적인 한계를 제시합니다:

1. 계산 비용: 시뮬레이터는 속도가 느려 실시간 애플리케이션 적용을 저해합니다.
2. 비미분성: 대부분의 시뮬레이터는 미분 가능하지 않아, 엔드 투 엔드 학습 및 최적화(예: 역전파를 통한 예측 정교화)를 방해합니다.
3. 유연성 부족: 기존 방식은 복잡한 시뮬레이션을 다시 실행하지 않고는 테스트 타임 적응이나 재봉 패턴의 수 및 유형을 편집하는 데 어려움을 겪습니다.

나아가, 최근 연구들이 3D 의류를 위해 부호 없는 거리 함수(Unsigned Distance Fields, UDF)와 같은 암시적 표현을 탐색해 왔으나, 이는 다운스트림 테일러링 애플리케이션에 필요한 의미론적 구조가 부족합니다.

방법론: 스티치 임베딩 (Stitched Embeddings, StEm)

저자들은 3D 의류와 그에 대응하는 2D 재봉 패턴을 공동으로 표현하는 통합 잠재 공간인 **스티치 임베딩 (StEm)**을 제안합니다. 핵심 프레임워크인 StEm-Net은 이러한 표현들을 연결하는 최초의 엔드 투 엔드, 완전 미분 가능, 시뮬레이션 프리(simulation-free) 방식입니다.

1. 핵심 표현: BoxMesh

시뮬레이터 없이 2D 패턴을 3D 기하학에 정렬하기 위해, 저자들은 BoxMesh를 도입합니다.

• 개념: BoxMesh는 2D 재봉 패턴이 바디 모델 주변의 3D 공간에 배치된 3D 표현입니다(마치 "사전 시뮬레이션" 상태와 유사함).
• 기능: 이는 2D 패널을 그들의 의미론적 기능(예: 소매, 앞판)에 따라 정형화된 3D 구성으로 정렬하는 공간적 대리물(spatial proxy) 역할을 합니다.
• 위상: BoxMesh는 재봉 패턴의 정확한 위상을 유지하면서도 3D 볼륨을 점유합니다. BoxMesh에 의클로스 시뮬레이션을 적용하면 최종적인 드레이프된 의류 메쉬가 생성됩니다.
• 정렬: BoxMesh를 시뮬레이션된 의류 메쉬와 함께 입력 모달리티로 사용함으로써, 네트워크는 최종 출력과 위상적으로 정렬된 3D 공간적 사전 정보를 받게 됩니다.

2. 네트워크 아키텍처 (StEm-Net)

아키텍처는 비밀폐형(non-watertight) 및 개방형 매니폴드(넥라인 및 열린 밑단에 필수적)를 표현하기 위해 UDF를 사용하도록 조정된 수정된 Hunyuan3D 2.1 VAE 프레임워크를 기반으로 구축되었습니다.

• 인코더:

  • 의류 인코더 ($E_g$): 법선 벡터($N$)를 포함한 3D 의류 포인트 클라우드($P$)를 처리합니다.
  • BoxMesh 인코더 ($E_{bm}$): 사전 시뮬레이션된 BoxMesh 기하학을 처리합니다.
  • 정렬 전략: 입력 모달리티(BoxMesh vs. 시뮬레이션된 메쉬)에 불변하는 잠재 공간을 보장하기 위해, 모델은 두 형태 사이의 알려진 1:1 대응 관계를 활용합니다. 훈련 과정에서 두 기하학으로부터 대응하는 점들을 샘플링하여 동일한 물리적 위치를 동일한 잠의 영역으로 매핑합니다.
  • 출력: 두 인코더는 공통 잠재 집합 $z \in \mathbb{R}^{256 \times 64}$로 매핑됩니다.

• 디코더:

  • 3D 디코더 ($D_{3D}$): 3D 의류의 UDF 필드를 재구성합니다.
  • 재봉 패턴 디코더 ($D_{SP}$): 재봉 패턴을 정의하는 122개의 디자인 파라미터(GarmentCode 공간에서 추출)를 회귀합니다. 이 파라미터에는 연속적인 값(치수), 불리언 플래그(예: 소매 존재 여부), 범주형 값(의류 유형)이 포함됩니다. 학습 가능한 패널별 쿼리를 가진 디코딩 트랜스포머가 잠재 집합을 이 파라미터들로 매핑합니다.

3. 훈련 및 손실 함수

모델은 다음과 같은 복합 손실 함수를 사용하여 엔드 투 엔드로 훈련됩니다:
$$\mathcal{L} = \mathcal{L}_{UDF} + \lambda_1 \mathcal{L}_{SP} + \lambda_2 \mathcal{L}_{KL}$$

• 3D 재구성 손실 ($\mathcal{L}_{UDF}$): 의류와 BoxMesh 입력 모두에 대해 예측된 거리 함수와 실제 값 사이의 평균 제곱 오차(MSE)를 최소화합니다. 고주파 세부 사항과 전역 구조를 모두 포착하기 위해 계층적 샘플링을 사용합니다.
• 재봉 패턴 손실 ($\mathcal{L}_{SP}$): 122개 파라미터의 이질적인 특성을 처리하는 멀티태스크 손실입니다:
  • 연속적 치수에 대한 MSE.
  • 불리언 플래그에 대한 이진 교차 엔트로피(BCE).
  • 범주형 값에 대한 교차 엔트로피(CE).
• 잠재 정렬 손실 ($\mathcal{L}_{KL}$): 표준 정규 분포에 대해 잠재 공간을 정규화하고, BoxMesh 인코딩($z_B$)과 의류 인코딩($z_G$) 사이의 KL-다이버전스를 최소화함으로써 두 입력 모달리티 간의 일관성을 강제합니다.

4. 추론 및 테스트 타임 적응

• 3D에서 2D로: 3D 포인트 클라우드가 주어지면, 모델은 이를 잠재 공간으로 인코딩하고 재봉 패턴 파라미터를 디코딩합니다.
• 테스트 타임 최적화: 보지 못한 기하학적 구조에 대한 예측을 정교화하기 위해, 예측된 UDF와 입력 표면 사이의 재구성 오차를 최소화하도록 역전파를 통해 잠재 벡터 $z$를 반복적으로 업데이트합니다. 잠재 공간이 공유되기 때문에, 이 최적화는 3D 기하학과 이산적인 재봉 패턴 파라미터를 동시에 정교화합니다.
• 2D에서 3D로 (편집): 사용자가 2D 패턴 파라미터를 수정하면, 네트워크(신경 시뮬레이터 역할)는 물리적 시뮬레이션 없이 즉각적으로 업데이트된 3D UDF 필드를 예측합니다.

주요 기여

1. StEm-Net: 3D 의류 구현과 2D 재봉 패턴을 공통의 잠재 공간 내에서 결합하는 최초의 엔드 투 엔드, 완전 미분 가능, 시뮬레이션 프리 방식입니다.
2. 최첨단 성능: 이 방식은 3D 포인트 클라우드로부터 재봉 패턴을 예측하는 데 있어 새로운 SOTA(State-of-the-Art) 결과를 달성하였으며, 가장 가까운 경쟁 모델인 NeuralTailor에 비해 오차를 최대 15% 감소시켰습니다.
3. 테스트 타임 적응 및 편집: 이 프레임워크는 물리적 시뮬레이션 없이도 2D 패턴을 통한 직접적인 의류 편집과 역전파를 통한 예측 정교화를 가능하게 합니다.

실험 결과

저자들은 NeuralTailor(단순한 위상)와 GarmentCodeData(최대 75개 패널의 복잡한 위상)라는 두 가지 데이터셋에서 StEm-Net을 평가했습니다.

• NeuralTailor와의 비교: NeuralTailor 테스트 셋에서 StEm-Net은 패널 L2 오차, 에지 검출, 스티치 정밀도를 포함한 거의 모든 지표에서 NeuralTailor를 능가했습니다. 특히, NeuralTailor는 더 복잡한 GarmentCodeData에서 수렴에 실패한 반면, StEm-Net은 성공했습니다.
• 이미지 기반 방식과의 비교: GarmentCodeData 테스트 셋에서 ChatGarment(최첨단 이미지 기반 방식)와 비교했을 때, 3D 포인트 클라우드를 사용하는 StEm-Net은 파라미터 회귀에서 더 우수한 정확도를 보였으며, 이는 3D 기하학적 단서가 2D 시각적 텍스처보다 패턴 추론에 더 결정적인 정보를 제공함을 입증합니다.
• 일반화: 모델은 합성 데이터로 훈련되었음에도 불구하고 4DDress 및 CloSe 데이터셋의 실제 스캔 데이터에 효과적으로 일반화되었으며, Chamfer Distance 지표에서 NeuralTailor를 크게 앞질렀습니다.
• 편집: 프레임워크는 물리적 시뮬레이션 없이도 2D 패턴 수정(예: 의류 길이 변경, 소매 제거, 또는 바지를 치마로 교체)을 통한 원활한 3D 편집을 성공적으로 보여주었습니다.

의의 및 주장

본 논문은 Stitched Embeddings가 신경 3D 비전과 물리적 의류 제조 파이프라인 사이의 간극을 메우는 중요한 이정표라고 위치시킵니다.

• 시뮬레이션 프리 효율성: 미분 가능한 물리 시뮬레이터를 제거함으로써, 이 방식은 의류 재구성 및 편집을 위한 계산 효율적인 대안을 제공합니다.
• 통합된 표현: 단일 학습 가능한 잠재 공간 내에서 연속적인 3D 기하학과 이산적인 2D 제조 청사진을 모두 표현하는 근본적인 문제를 해결합니다.
• 실용적 적용 가능성: 테스트 타임 적응 및 직접 편집 능력은 이 도구를 비전 및 그래픽스 커뮤니티에 실질적인 유연성을 제공하며, 디지털 제작 파이프라인을 간소화할 수 있는 잠재력을 가집니다.

저자들은 비록 자신들의 결과가 아직 고충실도 물리 시뮬레이션과 완전히 일치하지는 않지만, 본 연구가 다층 의류, 다양한 소재 및 미세한 의류 뉘앙스를 위한 확장 가능한 토대를 마련했다고 인정합니다.