1. 문제 정의 (Problem)

단일 이미지에서 물리적으로 정확하고 시뮬레이션이 가능한 (simulation-ready) 의류를 생성하는 것은 컴퓨터 비전 및 그래픽스 분야에서 중요한 과제이지만, 다음과 같은 이유로 매우 어렵습니다.

• 데이터 부재: 이미지와 물리 파라미터 (신축성, 굽힘 강성, 밀도 등) 를 짝지어주는 대규모 데이터셋이 존재하지 않습니다.
• 잘못된 문제 (Ill-posed nature): 단일 이미지만으로는 의류의 재질, 두께, 중첩된 레이어 등 물리적 특성을 유추하기가 모호합니다.
• 기존 방법의 한계:
  • 다중 뷰/비디오 기반: 고정된 스튜디오 환경과 고가의 장비가 필요하며, 실시간 적용이 어렵습니다.
  • 기하학적 생성만: 의류의 3D 형상 (Geometry) 은 생성하지만, 실제 물리 시뮬레이션에 필요한 재질 속성 (Material Properties) 을 예측하지 못합니다.
  • 최적화 기반 방법: 미분 가능 시뮬레이션을 이용한 최적화는 시간이 오래 걸리고 (수 시간 소요), 특정 시뮬레이터에 종속적이며 단일 이미지에서는 수렴이 어렵습니다.

2. 방법론 (Methodology)

저자들은 반전 문제 (Inverse Problem) 를 해결하기 위해 의미론적으로 기반을 둔 잠재 변수 분해 (Semantically grounded latent decomposition) 방식을 도입했습니다. 직접적인 '이미지 → 물리' 매핑 대신, '이미지 → 재질 속성 → 물리 파라미터' 의 2 단계 파이프라인을 구축했습니다.

A. 전체 파이프라인 (Three-stage Pipeline)

1. 의류 기하학 생성 (Garment Geometry): 기존 모델인 ChatGarment를 사용하여 단일 이미지에서 의류의 재봉 패턴 (Sewing Pattern) 을 예측하고, 이를 표준 SMPL 바디에 드레이핑하여 3D 형상을 복원합니다.
2. 재질 속성 예측 (Fabric Attribute Prediction):
   • VLM 파인튜닝: Qwen-2.5-VL (Vision-Language Model) 을 FTAG 데이터셋으로 파인튜닝합니다.
   • 입력: 단일 이미지.
   • 출력: 구조화된 JSON 형태의 재질 속성 (섬유 성분 비율, 직물 패밀리, 구조 유형, 면적 밀도, 두께 등).
   • 전략: 재질 조성을 직접 예측하는 것은 모호하므로, 시각적 신호가 명확한 '직물 패밀리'나 '구조 유형'을 먼저 예측하고 이를 기반으로 하위 재질 성분을 추론합니다.
3. 물리 파라미터 추정 (Physics Parameter Prediction):
   • T2P (Tag-to-Physics) 데이터셋 활용: 예측된 재질 속성과 실제 측정된 물리 파라미터 간의 매핑을 학습합니다.
   • 모델: Random Forest Regressors (RFR) 를 사용하여 각 물리 파라미터 (굽힘, 전단, 신축 강성 등) 를 독립적으로 예측합니다.
   • 밀도/두께 추정: 예측된 재질 속성을 바탕으로 T2P 데이터셋에서 계층적 검색 (Hierarchical Search) 을 수행하여 밀도와 두께 값을 추정합니다.

B. 핵심 아이디어

• 잠재 변수 분해: $p(S, \theta | I) = p(S|I) \sum p(\theta|m,z)p(m,z|I)$
  • 이미지에서 물리 파라미터 ($\theta$) 를 직접 예측하는 대신, 해석 가능한 재질 속성 ($m, z$) 을 중간 변수로 도입하여 학습을 용이하게 하고 데이터 요구량을 줄였습니다.
• 데이터 효율성: 대규모 이미지 - 물리 데이터가 없어도, 웹에서 수집한 재질 태그 데이터 (FTAG) 와 소규모의 측정 데이터 (T2P) 만으로 시스템을 구축할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 데이터셋 구축:
   • FTAG (Fabric Attributes from Garment Tags): 16,026 개의 의류 이미지와 재질 성분, 직물 패밀리, 구조 유형이 매핑된 데이터셋.
   • T2P (Tag-to-Physics): 1,254 개의 직물 속성과 산업 표준 시뮬레이터 (CLO3D, Marvelous Designer 등) 호환 물리 파라미터를 연결한 데이터셋.
2. 최적화 없는 피드포워드 프레임워크:
   • 단일 이미지에서 의류 기하학과 물리 파라미터를 동시에 예측하여, 반복적인 최적화 없이 즉시 시뮬레이션 가능한 의류를 생성합니다.
3. 성능 입증:
   • 재질 성분 추정 및 물리 파라미터 예측에서 기존 방법 (ChatGarment, AIpparel, Dress-1-to-3 등) 보다 우수한 정확도를 보였습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 기하학 및 이미지 품질: Chamfer Distance (CD), IoU, PSNR, SSIM, LPIPS 등 모든 메트릭에서 SOTA(SOTA) 방법들을 상회했습니다. 특히 동적 드레이핑 (Dynamic Draping) 시뮬레이션에서 Ground Truth 와 가장 유사한 결과를 보였습니다.
  • 물리 파라미터 정확도: 무작위 파라미터를 사용한 베이스라인에 비해 모든 시퀀스에서 CD 와 IoU 가 크게 개선되었습니다.
  • 재질 예측: 파인튜닝된 Qwen-2.5-VL 모델은 Zero-shot/Few-shot ChatGPT 대비 직물 패밀리, 구조 유형, 재질 성분 예측 정확도에서 30% 이상의 절대적 향상을 보였습니다.
• 정성적 평가:
  • 점프, 회전, 충격 반응 등 다양한 동작 시나리오에서 생성된 의류의 움직임 (주름, 늘어남, 낙하) 이 실제 영상과 매우 유사하게 재현되었습니다.
  • 기존 방법들은 의류가 너무 뻣뻣하거나 (over-stiffen), 붕괴되거나 (collapse) 동적 거동이 실제와 달랐으나, Image2Garment 는 물리적으로 타당한 거동을 보였습니다.
• 효율성:
  • 최적화 기반 방법 (Dress-1-to-3 등) 이 의류당 수 시간이 소요되는 반면, 본 방법은 단일 패스 (Single pass) 로 실시간에 가까운 속도로 결과를 생성합니다.

5. 의의 및 결론 (Significance)

• 접근성: 고가의 멀티뷰 캡처 장비나 수동 재질 측정이 필요 없으며, 웹상의 단일 이미지만으로도 고품질의 시뮬레이션 준비 의류를 생성할 수 있어 가상 현실 (VR), 게임, 패션 디자인 분야의 진입 장벽을 낮춥니다.
• 실용성: 생성된 의류는 산업 표준 시뮬레이터 (CLO3D, Marvelous Designer 등) 에 직접 적용 가능한 물리 파라미터를 포함하므로, 실제 제작 및 애니메이션 워크플로우에 즉시 활용 가능합니다.
• 미래 방향: 현재는 단일 레이어 의류에 국한되어 있으나, 향후 복잡한 레이어링 의류나 액세서리 고려, 그리고 더 풍부한 시각적 신호 활용을 통해 확장 가능성이 큽니다.

이 논문은 "의미론적 재질 속성" 을 중간 매개체로 사용하여 이미지에서 물리 시뮬레이션까지의 간극을 효과적으로 메우는 새로운 패러다임을 제시했습니다.