FashionPose: Unified Text-Driven Fashion Synthesis with Joint Geometric and Photometric Control

당신이 영화 세트장의 감독이라고 상상해 보십시오. 하지만 배우를 고용하는 대신, 디지털 아티스트에게 특정 의상을 입은 사람을 그리라고 명령하는 것입니다. 컴퓨터 비전(컴퓨터가 '보고' 이미지를 생성하도록 가르치는 과학)의 세계에서 이것은 매우 까다로운 작업입니다. 보통 컴퓨터에게 새로운 포즈를 취한 사람을 그리게 하려면, 옷을 지탱할 수 있는 와이어프레임 마네킹 같은 딱딱한 골격(skeleton)을 제공해야 합니다. 이는 이미 만들어진 설계도가 있어야만 관절을 움직일 수 있는 인형에게 옷을 입히는 것과 같습니다. 게다가, 대부분의 디지털 아티스트들은 평평하고 지루한 조명이 있는 '스튜디오'에서 작업합니다. 만약 당신이 해 질 녘의 햇살 가득한 공원에 서 있는 사람을 그려달라고 요청한다면, 컴퓨터는 혼란에 빠져 사람이 배경과 어울리지 않는 평면적인 스티커처럼 보이게 만들곤 합니다. 이 논문은 정해진 골격이나 스튜디오 설정 없이도, 오직 당신의 말만으로 현실적인 패션 이미지를 생성하는 방법을 다룹니다.

이 연구를 이끄는 Chuancheng Shi와 동료들은 FashionPose라는 새로운 시스템을 제안합니다. 이것을 당신의 자연어 설명을 직접 3D 준비가 된 패션쇼로 바꿔주는 '마법의 번역기'라고 생각하십시오. 이 시스템은 딱딱한 와이어프레임을 거치지 않고 바로 넘어갑니다. 그들은 기존 방식, 즉 미리 정의된 골격에 의존하고 환경을 무시하는 방식이 너무 제한적이라고 주장합니다. 대신, 이 시스템은 단순한 문장인 "아늑한 방 안의 햇살이 비치는 창가에 서 있는 소녀"를 고품질 이미지로 바꾸기 위해 3단계의 '계층적(cascaded)' 과정을 사용합니다. 이때 소녀의 포즈는 단어와 일치하며, 햇빛은 설명대로 그녀의 옷에 정확히 내리쬐게 됩니다.

첫째, 시스템은 당신의 이야기에 귀를 기울이고 포즈를 스케치하는 크리에이티브 디렉터 역할을 합니다. 미리 만들어진 골격을 찾아보는 대신, 시스템은 '양방향 대조 정렬(bidirectional contrastive alignment)' 메커니즘을 사용합니다. 이것을 '뜨겁다 혹은 차갑다' 게임이라고 상상해 보십시오. 컴퓨터는 템플릿 없이도 당신의 단어(예: "꼬고 있는 다리"나 "들어 올린 팔")가 가진 '느낌'을 신체의 기하학적 구조와 직접 매칭하는 법을 배웁니다. 이를 가르치기 위해 팀은 40,000개 이상의 텍스트 설명과 신체 키포인트 쌍을 포함하는 PoseCap이라는 거대한 새로운 라이브러리를 구축했습니다. 이를 통해 AI는 "햇살이 비치는 창가에 서 있다"는 것이 단순한 배경 디테일이 아니라, 빛이 사람에게 어떻게 비쳐야 하는지에 대한 단서라는 것을 학습할 수 있습니다.

다음으로, 시스템은 '의상 디자이너' 단계로 넘어갑니다. 포즈가 결정되면, 시스템은 인물의 고해 fidelity(고정밀) 이미지를 생성합니다. 결정적으로, 시스템은 '아이덴티티 앵커링(identity-anchored)' 전략을 사용합니다. 특정 모델이 특정 재킷을 입고 있는 사진이 있다고 상상해 보십시오. 시스템은 그 재킷과 모델의 얼굴을 가져와서 고정시킨 다음, 당신이 설명한 새로운 포즈에 맞춰 늘리고 접습니다. 이를 통해 설령 사람이 복잡한 춤 동작을 하고 있더라도, 재킷의 단추와 모델의 얼굴은 똑같이 유지되어, 다른 AI 아트 도구에서 흔히 발생하는 '얼굴이 녹아내리거나 옷이 왜곡되는' 오류를 방지합니다.

마지막으로, 시스템은 '조명 팀'을 관리합니다. 이 부분이 FashionPose가 기존 방식보다 빛나는 지점입니다. 여기에는 '프롬프트 조건부 재조명(prompt-conditioned relighting)' 모듈이 포함되어 있습니다. 만약 당신의 텍스트에 "골든 아워(golden hour)"나 "부드러운 스튜디오 조명"이라고 적혀 있다면, 이 모듈은 생성된 인물의 그림자와 하이라이트를 해당 분위기에 맞춰 조정합니다. 이는 마치 조명 기술자가 대본을 읽고 분위기에 맞춰 스포트라이트를 움직여, 사람이 마치 다른 사진에서 잘라내어 붙여넣은 것처럼 보이지 않도록 만드는 것과 같습니다.

팀은 이 시스템을 엄격하게 테스트했습니다. 그 결과, FashionPose가 정확도와 현실성 모두에서 기존 방식들을 능가한다는 것을 발견했습니다. 테스트에서 시스템은 243.8의 키포인트 오차(MSE)를 기록했는데, 이는 약 262.2 근처에 머물렀던 차세대 방식들보다 낮은(더 좋은) 수치입니다. 이미지의 전반적인 외관을 측정하는 지표인 FID(낮을수록 좋음)에서도 Fashion-Pose는 5.6690을 기록하여, 이전의 최고 조합 도구들의 점수인 6.3671을 앞질렀습니다. 실제 사람들이 어떤 이미지가 더 나은지 투표한 사용자 연구에서도, FashionPose는 포즈 일관성 측면에서 46.8%, 전반적인 미적 품질 측면에서 55.9%의 선호도를 얻었습니다.

이 논문은 좋은 결과를 얻기 위해 반드시 기존의 골격이나 '스튜디오 같은' 중립적인 배경이 필요하다는 생각을 명시적으로 부정합니다. 그들은 외부 포즈 추정기에 의존하는 것이 AI의 능력을 제한하며, 환경을 무시하는 것은 포즈와 조명이 어울리지 않는 비현실적인 이미지를 초래한다고 주장합니다. 단일 텍스트 프롬프트가 기하학적 구조(geometry)와 광도(photometry, 조명)를 동시에 제어할 수 있음을 증명함으로써, 그들은 버추얼 패션의 새로운 방향을 제시합니다. 그들이 세상의 모든 문제를 해결했다고 주장하는 것은 아니지만, 실험 결과 이 통합된 접근 방식이 개인화되고 장면 인식 기능이 있는 버추얼 패션 디스플레이를 위한 훨씬 더 강력하고 유연한 솔루션을 만든다는 것을 보여줍니다. 이는 누구나 문장 하나를 입력하는 것만으로도 어떤 환경에서든 옷을 시각화할 수 있게 만듭니다.