ProFashion: Prototype-guided Fashion Video Generation with Multiple Reference Images

이 논문은 여러 개의 참조 이미지를 활용하여 의류의 다양한 패턴과 시점 일관성을 보장하고, 포즈 인식 프로토타입 집계기 및 흐름 강화 프로토타입 인스턴시 에이터를 통해 인간 동작의 시공간적 일관성을 개선한 패션 비디오 생성 프레임워크 'ProFashion'을 제안합니다.

핵심

🧥 프로패션 (ProFashion): 옷을 입은 인형이 여러 각도에서 춤추는 마법

이 논문은 **"ProFashion"**이라는 새로운 기술을 소개합니다. 쉽게 말해, 옷을 입은 사람의 사진을 여러 장 주면, 그 옷이 어떻게 생겼는지 360 도 회전하며 움직이는 동영상을 만들어주는 AI입니다.

기존 기술의 문제점과 이 새로운 기술이 어떻게 해결책을 제시하는지, 일상적인 비유로 설명해 드릴게요.

---

1. 🕵️‍♂️ 기존 기술의 문제: "한 장의 사진으로 모든 걸 상상하라?"

지금까지의 AI 는 옷의 앞면 사진 한 장만 주면, 그 옷이 어떻게 생겼는지 동영상을 만들려고 노력했습니다. 하지만 여기엔 큰 문제가 있었습니다.

• 할루시네이션 (환각): 옷의 뒷면이나 옆면이 어떻게 생겼는지 AI 가 몰랐기 때문에, 엉뚱한 무늬를 지어내거나 옷이 뭉개지는 현상이 발생했습니다.
  • 비유: 친구에게 "내 앞면 사진만 보여줬는데, 뒷모습을 그려달라"고 하면, 친구가 "아마 저렇게 생겼겠지?"라고 추측해서 엉뚱한 그림을 그리는 것과 같습니다.
• 움직임의 부자연스러움: 사람이 옷을 입고 돌아서거나 팔을 휘두를 때, 옷의 무늬가 뻑뻑하게 움직이거나 찢어지는 것처럼 보였습니다.

2. ✨ ProFashion 의 해결책: "여러 장의 사진을 보고 완벽하게 재현하라"

ProFashion 은 **옷의 앞면, 뒷면, 옆면 등 다양한 각도의 사진 (최소 3 장)**을 함께 보여줍니다. 그리고 두 가지 핵심 기술을 통해 완벽한 동영상을 만들어냅니다.

① 포즈 인식 프로토타입 집계기 (PPA): "현명한 요리사"

• 역할: 여러 장의 사진에서 필요한 정보를 골라내는 역할입니다.
• 비유: 요리사가 요리를 할 때, 요리하려는 요리의 모양 (포즈) 에 따라 어떤 재료를 얼마나 많이 넣을지 결정하는 것과 같습니다.
  • 예를 들어, 사람이 앞을 보고 있을 때는 앞면 사진의 무늬 정보를 많이 가져오고, 뒤를 돌아설 때는 뒷면 사진의 정보를 가져옵니다.
  • 이 모든 정보를 하나로 합쳐서 (집계해서), AI 가 그리는 과정에 "이제 앞면 무늬를 그려줘", "이제 뒷면 무늬로 바꿔줘"라고 지시합니다.
  • 장점: 여러 장의 사진을 다 따로 다룰 필요 없이, 필요한 정보만 잘게 잘라 합치기 때문에 계산 속도도 빠릅니다.

② 흐름 강화 프로토타입 인스턴시이터 (FPI): "유리처럼 매끄러운 춤추는 인형"

• 역할: 옷이 움직일 때 무늬가 자연스럽게 따라가도록 돕습니다.
• 비유: 사람이 춤을 추면 옷자락이 바람에 흔들리듯 자연스럽게 움직입니다. 하지만 기존 AI 는 옷의 무늬가 제자리에서 덜덜 떨리는 것처럼 보였습니다.
  • ProFashion 은 사람의 **관절이 움직이는 궤적 (흐름)**을 따라가며, 옷의 무늬도 그 흐름에 맞춰 자연스럽게 이동시킵니다.
  • 마치 유리창을 통해 밖을 볼 때, 유리창이 움직이면 밖의 풍경도 자연스럽게 따라 움직이는 것처럼, 옷의 무늬가 인체의 움직임에 완벽하게 동기화됩니다.

3. 📊 결과가 어떨까요?

연구진은 인터넷에서 다양한 옷과 동작이 포함된 7,000 개 이상의 영상을 모아 학습시켰습니다. 그 결과:

• 화질: 옷의 무늬가 흐트러지지 않고 선명하게 유지됩니다.
• 자연스러움: 사람이 돌아서거나 팔을 흔들 때, 옷이 찢어지거나 엉뚱한 무늬가 생기지 않습니다.
• 사용자 평가: 사람들이 본 동영상을 평가했을 때, 옷의 디테일과 움직임의 자연스러움에서 기존 기술보다 압도적으로 높은 점수를 받았습니다.

4. 💡 왜 이 기술이 중요할까요?

이 기술은 온라인 쇼핑에 혁명을 일으킬 수 있습니다.

• 지금까지: 옷을 사려면 여러 장의 정지 사진을 보고 상상해야 했습니다.
• 이제부터: 옷을 입은 모델이 360 도 돌아다니며 춤추는 영상을 바로 볼 수 있습니다. 옷의 앞뒤 무늬가 어떻게 다른지, 움직일 때 옷감이 어떻게 흐르는지 정확히 알 수 있어 구매 실패를 줄여줍니다.

📝 요약

ProFashion은 "한 장의 사진으로는 부족하다"는 점을 깨닫고, 여러 각도의 사진을 모아 '현명한 요리사 (PPA)'가 필요한 정보를 골라내고, '유리창 같은 춤추는 인형 (FPI)'이 자연스럽게 움직이게 함으로써, 마치 실제 옷을 입은 것처럼 생생한 패션 영상을 만들어내는 기술입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 패션 비디오 생성 (Fashion Video Generation) 기술은 주로 단일 참조 이미지 (Single Reference Image) 만을 입력으로 받아 특정 의상을 입은 캐릭터의 움직임을 생성하는 데 한계가 있었습니다.

• 시각적 일관성 부족 (View Consistency): 의상의 앞면과 뒷면, 혹은 측면에 서로 다른 패턴이 존재하는 경우, 단일 이미지로는 모든 뷰 (View) 의 정보를 제공하기 어렵습니다. 이로 인해 생성된 비디오에서 의상의 뒷면이나 측면이 잘못 생성되거나 (Hallucination), 패턴이 일관되지 않는 문제가 발생합니다.
• 운동 일관성 부족 (Motion Consistency): 기존 방법들은 주로 동일한 공간 위치의 정보만 시간 축을 따라 전파하는 모션 모듈을 사용합니다. 이는 큰 신체 움직임 (예: 회전) 이 포함된 패션 비디오 생성 시 시공간적 일관성을 유지하지 못하게 합니다.

2. 제안 방법: ProFashion

저자들은 위 문제를 해결하기 위해 여러 개의 참조 이미지 (Multiple Reference Images) 를 활용하여 뷰 일관성과 시간적 일관성을 동시에 향상시키는 프레임워크인 ProFashion을 제안했습니다. 이 프레임워크는 잠재 확산 모델 (Latent Diffusion Model) 을 기반으로 하며, 다음과 같은 핵심 구성 요소로 이루어져 있습니다.

A. 전체 아키텍처

1. Reference Encoder: 참조 이미지에서 다중 스케일의 세밀한 특징 (Fine-grained features) 과 전역 특징 (Global features, CLIP 기반) 을 추출합니다.
2. Pose-aware Prototype Aggregator (PPA): 참조 이미지들의 특징을 포즈 (Pose) 정보에 따라 선택적으로 집계 (Aggregate) 하여 '프레임별 프로토타입'을 생성합니다.
3. Flow-enhanced Prototype Instantiator (FPI): 생성된 프로토타입을 기반으로 노이즈 제거 (Denoising) 과정을 수행하며, 인간 관절점 (Keypoint) 의 운동 흐름 (Flow) 을 활용하여 시간적 일관성을 강화합니다.

B. 핵심 기술적 기여 (Key Contributions)

1. Pose-aware Prototype Aggregator (PPA)

• 목적: 여러 참조 이미지에서 정보를 효과적으로 통합하되, 계산 비용을 단일 이미지 수준으로 유지하기 위함입니다.
• 작동 원리:
  • 포즈 인식 선택기 (Pose-aware Selector): 현재 생성하려는 프레임의 구동 포즈 (Driving Pose) 와 각 참조 이미지의 포즈를 비교하여 유사도를 계산합니다.
  • 프로토타입 집계: 유사도가 높은 참조 이미지의 특징 (세밀한 특징과 전역 특징) 을 가중치 있게 선택하여 합칩니다.
  • 효과: 집계된 프로토타입은 단일 참조 이미지 특징과 동일한 형태를 가지므로, 기존 확산 모델의 계산 구조를 변경하지 않고도 다중 참조 정보를 효과적으로 주입할 수 있습니다.

2. Flow-enhanced Prototype Instantiator (FPI)

• 목적: 캐릭터의 움직임이 매끄럽고 디테일이 프레임 간에 일관되도록 보장하기 위함입니다.
• 작동 원리:
  • 프로토타입 가이드 공간 어텐션: 생성된 프로토타입을 사용하여 공간적 특징을 보강합니다.
  • Flow-enhanced Temporal Attention (FTA): 기존 시간적 어텐션 (Temporal Attention) 이전에 추가적인 시공간 어텐션 레이어를 도입합니다.
  • 운동 흐름 지도 활용: 구동 포즈 시퀀스에서 추출한 인간 관절점의 운동 흐름 (Keypoint Motion Flow) 을 사용하여, 인접 프레임 간의 동일한 신체 부위 특징이 올바르게 이동 (Warping) 하도록 지도합니다. 이를 통해 큰 움직임이 있더라도 의상 디테일이 왜곡되지 않고 유지됩니다.

3. 실험 및 결과 (Experiments & Results)

데이터셋:

• MRFashion-7K: 저자들이 수집한 새로운 데이터셋으로, 다양한 각도와 의상 디테일, 큰 신체 움직임을 포함하는 7,335 개의 패션 비디오로 구성됨.
• UBC Fashion: 기존에 널리 사용되는 데이터셋.

주요 결과:

• 정량적 평가 (Quantitative):
  • MRFashion-7K 에서 단일 참조 기반 방법 (Animate Anyone, Champ 등) 및 다른 다중 참조 조합 기법 (평균화, 연결) 보다 SSIM, PSNR, LPIPS, FVD 모든 지표에서 우수한 성능을 보였습니다.
  • 특히 FVD(Frechet Video Distance) 는 196.95 에서 126.92 로 크게 개선되어 (약 35% 향상), 비디오의 시간적 일관성이 크게 향상되었음을 입증했습니다.
• 정성적 평가 (Qualitative):
  • 단일 이미지 기반 방법은 의상의 뒷면 생성 시 심각한 환각 (Hallucination) 현상이 발생했으나, ProFashion 은 여러 각도의 참조 이미지를 통해 일관된 뷰 (View-consistent) 의 비디오를 성공적으로 생성했습니다.
  • 의상의 복잡한 패턴과 디테일이 회전하는 동작 중에도 왜곡 없이 유지되었습니다.
• UBC Fashion 비교: 기존 SOTA 방법들 (DreamPose, Animate Anyone 등) 보다 모든 메트릭에서 우위를 점했으며, 특히 FVD 에서 31.4% 개선 효과를 보였습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 기술적 혁신: 단일 이미지의 정보 부족 문제를 해결하기 위해 다중 참조 이미지를 효율적으로 통합하는 '프로토타입 집계' 메커니즘을 제안했습니다. 이는 계산 비용 증가 없이 고해상도, 고일관성 비디오 생성을 가능하게 합니다.
• 상업적 가치: 온라인 의류 소매 (E-commerce) 분야에서 고객에게 의상의 전후면 및 다양한 각도의 디테일을 정확하게 보여주는 고품질 비디오를 저비용으로 생성할 수 있어, 구매 전환율 향상에 기여할 수 있습니다.
• 한계점: 현재 텍스트가 포함된 의상 (예: 로고, 문구) 의 디테일 유지에는 여전히 왜곡이나 흐림 현상이 발생한다는 한계가 있습니다.

요약하자면, ProFashion은 다중 참조 이미지를 활용하여 의상 생성 시 발생하는 뷰 일관성 문제를 해결하고, 관절점 흐름을 기반으로 한 어텐션 메커니즘을 통해 움직임의 자연스러움을 극대화한 획기적인 패션 비디오 생성 프레임워크입니다.