The devil is in the details: Enhancing Video Virtual Try-On via Keyframe-Driven Details Injection

이 논문은 키프레임 기반의 세부 정보 주입 전략을 통해 의상 동역학과 배경 무결성을 동시에 향상시키면서 계산 비용을 줄인 새로운 비디오 가상 피팅 프레임워크 'KeyTailor'와 대규모 고품질 데이터셋 'ViT-HD'를 제안합니다.

핵심

1. 기존 기술의 문제점: "옷은 잘 입혔는데, 배경은 엉망이야!"

기존의 옷 갈아입기 AI 는 두 가지 큰 고민이 있었습니다.

• 옷의 주름과 움직임이 어색함: 사람이 팔을 들거나 몸을 돌릴 때 옷이 자연스럽게 주름지거나 늘어나야 하는데, 기존 AI 는 옷을 마치 평평한 스티커처럼 붙여버려서 움직임이 뻑뻑하고 어색했습니다. 마치 인형 옷을 입힌 것처럼 보였죠.
• 배경이 흐려지거나 변해버림: 옷만 바꾸려고 하다 보니, 사람 뒤의 벽이나 바닥 같은 배경이 흐릿해지거나, 프레임마다 배경이 자꾸 달라지는 이상한 현상이 발생했습니다. 마치 사진을 합성할 때 배경이 뭉개지는 것과 비슷했습니다.
• 컴퓨터가 너무 많이 먹음: 더 좋은 결과를 내려고 AI 모델을 무겁게 만들다 보니, 일반 컴퓨터로는 실행하기 힘들 정도로 무거워졌습니다.

2. 키테일러의 핵심 아이디어: "가장 중요한 순간 (키프레임) 을 기억하라!"

키테일러는 **"비디오 속의 가장 중요한 순간들 (Keyframes)"**을 집중적으로 분석하는 전략을 썼습니다.

• 비유: 여행 사진 앨범
  • 10 분짜리 여행 비디오를 다 보는 대신, **"가장 멋진 풍경이 보이는 순간"**과 "손을 흔드는 순간" 같은 핵심 장면 (키프레임) 만 골라냅니다.
  • 이 핵심 장면들에는 옷의 앞면, 뒷면, 주름, 그리고 배경의 디테일이 모두 담겨 있습니다.
  • 키테일러는 이 **핵심 장면들을 '레퍼런스 (참고 자료)'**로 삼아, 나머지 모든 프레임에 옷의 디테일과 배경의 정교함을 자연스럽게 주입합니다.

3. 작동 원리: 두 명의 전문 요리사

키테일러는 두 가지 특수한 모듈 (도구) 을 사용합니다.

1. 옷 디테일 향상 요리사 (Garment Details Enhancement):

   • 이 요리사는 핵심 장면들에서 옷의 주름, 빛 반사, 뒤쪽 무늬 등을 꼼꼼히 분석합니다.
   • 그리고 이 정보를 바탕으로 옷을 입히는 과정에서 "팔을 들면 옷이 이렇게 늘어나야 해"라고 AI 에게 지시합니다. 덕분에 옷이 인형 옷이 아니라, 살아있는 천처럼 자연스럽게 움직입니다.

2. 배경 보호 요리사 (Collaborative Background Optimization):

   • 이 요리사는 옷을 입히는 동안 배경이 망가지지 않도록 감시합니다.
   • 핵심 장면의 배경 정보를 이용해, 옷이 바뀌어도 벽지 무늬나 바닥 질감이 원래대로 유지되게 합니다. 마치 화려한 의상을 입힌 배우 뒤에 있는 무대 세트가 흔들리지 않게 고정하는 것과 같습니다.

4. 왜 이것이 특별한가? (데이터와 효율성)

• 고화질 데이터 (ViT-HD): 기존에 있던 옷 갈아입기 데이터는 화질이 낮고 옷 종류도 적었습니다. 키테일러 팀은 15,000 개 이상의 고화질 (HD) 비디오를 직접 수집해서 새로운 데이터셋을 만들었습니다. 이는 마치 저화질 사진첩 대신 4K 영화 필름을 학습 자료로 쓴 것과 같습니다.
• 가볍고 빠른 기술: 보통 이런 고화질 작업을 하려면 AI 모델을 통째로 바꾸거나 무겁게 만들어야 합니다. 하지만 키테일러는 기존 AI 의 뼈대는 그대로 두고, 필요한 부분만 '스마트한 주입 (Injection)' 방식으로 정보를 더했습니다.
  • 비유: 무거운 고성능 엔진을 새로 달지 않고, 기존 차에 '스마트한 네비게이션'만 추가해서 더 똑똑하고 빠르게 달리게 만든 것과 같습니다. 결과적으로 컴퓨터 부하가 훨씬 적습니다.

5. 결론: "세부 사항에 악마가 숨어 있다"

이 논문의 제목처럼, **"세부 사항 (Details)"**이 바로 성공의 열쇠였습니다.

키테일러는 단순히 옷을 갈아입히는 것을 넘어, 옷의 주름 하나하나와 배경의 질감까지 원본 비디오의 분위기와 완벽하게 어울리게 만듭니다. 이제 온라인 쇼핑몰에서 옷을 입어볼 때, 마치 실제로 입어보는 것처럼 자연스럽고 생생한 경험을 할 수 있는 날이 가까워진 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

비디오 가상 피팅 (Video Virtual Try-On, VVT) 은 사용자의 의상을 지정된 타겟 의상으로 교체하면서 비디오의 운동성과 시각적 일관성을 유지하는 기술입니다. 최근 확산 모델 (Diffusion Models), 특히 Diffusion Transformer (DiT) 기반의 방법론이 도입되면서 생성 품질이 크게 향상되었으나, 여전히 다음과 같은 세 가지 주요 한계점이 존재합니다.

1. 세부적인 의상 동적 정보의 부족 (Insufficient Garment Dynamic Details):
   • 기존 DiT 기반 방법들은 텍스트나 단일 의상 이미지를 참조하지만, 연속된 프레임 간의 미세한 의상 변화 (주름, 등면 텍스처, 팔을 올릴 때의 옷 주름 등) 를 포착하지 못합니다.
   • 결과적으로 의상이 매끄럽게 처리되어 실제 움직임에 따른 자연스러운 변형이 사라지거나, 의상 크기가 참조 이미지와 일치하지 않는 문제가 발생합니다.
2. 배경 영역의 불일치 (Inconsistency of Background Areas):
   • 기존 방법들은 주로 의상이 제거된 (Garment-agnostic) 비디오를 배경 조건으로 사용합니다. 이 과정에서 원본 비디오의 미세한 배경 질감 (물체 패턴, 모서리 등) 이 흐려지거나, 프레임 간 시간적 불일치 (아티팩트 발생) 가 발생하며, 배경 구조가 왜곡되는 문제가 있습니다.
3. 모델 복잡도 증가 및 데이터 부족 (Increased Complexity & Data Scarcity):
   • 성능 향상을 위해 DiT 아키텍처에 추가적인 상호작용 모듈 (Interaction Modules) 을 도입하는 기존 방식은 모델 파라미터와 계산 비용을 급격히 증가시킵니다.
   • 또한, 기존 공개 데이터셋 (VVT, ViViD 등) 은 해상도가 낮고 (저해상도), 의상 다양성이 부족하며 데이터 규모가 작아 DiT 의 잠재력을 충분히 활용하기 어렵습니다.

---

2. 제안 방법: KeyTailor (Methodology)

이러한 문제를 해결하기 위해 저자들은 KeyTailor라는 새로운 DiT 기반 프레임워크와 대규모 고해상도 데이터셋 ViT-HD를 제안했습니다. 핵심 아이디어는 "키프레임 기반 세부 정보 주입 (Keyframe-Driven Details Injection)" 전략입니다.

A. 핵심 전략: 키프레임 기반 세부 정보 주입

정보량이 풍부한 키프레임 (Keyframes) 은 의상의 다중 뷰 동적 변화와 미세한 배경 정보를 내포하고 있으므로, 이를 활용하여 의상의 충실도 (Fidelity) 와 배경의 무결성 (Integrity) 을 동시에 개선합니다.

1. 지시 기반 키프레임 샘플링 (Instruction-Guided Keyframe Sampling, IKS):

   • 입력 비디오에서 시점 변화 (전면/후면) 와 동작 변화 (팔 올리기 등) 를 포착하는 정보를 가진 프레임을 선택합니다.
   • 대규모 시각 - 언어 모델 (예: QWen) 을 사용하여 사용자의 지시 (Instruction) 를 파싱하고, 이를 기반으로 표준화된 포즈 프레임을 생성합니다.
   • 각 프레임에 대해 **동작 차이 점수 ($S_m$)**와 **의상 영역 비율 점수 ($S_r$)**를 계산하여, 중복을 줄이고 시간적 균일성을 보장하는 다중 키프레임 ($F_{key}$) 을 선별합니다.

2. 의상 동적 세부 정보 강화 모듈 (Garment Dynamic Details Enhancement, GDDE):

   • 단일 이미지 피팅 모델로 생성된 초기 프레임의 잠재 공간 표현 ($L_g$) 에, 키프레임에서 추출한 의상 특정 특징 ($L_{key}^{gar}$) 을 주입합니다.
   • 경량 증류 (Distillation) 컴포넌트를 사용하여 키프레임의 주름, 텍스처 변화 등 미세한 동적 정보를 $L_g$에 풍부하게 반영합니다.

3. 협력적 배경 세부 정보 최적화 모듈 (Collaborative Background Details Optimization, CBDO):

   • 의상이 제거된 비디오 ($V_{agn}$) 에서 추출된 배경 잠재 표현 ($L_{bg}$) 에, 키프레임에서 추출한 배경 세부 정보 ($L_{key}^{bg}$) 를 추가합니다.
   • 배경의 완전성이 가장 높은 단일 프레임을 선택하여, 배경의 구조적 무결성과 의미론적 일관성을 유지하도록 $L_{bg}$를 보정합니다.

4. 가상 피팅 비디오 생성:

   • 강화된 의상 잠재 ($\bar{L}_g$) 와 최적화된 배경 잠재 ($\bar{L}_{bg}$) 를 포즈, 마스크, 노이즈 잠재와 함께 DiT 블록에 주입합니다.
   • 중요: 기존 DiT 아키텍처를 수정하거나 추가 상호작용 레이어를 도입하지 않고, LoRA (Low-Rank Adaptation) 를 통해 효율적으로 파인튜닝하여 계산 비용을 절감합니다.

B. ViT-HD 데이터셋

• 규모: 15,070 개의 고품질 비디오 샘플.
• 해상도: 810 × 1080 (기존 데이터셋 대비 고해상도).
• 특징: 다양한 의상 스타일 (상체, 하체, 전신) 을 포함하며, 과노출 프레임 제거 및 피사체 무결성 보장을 위해 정제되었습니다.

---

3. 주요 기여 (Key Contributions)

1. KeyTailor 프레임워크: DiT 백본에 추가적인 상호작용 레이어를 도입하지 않으면서도, 키프레임 기반 세부 정보 주입 전략을 통해 의상 충실도와 배경 무결성을 획기적으로 개선한 경량화 모델 제안.
2. 지시 기반 샘플링 및 모듈 설계: 사용자의 지시를 반영하여 정보성 있는 키프레임을 선택하는 IKS 모듈과, 의상/배경 세부 정보를 각각 강화하는 GDDE 및 CBDO 모듈 설계.
3. ViT-HD 데이터셋 구축: 다양한 의상 스타일을 포함한 15,000 개 이상의 고해상도 비디오 샘플로 구성된 대규모 데이터셋 공개.
4. 성능 입증: 동적 및 정적 시나리오 모두에서 기존 최첨단 (SOTA) 방법들보다 우수한 의상 충실도, 배경 일관성, 시간적 일관성을 달성.

---

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative):
  • ViT-HD, VVT, ViViD 데이터셋에서 VFID (Video Fréchet Inception Distance), SSIM, LPIPS 등 주요 지표에서 SOTA 모델 (MagicTryOn, CatV2TON, ViViD 등) 을 압도적으로 상회했습니다.
  • 특히 VFID 점수에서 기존 방법 대비 현저히 낮은 수치를 기록하여 비디오 품질과 일관성이 우수함을 입증했습니다.
• 정성적 평가 (Qualitative):
  • 의상의 주름, 텍스처, 등면 표현 등 미세한 동적 변화가 자연스럽고, 배경의 흐림이나 아티팩트가 거의 발생하지 않았습니다.
  • "Person-to-Video"와 같은 복잡한 의상 전이 시나리오에서도 강건한 성능을 보였습니다.
• 효율성 분석:
  • 파라미터: KeyTailor 는 백본 모델 대비 파라미터 증가율이 **2.10%**에 불과하여, MagicTryOn (15.11%) 이나 ViViD (157.10%) 에 비해 훨씬 경량화되었습니다.
  • 계산 비용: 학습 및 추론 시간, FLOPs 측면에서도 기존 SOTA 대비 효율적이며, LoRA 를 활용한 파인튜닝으로 인해 학습 파라미터가 0.2B 수준으로 매우 낮습니다.
• 사용자 연구:
  • 시각적 품질, 의미론적 일관성, 전반적 품질 평가에서 참가자들의 대다수가 KeyTailor 를 SOTA 방법보다 선호했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 비디오 가상 피팅 분야에서 **"세부 사항 (Details)"**의 중요성을 강조하며, 복잡한 아키텍처 변경 없이 키프레임 기반의 지능적인 정보 주입을 통해 고품질 생성을 달성할 수 있음을 증명했습니다.

• 기술적 의의: DiT 기반 생성 모델의 한계를 해결하기 위해, 모델 구조를 변경하지 않고 외부 정보 (키프레임) 를 효율적으로 통합하는 새로운 패러다임을 제시했습니다.
• 실용적 의의: ViT-HD 데이터셋과 경량화된 KeyTailor 모델을 통해, 고해상도 비디오 피팅의 상용화 가능성을 높이고 향후 연구의 강력한 베이스라인을 제공했습니다.
• 미래 전망: 복잡한 의상 - 신체 상호작용 동작 처리 능력 향상을 위해 향후 연구가 필요하지만, 현재 제안된 방법론은 동적 비디오 생성 분야에서 중요한 진전을 이루었습니다.