기술 요약: iTryOn – 공간적·의미론적 안내를 통한 대화형 비디오 가상 착용 마스터

1. 문제 정의 및 동기

비디오 가상 착용 (VVT) 은 비디오 내의 사람의 옷을 새로운 옷으로 교체하면서도 시간적 일관성을 유지하는 것을 목표로 합니다. 기존 방법들은 수동적인 움직임 (예: 걷기나 포즈 잡기) 을 처리하는 데 있어 크게 진전을 이루었지만, 비대화형 시나리오에 국한되어 있습니다. 현재의 벤치마크와 모델들은 피험자가 옷과 적극적으로 상호작용하는 (예: 옷자락 당기기, 재킷 지퍼 내리기, 또는 칼라 조정하기) **대화형 비디오 가상 착용 (Interactive VVT)**을 다루지 못합니다.

대화형 VVT 로의 전환은 기존 VVT 에서는 존재하지 않았던 두 가지 주요 과제를 도입합니다:

1. 상호작용의 의미론적 모호성: 2D 포즈 키포인트와 같은 표준 조건부 신호들은 3D 방향과 형태를 결여하고 있습니다. 2D 투영은 가슴에 평평하게 대고 있는 손 (비대화형) 과 셔츠를 당기는 손 (대화형) 을 구별할 수 없어, 모호한 생성을 초래합니다.
2. 희소 이벤트 학습: 복잡한 물리 기반 변형을 수반하는 상호작용 순간들은 정적이거나 수동적인 구간에 비해 종종 짧고 드뭅니다. 이러한 데이터 불균형은 희소한 감독 신호를 생성하여, 모델이 복잡한 상호작용을 학습하는 대신 단순한 비대화형 역학에 수렴하게 만듭니다.
3. 데이터 및 평가 부족: 기존 데이터세트는 거의 전적으로 비대화형 시퀀스로 구성되어 있으며, 표준 지표들은 인간 - 의류 상호작용의 의미론적 성공을 검증하지 못합니다.

2. 방법론: iTryOn 프레임워크

이러한 과제들을 해결하기 위해 저자들은 대규모 비디오 확산 Transformer(구체적으로 Wan2.1-VACE 백본) 를 기반으로 구축된 새로운 프레임워크인 iTryOn을 제안합니다. 이 프레임워크는 다단계 상호작용 주입 메커니즘과 표적 제약 손실 (constraint loss) 을 통합합니다.

2.1. 다단계 상호작용 주입

프레임워크는 공간적 및 의미론적 수준에서 안내를 제공함으로써 모호성을 해결합니다:

• 공간적 안내 ("어떻게"): 공간적 모호성을 해결하기 위해 iTryOn 은 **의류 무관 3D 손 사전 지식 (garment-agnostic 3D hand prior)**을 도입합니다. 소스 의류 기하학을 유지하는 정보 누출로 고통받는 깊이 기반 사전 지식과 달리, 이 접근법은 HaMeR 모델을 사용하여 깨끗한 3D 손 메쉬를 추출합니다. 이러한 메쉬는 경량 상호작용 안내기 (Interaction Guider) 모듈에 의해 처리되어 손의 형태, 방향, 근접성에 대한 세밀한 단서를 제공하며, 물리적으로 타당한 손 - 의류 접촉을 보장합니다.
• 의미론적 안내 ("무엇"과 "언제"): 의미론적 모호성을 해결하기 위해 시스템은 두 가지 유형의 텍스트 입력을 활용합니다:
  • 전체 캡션: 비디오의 전체적인 맥락을 제공합니다.
  • 타임스탬프가 지정된 행동 캡션: 특정 상호작용에 대한 국소적이고 범주화된 설명을 제공합니다 (예: "소매 말기").
  • 행동 인지 회전 위치 임베딩 (A-RoPE): 이러한 행동 캡션을 특정 비디오 구간에 동기화하도록 설계된 새로운 임베딩 전략입니다. 상호작용 구간의 키에만 확장된 1D-RoPE 를 적용함으로써, A-RoPE 는 의미론적 내용이 비대화형 프레임으로 "번지는 것"을 방지하여 정확한 시간적 정렬을 보장합니다.

2.2. 행동 인지 제약 손실 (AC Loss)

희소한 상호작용 이벤트로부터 학습하는 과제를 해결하기 위해 저자들은 **행동 인지 제약 손실 (Action-Aware Constraint Loss)**을 도입합니다. 이 손실 함수는 전략적으로 표준 확산 손실을 재가중합니다. 행동 캡션에서 파생된 이진 마스크를 적용함으로써, 손실은 상호작용이 포함된 프레임에서 특히 감독 신호를 증폭시킵니다. 이는 모델이 단순한 비대화형 프레임의 기울기에 압도되는 것을 방지하고, 복잡한 역학에 우선순위를 두어 수렴하도록 강제합니다.

2.3. 데이터세트: VVT-Interact

저자들은 이 작업을 위한 첫 번째 대규모 데이터세트인 VVT-Interact를 구축했으며, 여기에는 5,292 개의 고품질 비디오 - 의류 쌍이 포함되어 있습니다. 이 데이터세트는 이커머스 라이브 스트림과 소셜 미디어에서 선별되어 품질이 필터링되었으며, 글로벌 캡션, 타임스탬프가 지정된 행동 캡션, 그리고 이진 상호작용 라벨을 생성하기 위해 VLM 기반 파이프라인 (Qwen-VL) 을 사용하여 주석이 달렸습니다.

3. 주요 기여

1. 작업 형식화: 이 논문은 **대화형 비디오 가상 착용 (Interactive VVT)**을 공식적으로 정의하여 동적인 의류 프레젠테이션을 위한 새로운 최전선을 확립합니다.
2. iTryOn 프레임워크: 다단계 상호작용 주입 메커니즘 (3D 손 사전 지식 + A-RoPE 동기화 캡션) 과 희소 데이터에서의 훈련을 안정화하기 위한 행동 인지 제약 손실을 특징으로 하는 새로운 아키텍처.
3. 데이터세트 및 지표: VVT-Interact와 상호작용 성공률 (ISR) 지표의 도입. ISR 은 생성된 상호작용 (예: "지퍼 잠금") 이 인식 가능하고 일관성 있는지 의미론적으로 검증하기 위해 비전 - 언어 모델을 활용하여, 순수한 시각적 충실도 지표를 넘어섭니다.

4. 실험 결과

새로운 VVT-Interact 데이터세트와 전통적인 비대화형 ViViD 벤치마크 모두에서 광범위한 실험이 수행되었습니다.

• 대화형 성능: VVT-Interact 에서 iTryOn 은 최첨단 베이스라인 (ViViD, CatV2TON, MagicTryOn) 을 압도적으로 앞서고 있습니다.
  • 시각적 충실도: SSIM, LPIPS, VFID 에서 우수한 점수를 달성하여 고품질 텍스처 보존과 감소된 깜빡임을 나타냅니다.
  • 상호작용 충실도: 결정적으로 iTryOn 은 **61.00% 의 상호작용 성공률 (ISR)**을 달성하여 49% 미만의 점수를 기록하는 베이스라인들을 크게 능가합니다. 이는 모델이 단순히 그럴듯해 보이는 움직임을 생성하는 것이 아니라 구체적인 물리적 상호작용을 수행할 수 있음을 확인시켜 줍니다.
• 비대화형 성능: 상호작용에 중점을 두었음에도 불구하고, iTryOn 은 전통적인 ViViD 벤치마크에서도 최첨단 성능을 달성하여 기본 백본과 훈련 전략의 다양성을 입증합니다.

5. 중요성 및 주장

이 논문은 iTryOn 이 더 역동적이고 제어 가능한 가상 착용 경험으로 나아가는 중요한 단계라고 주장합니다. 수동적 디스플레이와 능동적인 인간 - 의류 상호작용 간의 격차를 해소함으로써, 이 연구는 현재 이커머스 및 디지털 콘텐츠 제작 도구의 중요한 한계를 해결합니다.

저자들은 그들의 성공이 단순히 추가 데이터 때문이 아니라 공간적 안내 (3D 손), 의미론적 정밀도 (A-RoPE), 그리고 표적 감독 (AC 손실) 의 시너지적 결합에서 비롯된다고 강조합니다. 그들은 지퍼가 없는 티셔츠를 풀려고 시도하는 것과 같은 의류 의미론에 대한 추론 능력 부족과 같은 한계를 인정하며, 향후 작업은 명시적인 의류 인지 행동 검증을 포함해야 한다고 언급합니다. 그러나 현재 프레임워크는 다양한 복잡한 상호작용에 대해 물리적으로 타당한 변형을 성공적으로 생성하여 이 분야의 새로운 기준을 설정합니다.