1. 문제 정의 (Problem)

생성형 AI 분야에서 사용자 지정 신원 (Identity) 을 유지하면서 고품질의 인간 영상을 생성하는 것은 매우 중요하지만 여전히 난제입니다. 기존 방법들은 다음과 같은 한계를 가지고 있습니다:

• 과도한 학습 파라미터: 최근 방법들 (예: HunyuanCustom, Phantom 등) 은 확산 트랜스포머 (Diffusion Transformer) 를 전체 파라미터로 학습 (Full Fine-tuning) 하여 막대한 학습 자원과 데이터를 요구합니다.
• 신호 추출의 한계: 초기 방법들은 명시적인 얼굴 인코더 (Face Encoder) 를 사용하여 특징을 추출하지만, 이는 유연성이 부족하고 고품질 영상 생성에 필수적인 미세한 얼굴 디테일을 포착하는 데 어려움을 겪습니다.
• 호환성 부재: 기존 모델들은 다른 AIGC 도구나 태스크 (자세 유도, 스타일 변환 등) 와의 통합이 어렵고, 플러그 앤 플레이 (Plug-and-Play) 방식이 아닙니다.

2. 제안 방법 (Methodology)

저자들은 **"Stand-In"**이라는 경량화되고 플러그 앤 플레이 가능한 프레임워크를 제안합니다. 이 방법은 사전 학습된 비디오 생성 모델의 잠재 공간 (Latent Space) 을 직접 활용하여 신원 정보를 주입합니다.

핵심 기술 요소:

1. 조건부 이미지 브랜치 (Conditional Image Branch):

   • 별도의 얼굴 인코더를 사용하지 않고, 비디오 생성 모델 자체의 사전 학습된 **VAE(변분 오토인코더)**를 사용하여 참조 이미지를 비디오와 동일한 잠재 공간으로 매핑합니다.
   • 이를 통해 모델이 내재적으로 가진 풍부한 얼굴 특징 추출 능력을 자연스럽게 활용합니다.

2. 제한된 자기 어텐션 (Restricted Self-Attention, RSA):

   • 비디오 토큰과 이미지 토큰이 어텐션 레이어에서 상호작용할 때, 이미지 쿼리 (Query) 가 비디오 키 (Key) 에 어텐션하는 것을 차단합니다.
   • 이는 참조 이미지가 동적인 비디오 콘텐츠에 의해 영향을 받지 않고 (정적 유지), 비디오 토큰이 참조 이미지의 신원 정보를 참조하도록 유도합니다.
   • 이미지 토큰의 QKV 프로젝션에 **LoRA(Low-Rank Adaptation)**를 적용하여 학습 파라미터를 최소화합니다.

3. 조건부 위치 매핑 (Conditional Position Mapping, CPM):

   • 이미지와 비디오 토큰을 구별하기 위해 **3D Rotary Positional Embedding (RoPE)**을 사용합니다.
   • 참조 이미지 토큰은 비디오 토큰과 겹치지 않는 전용 좌표 공간에 할당됩니다.
   • 시간 차원에서는 이미지 토큰을 고정된 인덱스 (-1) 로 설정하여 시간 불변성 (Temporal Invariance) 을 보장하고, 공간 차원에서도 분리된 좌표를 사용하여 사전 학습된 위치 우선순위 (Positional Prior) 를 유지합니다.

4. KV 캐싱 (KV Caching):

   • 조건부 이미지의 타임스텝을 고정 ($s_{ref}=0$) 하여 Key 와 Value 행렬이 변하지 않으므로, 추론 시 이를 캐싱하여 계산 오버헤드를 최소화합니다.

3. 주요 기여 (Key Contributions)

• 초경량 및 고효율: 전체 모델 파라미터의 약 1% 만 추가 학습하고, 2,000 개의 영상 쌍만으로 SOTA(State-of-the-Art) 성능을 달성했습니다.
• 플러그 앤 플레이 아키텍처: 메인 비디오 생성 모델의 구조를 변경하지 않아, 다양한 태스크 (주제 주도 생성, 자세 유도 생성, 스타일 변환, 얼굴 교체 등) 에 쉽게 통합 가능합니다.
• 강력한 일반화: 인간 데이터로만 학습되었음에도 불구하고, 만화 캐릭터나 사물 (예: 테디 베어) 과 같은 비인간 주제에도 제로샷 (Zero-shot) 으로 적용 가능합니다.
• 새로운 아키텍처 설계: 명시적인 얼굴 인코더 없이 VAE 와 제한된 어텐션 메커니즘을 결합하여 신원 보존과 자연스러움을 동시에 달성했습니다.

4. 실험 결과 (Results)

OpenS2V 벤치마크 및 사용자 평가를 통해 기존 방법들과 비교되었습니다.

• 정량적 평가 (Quantitative):

  • 얼굴 유사도 (Face Similarity): 0.724 로 기존 최상위 모델들 (HunyuanCustom: 0.622, VACE-14B: 0.647 등) 을 압도했습니다.
  • 자연스러움 (Naturalness): 3.922 점으로, 신원 보존이 영상 품질을 해치지 않음을 입증했습니다.
  • 프롬프트 팔로잉 (Prompt Following): 오픈소스 방법 중 1 위를 기록했습니다.
  • 파라미터 효율성: 학습해야 할 파라미터가 153M(약 1%) 에 불과하여, 14B 모델 대비 학습 비용이 극도로 낮습니다.

• 정성적 평가 (Qualitative & User Study):

  • 20 명의 참가자를 대상으로 한 사용자 연구에서 얼굴 유사도 (4.10) 와 영상 품질 (4.08) 모두에서 다른 모든 방법보다 높은 점수를 받았습니다.
  • 다양한 인종, 연령대, 그리고 비인간 주제에서도 일관된 신원 유지가 가능함을 시각적으로 증명했습니다.

• 애플리케이션 확장성:

  • 자세 유도 비디오 생성 (Pose-Guided): VACE 프레임워크와 결합하여 얼굴 유사도를 크게 향상시켰습니다.
  • 스타일 변환 (Stylization): 스타일 LoRA 와 결합하여 예술적 스타일을 유지하면서도 얼굴 특징을 보존했습니다.
  • 얼굴 교체 (Face Swapping): 제로샷 인페인팅을 통해 고품질의 얼굴 교체 영상을 생성했습니다.

5. 의의 및 결론 (Significance)

Stand-In 은 고비용의 전체 학습 없이도 고품질의 신원 보존 비디오 생성을 가능하게 하는 경량화 솔루션을 제시합니다. 특히, 제한된 자기 어텐션과 조건부 위치 매핑을 통해 사전 학습된 모델의 강점을 해치지 않으면서도 정밀한 제어를 가능하게 한 점이 혁신적입니다.

이 연구는 생성형 AI 의 실용성을 높여, 영화, 광고, 게임 등 다양한 산업에서 맞춤형 콘텐츠 제작의 장벽을 낮추고, 다른 생성 태스크와의 융합을 촉진한다는 점에서 큰 의의가 있습니다.