기술 요약: Argus – 피사체 보존 비디오 생성을 위한 스택형 다중 뷰 아이덴티티 모자이크 주입(Stacked Multi-View Identity Mosaic Injection)

1. 문제 정의

본 논문은 표준적인 텍스트-투-비디오(text-to-video) 또는 이미지-투-비디오(image-to-video) 합성과는 구별되는 과제인 피사체 보존 비디오 생성(subject-preserving video generation) 문제를 다룹니다. 목표는 단순히 사실적인 움직임을 생성하는 것이 아니라, 다음과 같은 복잡한 변화 속에서도 생성된 피사체가 동일한 특정 개인임을 보장하는 것입니다:

• 큰 뷰포인트 변화 (예: 큰 요(yaw) 각도).
• 얼굴 표정의 변화 및 미세한 움직임.
• 부분적 폐쇄(occlusion) 및 스케일 변화.
• 텍스트 프롬프트, 첫 프레임 조건, 그리고 아이덴티티 참조 간의 충돌.

저자들은 기존 방식들이 **"점 참조 패러다임(point-reference paradigm)"**의 문제를 겪고 있다고 주장합니다. 현재의 접근 방식은 일반적으로 어댑터나 토큰 결합을 통해 단일 정적 이미지나 몇 개의 프레임을 통해 생성을 조건화합니다. 이는 아이덴티티를 포즈, 조명, 액세서리, 배경과 같은 노이즈 변수(nuisance variables)와 얽힌 단일 관측치로 축소시킵니다. 결과적으로 모델은 참조(reference)를 과하게 신뢰하여 원치 않는 세부 사항까지 복제하거나, 반대로 너무 적게 신뢰하여 아이덴티티가 표류(drift)하는 현상을 보입니다. 본 논문은 인간의 아이덴티티가 점이 아닌 **분포(distribution)**이며, 따라서 다양하고 역동적이며 노이즈가 무작위화된 증거에 노출될 필요가 있다고 상정합니다.

2. 방법론

Argus는 Wan 2.1 비디오 파운데이션 모델(Flow Matching으로 학습된 14B 파라미터 Diffusion Transformer)을 기반으로 구축된 프레임워크입니다. 이 모델은 정적 참조 매칭에서 동적 아이덴티티 메모리로 전환하기 위해 세 가지 핵심 구성 요소를 도입합니다.

A. Argus Identity Director (AID)

얼어있는(frozen) 멀티모달 거대 언어 모델(MLLM)(Qwen3-VL)을 활용하는 인지 프런트엔드입니다.

• 기능: 참조 뱅크(이미지 또는 비디오)로부터 가장 정보력이 높은 아이덴티티 증거를 수집하고, 텍스트 프롬프트, 첫 프레임, 아이덴티티 참조 간의 충돌을 해결합니다.
• 선택 전략: 단순히 점수가 높은 프레임을 선택하는 대신, 뷰포인트, 표정, 움직임, 스케일, 조명 등의 축을 따라 다양성을 최적화하는 동시에 중복성과 노이즈 위험을 최소화합니다.
• 출력: 9개의 다양한 아이덴티티 관측치(정적 이미지와 마이크로 클립의 혼합), 충돌을 인지하는 아이덴티티 캡션, 그리고 텍와 첫 프레임 임베딩과 함께 DiT를 조건화하는 글로벌 아이덴티티 기술 벡터($h_D$)를 생성합니다.

B. Stacked Multi-View Identity Injection (SMII)

외부 어댑터 없이 아이덴티티를 모델의 네이티브 토큰 공간에 직접 통합하도록 설계된 핵심 주입 메커니즘입니다.

• 모자이크 구성: 선택된 아이덴티티 관측치들은 $3 \times 3$ 스택형 모자이크로 배열됩니다. 각 셀은 정적 이미지 또는 짧은 마이크로 클립이 될 수 있습니다.
• 디퓨전 동기화 텐서화(Diffusion-Synchronized Tensorization): 깨끗한 참조 토큰을 주입하는 방식과 달리, SMII는 아이덴티티 모자이크를 타겟 비디오와 동일한 Flow Matching 경로에 배치합니다. 아이덴티티 레이턴트는 현재 타임스텝($\sigma_t$)에서 비디오 레이턴트의 노이즈 수준에 맞춰 노이즈가 추가됩니다. 이를 통해 아이덴티티 스트림이 Wan의 패치 임베딩이 학습한 특징 사전(feature prior)과 일치하도록 보장합니다.
• 음수 시간 위치 앵커링(Negative-Time Positional Anchoring): 아이덴티티 토큰에는 음수 시간 좌표(예: $-n$ ~ $-1$)가 할당되어, 첫 프레임($t=0$) 옆의 "프리-비디오 히스토리(pre-video history)"로 위치합니다. 이를 통해 모델이 아이덴티티 증거를 생성된 콘텐츠로 해석하지 않고 참조할 수 있게 합니다.
• 읽기 전용 메모리(Read-Only Memory): 블록 어텐션 마스크를 통해 아이덴티티 토큰은 오직 다른 아이덴티티 토큰에만 어텐션을 수행하며, 비디오 토큰은 두 가지 모두에 어텐션을 수행할 수 있습니다. 이는 참조 메모리가 생성되는 비디오 콘텐츠에 의해 오염되는 것을 방정합니다.

C. 학습 및 가이던스 전략

• No-Cross-Pair 카운터팩추얼 학습: Argus는 고가의 쌍 데이터(동일 피사체의 참조 비디오 + 타겟 비디오)에 의존하지 않습니다. 대신, 배경, 액세서리, 조명, 크롭 등을 무작위화하면서 안정적인 얼굴 아이덴티티는 유지하는 동일 클립 또는 동일 아이덴티티 참조와 강력한 카운터팩추얼 증강을 사용합니다. 이는 모델이 아이덴티티 불변 특징(identity-invariant features)을 학습하도록 강제합니다.
• 시간적 아이덴티티 어닐링(Temporal Identity Annealing, TIA): 디퓨전 시간에 따라 비디오-대-아이덴티티 어텐션을 조절하는 게이팅 메커즘입니다. 이는 디노이징의 "구조적 중간 단계"에 아이덴티티 읽기를 집중시켜, 아이덴티티 주입이 글로벌 레이아웃을 과하게 제약하거나(초기) 얼굴을 과하게 선명하게 만드는 것(후기)을 방지합니다.
• 적응형 자기 유사성 가이던스(Adaptive Self-Likeness Guidance, ASLG): 추론 시, 이 방법은 텍스트 가이던스와 아이덴티티 충실도를 분리합니다. 학습 가능한 스킵 마스크를 통해 "약한 모델(weak model)" 브랜치를 구축함으로써, 시스템이 아이덴티티를 위해 조건부 예측과 무조건부 예측 사이를 보간할 수 있게 하여 아이덴티티 제어가 텍스트 프롬프트를 압도하는 것을 방지합니다.

3. 주요 기여

1. Argus 프레임워크: 점 참조 조건화에서 동적 아이덴티티 메모리로 전환하며, 이미지와 비디오 참조를 모두 수용하는 피사체 보존 비디오 생성 시스템입니다.
2. SMII 모듈: 다중 뷰 증거를 디퓨전 동기화된, 음수 시간의, 읽기 전용 메모리 토큰으로 표현하는 네이티브 주입 메커니즘으로, 깨끗한 참조 토큰 결합 시 발생하는 분포 불일치를 제거합니다.
3. 학습 패러다임: 대규모 노이즈 무작위화를 통해 견고함을 달 achieves 하는 no-cross-pair 카운터팩추얼 학습 전략을 통해, 쌍을 이룬 피사체-비디오 데이터 없이도 성과를 냅니다.
4. 벤치마크 및 지표:
   • HardID-Celeb: 큰 요(yaw), 첫 프레임 폐쇄, 작은 얼굴 조건 하에서의 아이덴티티 보존을 테스트하기 위해 설계된 새로운 공인 인물 벤치마크입니다.
   • YawScore & OccScore: 큰 뷰포인트 변화 및 폐쇄된 첫 프레임 조건에 대한 견고성을 구체적으로 측정하는 새로운 지표입니다.

4. 결과

Argus는 일반 및 스트레스 테스트 벤치마크 모두에서 최첨단(SOTA) 성능을 달성했습니다.

• OpenS2V-Eval Human-Domain: Argus는 총점 64.38을 기록하여 가장 강력한 베이스라인보다 4.18 포인트 향상되었습니다. 또한 FaceSim(71.86), NexusScore(51.62), NaturalScore(79.14)에서도 선두를 달립니다.
• HardID-Celeb: Argus는 스트레스 시나리오에서 베이스라인을 크게 앞질러 FaceSim 76.80을 달성했습니다. 특히, 가장 강력한 베이스라인 대비 YawScore를 12.60 포인트, OccScore를 15.10 포인트 개선하여, 뷰포인트 및 폐쇄 스트레스 상황에서 아이덴티티를 복구하는 탁월한 능력을 입증했습니다.
• Ablation Study: SMII를 제거하고(단순 토큰 결합으로 대체) 총점이 10.52 포인트 하락했습니다. 카운터팩추얼 학습을 2K의 cross-pair 샘플로 대체했을 때 점수가 5.76 포인트 감소하여, 제안된 학습 전략의 효용성을 검증했습니다.

5. 의의 및 주장

본 논문은 동적 아이덴티티 메모리와 대규모 카운터팩추얼 자기 지도 학습이 정적 참조 조건화 및 쌍 데이터 감독의 매우 효과적인 대안임을 주장합니다.

아이덴티티를 단일 정적 점이 아니라 음수 시간 메모리를 통해 접근 가능한 압축된 동적 분포로 재정의함으로써, Argus는 아이덴티티와 노이즈 변수의 얽힘 문제를 해결합니다. 저자들은 이 접근 방식이 정면 얼굴 유사성이나 단일 프레임 어댑터에 의존하는 방법보다 움직임, 표정 변화, 폐쇄 상황에서 익숙한 피사체를 더 효과적으로 인식할 수 있게 한다고 주장합니다. HardID-Celeb과 관련 지표의 출시는 실제 세계의 도전적인 시나리오에서 아이덴티티 보존을 보다 충실하게 평가하는 데 목적이 있습니다.