기술 요약: MiVE (참조 안내 비디오 편집을 위한 다중 스케일 비전 - 언어 특징)

1. 문제 정의

본 논문은 참조 안내 비디오 편집을 다루며, 이 작업은 소스 비디오 ($x_{src}$), 텍스트 지시 ($x_{text}$), 참조 이미지 ($x_{ref}$) 라는 세 가지 입력을 기반으로 편집된 비디오 시퀀스를 생성해야 합니다. 참조 이미지는 일반적으로 소스 비디오의 첫 번째 프레임으로, 원하는 변경 사항을 반영하기 위해 외부 이미지 편집 모델을 통해 수정된 형태입니다.

핵심적인 과제는 두 가지 상충되는 목표를 균형 있게 달성하는 데 있습니다:

1. 신뢰할 수 있는 전파: 모델은 참조 이미지에 명시된 시각적 속성과 외관 변경 사항을 비디오의 모든 프레임에 걸쳐 정확하게 전파해야 합니다.
2. 무결성 유지: 모델은 참조 이미지에서 가려진 영역에서도 소스 비디오의 원래 운동 역학, 의미적 무결성, 그리고 편집되지 않은 콘텐츠를 유지해야 합니다.

기존 방법들은 다중 모달 융합에서 한계를 겪고 있습니다:

• 분리된 인코더: 텍스트 (예: T5) 와 비전 (예: SigLIP) 에 대해 별도의 인코더를 사용하는 접근 방식은 모달리티 간격으로 인해 고생합니다. 여기서 후속 단계의 교차 주의 (cross-attention) 는 지시 사항과 시각적 콘텐츠 사이의 의미적 격차를 극복하지 못합니다.
• 단일 계층 출력을 가진 통합 인코더: 통합 인코더로 사용되는 최근의 비전 - 언어 모델 (VLM, 예: Kling O1) 은 일반적으로 최종 계층 표현에만 의존합니다. 저자들은 이것이 정밀한 편집에 필수적인 세밀한 공간적 세부 정보를 버린다고 관찰합니다. 왜냐하면 깊은 계층은 전역적 의미를 인코딩하는 반면, 초기 계층은 국소화된 공간 구조를 포착하기 때문입니다.

2. 방법론: MiVE

저자들은 MiVE를 제안하며, 이는 VLM 을 다중 스케일 특징 추출기로 재사용하고 이를 통합된 자기 주의 (self-attention) 확산 트랜스포머 (DiT) 에 통합하는 프레임워크입니다. 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 다중 스케일 컨텍스트 추출

VLM 계층이 계층적으로 보완적인 정보를 인코딩한다는 관찰에 영감을 받아, MiVE 는 사전 훈련된 VLM (구체적으로 Qwen3-VL-8B) 의 첫 번째 계층과 마지막 계층 모두에서 특징을 추출합니다.

• 진단적 통찰: 교차 모달 주의 분석을 통해 저자들은 초기 VLM 계층이 인간 실루엣과 같은 공간적 세부 사항을 정확하게 국소화하는 반면, 최종 계층은 전체적인 의미를 포착함을 입증했습니다.
• 구현: 첫 번째 계층 ($\phi_1$) 과 마지막 계층 ($\phi_L$) 의 특징은 경량 어댑터를 통해 DiT 잠재 공간으로 투영됩니다. 이러한 다중 수준 특징은 연결되고 융합되어 소음 제거 과정 전반에 걸쳐 의미적 앵커로 작용하는 정적 조건부 토큰 ($c$) 을 생성합니다.

B. 참조 인식 잠재 인코딩

구조적 무결성을 유지하면서 생성을 참조 외관에 고정하기 위해, 이 방법은 소스 비디오, 대상 비디오, 참조 이미지를 사전 훈련된 VAE 를 사용하여 공유 잠재 공간으로 인코딩합니다.

• 입력 구성: 훈련 및 추론 동안 모델은 "노이즈가 있는 대상" 브랜치와 "제어" 브랜치를 채널 차원을 따라 연결하여 통합된 입력을 구성합니다.
• 앵커링: 깨끗한 참조 잠재 ($z_{ref}$) 는 두 브랜치 모두에 선행됩니다. 이는 확산 과정 전반에 걸쳐 모델이 일관된 외관 앵커를 유지하도록 보장하여 참조 스타일의 이탈을 방지합니다.

C. 통합 자기 주의 백본

모달리티를 별도의 교차 주의 브랜치를 통해 융합하는 분리된 아키텍처와 달리, MiVE 는 조건부 컨텍스트 ($c$) 와 시각적 잠재 토큰 ($v$) 을 포함한 모든 토큰을 단일 통합 자기 주의 매니폴드 내에서 처리합니다.

• 메커니즘: 조건부 토큰과 시각적 토큰은 단일 시퀀스 $u^{(0)} = [c; v]$로 연결됩니다.
• 적응형 변조: 모델은 토큰별 적응형 레이어 정규화 (AdaLN) 를 사용합니다. "깨끗한" 토큰 (컨텍스트 및 참조 패치) 은 완전히 소음 제거된 ($t=0$) 상태로 변조되어 안정적인 앵커로 작용하는 반면, "노이즈가 있는" 토큰 (남은 비디오 패치) 은 현재 시간 단계에 따라 변조됩니다.
• 이점: 이 설계는 교차 주의 설계에 내재된 모달리티 불일치를 제거하여, 공유 공간 내에서 세밀한 공간적 세부 사항과 전역적 의미적 컨텍스트의 양방향 융합 및 깊은 통합을 가능하게 합니다.

3. 주요 기여

1. 다중 스케일 특징 추출: 본 논문은 VLM 의 계층적 특성을 식별하고 활용하여, 초기 (공간적) 및 후기 (의미적) 계층에서 보완적인 특징을 추출함으로써 세부 사항 보존과 지시 준수 사이의 트레이드오프를 해결합니다.
2. 통합 자기 주의 아키텍처: MiVE 는 조건부 토큰과 시각적 토큰을 공동으로 처리하는 통합 토큰 모델링 방식을 도입하여 비대칭 교차 주의의 한계를 피하고 더 나은 모달리티 정렬을 촉진합니다.
3. 참조 인식 잠재 인코딩: 이 방법은 참조 프레임을 노이즈가 있는 브랜치와 제어 브랜치 모두에 선행하는 특정 잠재 연결 전략을 사용하여, 명시적인 분할 마스크 없이도 안정적인 외관 전파를 보장합니다.

4. 실험 결과

저자들은 60 개의 비디오 (720p) 로 구성된 큐레이션 벤치마크에서 MiVE 를 평가했으며, 이는 단순 하위 집합(국소화된 편집) 과 복잡한 하위 집합(전체적인 장면 변환, 빠른 운동, 가림) 으로 나뉩니다.

• 정량적 성능:
  • 자동 평가: 지시 준수, 콘텐츠 일관성, 시간적 부드러움, 물리적 사실성, 시각적 미학, 스타일 일관성 등 여섯 가지 차원에서 Gemini-3-Flash 를 사용하여 평가한 결과, MiVE 는 복잡한 하위 집합에서 모든 차원에서 최고 점수를 기록했으며, 단순 하위 집합에서는 1 위 또는 2 위를 차지했습니다.
  • 인간 선호도: 30 명의 참가자가 참여한 사용자 연구에서 MiVE 는 두 하위 집합 모두에서 인간 선호도에서 가장 높은 순위를 차지했으며, 주요 학술 방법 (VACE, LucyEdit, VideoCof, Wan-Animate) 과 상용 시스템인 Kling O1 을 능가했습니다.
• Ablation 연구:
  • 아키텍처: 통합 자기 주의를 분리된 인코더나 교차 주의 메커니즘으로 대체하면 성능이 크게 저하되어 통합 매니폴드의 필요성을 입증했습니다.
  • 계층 선택: 초기 계층만 사용하거나 후기 계층만 사용하는 것은 "첫 번째 + 마지막" 결합 접근법보다 열악한 결과를 낳아 다중 스케일 추출의 이점을 확인시켰습니다.

5. 중요성과 주장

본 논문은 MiVE 가 참조 안내 비디오 편집에 있어 최첨단 접근법임을 주장합니다. 그 중요성은 다음과 같습니다:

• 모달리티 간격 극복: 조건부 토큰과 시각적 토큰을 자기 주의 매니폴드 내에서 통합함으로써, 모델은 이전의 분리되거나 교차 주의 기반 접근법보다 더 깊은 교차 모달 추론을 달성합니다.
• 정확성과 의미의 균형: 다중 스케일 추출 전략은 (정체성과 질감에 필수적인) 세밀한 공간적 세부 사항을 보존하는 것과 전역적 의미 지시를 이해하는 것 사이의 긴장을 성공적으로 해결합니다.
• 실용적 적용성: 이 방법은 명시적인 분할 마스크 없이 작동하므로, 정확한 마스크를 얻기 어렵거나 불가능한 복잡한 편집 시나리오에 적합합니다.

저자들은 MiVE 를 영화 포스트 프로덕션, 콘텐츠 제작, 시각 효과 분야의 응용을 위한 강력한 솔루션으로 위치시키면서, 오용 (예: 딥페이크) 가능성과 책임 있는 사용 및 탐지 메커니즘의 필요성을 인정합니다.