기술 요약: Smart-Insertion-V

문제 정의

본 논문은 사용자가 제공한 공간 마스크 없이 원시 참조 객체를 소스 비디오에 매끄럽게 통합하는 작업인 마스크 없는 비디오 객체 삽입의 과제를 다룹니다. 최근 확산 기반 비디오 생성 모델이 크게 발전했음에도 불구하고, 기존 방법들은 참조 객체가 소스 장면과 비교하여 심각한 스타일적 도메인 간격 (예: 조명, 질감, 또는 예술적 스타일) 을 보일 때 어려움을 겪습니다.

현재 접근 방식은 각각 고유한 한계를 가진 세 가지 범주로 나뉩니다:

1. 명시적 공간 안내: 사용자가 정의한 마스크나 제어점에 의존하는 방법은 주석 작업의 부담을 초래하며, 종종 장면 맥락에 대한 추론에 실패하여 객체의 속성 (크기, 원근감) 이 비현실적으로 나타납니다.
2. 마스크 없는 방법: 수동 주석을 제거하지만, 원시 참조가 대상 비디오에 스타일을 적응시키기 위한 명시적 제약 없이 처리되므로 문맥적 불협화음을 생성하는 경향이 있습니다.
3. 연쇄 전략: 먼저 참조 이미지를 편집한 후 이를 비디오에 삽입하는 파이프라인은 오류 누적에 시달립니다. 초기 편집 단계에서 발생한 아티팩트나 부정확한 스타일 적응이 비디오 생성 과정에서 전파되어 증폭되며, 시간적 일관성과 시각적 품질을 저하시킵니다.

핵심 과제는 참조 도메인과 소스 도메인이 시각적으로 양립할 수 없을 때, 공간적 타당성, 스타일적 조화, 그리고 시간적 일관성을 동시에 달성하는 것입니다.

방법론: Smart-Insertion-V

저자들은 비디오 삽입과 이미지 스타일 전환을 동시에 수행하도록 설계된 엔드 - 투 - 엔드 이중 스트림 프레임워크인 Smart-Insertion-V를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소를 통합합니다:

1. 폐쇄 루프 피드백을 갖춘 이중 스트림 프레임워크

이 프레임워크는 두 개의 병렬 스트림으로 구성됩니다:

• 이미지 스트림: 소스 비디오의 첫 번째 프레임 ($V^0_{src}$) 과 원시 참조 ($I_{ref}$) 를 기반으로 스타일이 조화된 참조 이미지 ($\hat{I}_{tar}$) 를 합성합니다. 이 스트림은 원시 참조에서 대상 환경으로의 스타일 전환 추세를 포착합니다.
• 비디오 스트림: 소스 비디오, 원시 참조, 그리고 이미지 스트림에서 생성된 중간 특징을 조건으로 하여 핵심 삽입 작업을 수행합니다.

폐쇄 루프 피드백: 추론 과정에서 프레임워크는 피드백 메커니즘을 사용합니다. 이미지 스트림은 1 단계 추정치 ($\hat{x}^{onestep}_0$) 를 생성하며, 이는 비전 - 언어 모델 (VLM) 분기에 의해 분석되어 스타일적 또는 공간적 결함을 식별합니다. VLM 은 초기 예측을 대체하는 정제 안내 임베딩을 생성하여 두 스트림이 생성 경로를 반복적으로 정제할 수 있도록 합니다.

2. 분리된 안내 모듈 (DGM)

시간적 역동성을 희생하지 않으면서 공간 인식과 스타일 차이를 해결하기 위해, DGM 은 두 개의 서로 다른 분기를 활용합니다:

• VLM 추론 분기: 비전 - 언어 모델 (MLP 를 통해 적응됨) 은 장면의 공간적 배치, 조명, 스타일을 이해합니다. 이는 거친 텍스트 지시를 기반으로 참조 객체에 필요한 조정 (크기, 방향, 위치) 을 추론합니다.
• 네이티브 텍스트 분기: 일반 비디오 설명을 처리하고 특히 운동 안내와 시간적 사전 지식을 보존하는 데 중점을 두어 네이티브 T5 텍스트 인코더를 유지합니다.
  이러한 분리는 공간 - 스타일 추론이 모델의 일관된 운동 역동성 유지 능력과 간섭하지 않도록 보장합니다.

3. 이중 세계 뷰 RoPE (Dual-RoPE)

특징 얽힘과 스타일 누출(삽입된 객체의 스타일이 편집되지 않은 영역을 손상시키는 현상) 을 방지하기 위한 핵심 혁신은 이중 세계 뷰 회전 위치 임베딩입니다.

• 메커니즘: 높은 훈련 오버헤드를 수반하는 작업 지시 차원을 추가하거나 조건을 추가 프레임으로 처리하는 대신, Dual-RoPE 는 서로 다른 입력에 대해 고유한 공간 - 시간 오프셋을 적용합니다.
• 구현: 대상 잠재 변수는 0 오프셋 위치에 고정됩니다. 강한 조건 (예: 소스 비디오, 대상 참조) 은 공간적으로 (너비 축을 따라) 오프셋되고, 약한 조건 (예: 원시 참조) 은 시간적으로 오프셋됩니다. 이는 특징 공간을 격리하여 모델이 높은 계산 비용 없이 다양한 조건 신호를 효율적으로 처리할 수 있게 합니다.

데이터 큐레이션

원시에서 조화된 객체 삽입을 위한 쌍 데이터의 부족을 인식하여, 저자들은 확장 가능한 데이터 큐레이션 파이프라인을 개발했습니다:

1. 소스: 방대한 오픈 소스 텍스트 - 비디오 데이터셋을 활용합니다.
2. 합성: 제거 가능한 객체를 식별하고, 인페인팅을 통해 이를 제거하며, 제거된 객체에 무작위 스타일 전환을 적용하여 심각한 도메인 간격을 가진 "원시" 참조를 생성함으로써 훈련 쿼드플릿 (소스 비디오, 대상 비디오, 원시 참조, 조화된 참조) 을 자동으로 생성합니다.
3. 검증: 엄격한 이중 검증 메커니즘(에이전트에 의한 자동 점수 매기기) 이 합성된 데이터를 필터링하여 소스, 대상, 참조 상태 간의 높은 품질과 엄격한 정렬을 보장합니다.

실험 결과

이 방법은 네 가지 베이스라인 (TeleOmni, UniVideo, UniVideo-Q, VACE) 과 그들의 연쇄 변형에 대해 평가되었습니다.

• 정량적 성능: Smart-Insertion-V 는 다음을 포함한 모든 지표에서 모든 베이스라인을 능가했습니다:
  • FVD (Fréchet Video Distance): 1.055 (낮을수록 좋음), 다음으로 좋은 베이스라인인 1.189 와 비교.
  • Video-LPIPS: 0.125 (낮을수록 좋음).
  • Harmonic Score: 0.842 (높을수록 좋음), 다음으로 좋은 점수인 0.693 을 크게 능가.
• 정성적 성능: 시각적 비교는 우수한 객체 스타일 조화와 공간적 타당성을 보여줍니다. 주변 객체를 왜곡하거나 객체의 스타일을 적응시키지 못하는 베이스라인과 달리, Smart-Insertion-V 는 편집되지 않은 영역의 무결성을 유지하면서 객체를 매끄럽게 통합합니다.
• 어블레이션 연구: 이중 스트림 설계, 피드백 메커니즘, 또는 Dual-RoPE 를 제거하면 측정 가능한 성능 저하가 발생하여 각 구성 요소의 필요성을 확인했습니다.

중요성과 주장

본 논문은 Smart-Insertion-V가 다음과 같은 방식으로 마스크 없는 비디오 편집의 새로운 패러다임을 확립한다고 주장합니다:

1. 도메인 간격 해결: 동시 스타일 전환과 삽입을 통해 원시이며 스타일적으로 양립할 수 없는 참조를 비디오에 성공적으로 통합.
2. 엔드 - 투 - 엔드 견고성: 단일 프레임워크에서 작업을 통합하여 연쇄 파이프라인에 내재된 오류 누적을 제거.
3. 효율적인 특징 분리: 이전 방법들과 관련된 무거운 훈련 오버헤드 없이 복잡한 조건 신호를 처리하기 위해 Dual-RoPE 도입.
4. 데이터 확장성: 이 특정 작업에 대한 데이터 격차를 해소하기 위한 확장 가능한 파이프라인과 고품질 오픈 소스 데이터셋 제공.

저자들은 그들의 접근 방식이 공간적 추론, 스타일적 적응, 그리고 시간적 일관성을 효과적으로 균형 잡음으로써 지금까지 가장 조화로운 삽입 결과를 달성했다고 결론지었습니다.