기술 요약: CoT-Edit: CoT가 지시 기반 비디오 편집을 가이드하게 하라

1. 문제 정의

텍스트 기반의 지시형 비디오 편집은 여러 객체가 공존하거나, 유사한 개체들이 밀집해 있거나, 역동적인 상호작용이 발생하는 복잡한 실제 시나리오에서 상당한 어려움에 직면해 있습니다. 순수하게 텍스트 프롬프트에만 의존하는 방식은 정밀한 공간 관계와 물리적 제약을 포착하지 못해 다음과 같은 문제를 야기합니다:

• 대상 모호성 (Target Ambiguity): 유사한 객체가 여러 개 있을 때 의도한 객체를 선택하는 데 어려움을 겪음 (예: 여러 마리의 개가 있을 때 특정 "노란색 개"를 변경하려는 경우).
• 물리적 비현실성 (Physical Implausibility): 운동 궤적, 크기 변화 또는 접촉 관계를 준수하지 못함 (예: 객체가 불가능한 패턴으로 날아가거나 중력을 무시하는 경우).
• 로컬라이제이션 드리프트 (Localization Drift): 부정확한 공간 그라운딩으로 인해 잘못된 영역에 편집이 적용되거나 시간적 안정성이 결여됨.

기존 방법들은 대규모 데이터셋과 고용량 모델에 의존하여 이러한 제약 조건을 암묵적으로 학습하려고 하지만, 공간적 그라운딩이 불충분한 경우가 많습니다. 또한, 모호한 텍스트만으로 마스크를 생성하면 공간 레이어에 의미론적 불확실성을 전파하여 편집 품질을 저하시킵니다.

2. 방법론: Plan–Guide–Edit 프레임워크

저자들은 Plan(계획), Guide(가이드), **Edit(편집)**의 세 가지 핵심 단계를 통해 고수준의 의미론적 의도와 저수준의 공간적 실행을 명시적으로 연결하는 모듈형 프레임워크를 제안합니다.

3.1. Planner: CoT를 통한 의미론적-공간적 계획

Planner는 CoT(Chain-of-Thought)가 강화된 MLLM(Multimodal Large Language Model)을 활용하여 의미론적-공간적 번역기 역할을 수행합니다. MLLM은 단일 패스 출력을 내보내는 대신, 입력 키프레임과 텍스트 지시에 대해 구조화된 다단계 추론 과정을 수행합니다:

1. 태스크 파싱 및 프레임 간 인지: 편집 의도(예: 추가, 교체)를 식별하고, 카메라 움직임과 객체 움직임을 구분하며 프레임 전반에 걸쳐 객체를 추적합니다.
2. 물리 및 시간적 일관성 모델링: 물리적 제약(중력, 폐쇄, 접촉)과 시간적 연속성(변위, 크기 변화)을 명시적으로 추론하여 운동학적 타당성을 확보합니다.
3. 출력 생성: 두 가지 구조화된 출력을 생성합니다:
   • 시간적 바운딩 박스 시퀀스: 키프레임과 정렬된 정규화된 바운딩 박스 시퀀스($\{b_t\}$)를 생성하여 명시적인 공간 앵커를 제공합니다.
   • 풍부해진 지시문 (Enriched Instruction): 대상 속성, 공간 관계 및 장면 제약이 포함된 확장된 텍스트 설명을 생성합니다.

3.2. Guide: 박스 가이드 마스크 생성

Guide 브랜치는 Planner의 출력을 하드 제약 조건으로 사용하여, 마스크 생성이라는 어려운 글로벌 문제를 로컬 정밀화 문제로 변환합니다.

• 박스 조건부 생성: 바운딩 박스 시퀀스는 하드 제약 조건 역할을 하며, 풍부해진 지시문과 비디오 특징은 소프트 제약 조건 역할을 합니다.
• 시공간 셀프 어텐션 (Spatiotemporal Self-Attention): Editor와 계층적 구조를 공유하며, 셀프 어텐션을 통해 시간적 일관성을 유지하고 크로스 어텐션을 통해 의미론적 및 공간적 사전 정보를 주입합니다.
• 양방향 보정:
  • 리버스 커넥터 (Reverse-Connector): Editor로부터 얻은 고수준의 의미 이해를 Guide로 피드백하여 가는 구조물이나 가려진 영역의 디테일을 복구합니다.
  • 마스크 커넥터 (Mask-Connector): 정제된 마스크 특징을 Editor에 다시 주입하여 저수준의 공간 가이드가 레이어 전반에 걸쳐 유지되도록 합니다.
• 출력: 시간적으로 일관된 이진 마스크 시퀀스($\{M_t\}$)를 생성합니다.

3.3. Editor: 확산 기반 편집

Editor는 확산 백본(Wan2.2 5B)을 사용하여 실제 외관 수정 및 콘텐츠 생성을 실행합니다.

• 다중 조건 융합: Editor는 풍부해진 지시문(Qwen-VL 특징 활용), 정밀한 시공간 마스크, 그리고 원본 비디오 잠재 표현(latent representation)을 통합합니다.
• 크로스 어텐션 메커즘: 특화된 크로스 어텐션 모듈이 MLLM의 조직화된 의미론적 지식과 마스크 특징을 확산 과정에 주입합니다.
• 합성 (Compositing): 마스크 가이드 전략을 적용하여 마스크 영역 내에서만 편집을 엄격히 수행하고 외부 영역은 보존함으로써, 시간적 일관성과 의미론적 충실도를 보장합니다.

학습 전략

프레임워크는 데이터 요구량을 줄이고 안정성을 높이기 위해 2단계 학습 접근 방식을 채택합니다:

1. 모듈형 학습: 혼합된 이미지/비디오 세그멘테이션 및 편집 데이터셋을 사용하여 Mask(Guide)와 Editor 브랜치를 각각 별도로 학습합니다.
2. **결합 학습 (Joint Training): 정밀한 마스크 주석이 포함된 10만 개의 고품질 내부 비디오 편집 쌍 데이터셋을 사용하여 각 브랜치를 공동 학습합니다.

3. 주요 기여

• Plan–Guide–Edit 패러다임: 확산 편집 프로세스가 시작되기 전에 대상을 파싱하고 시공간적으로 위치시키는, 의미론적 의도와 공간적 실행을 분리하는 새로운 프레임워크를 제시합니다.
• CoT 강화 MLLM Planner: 텍스트의 모호성을 선제적으로 해결하고 물리적으로 일관된 공간적 사전 정보(바운딩 박스)와 풍부해진 지시문을 생성하는 추론 모듈입니다.
• 박스 조건부 마스크 예측: 명시적인 공간적 사전 정보를 고품질의 시간적으로 일관된 마스크로 변환하여, 확산 에디터의 부담을 크게 완화하는 메커니즘입니다.
• 양방향 협업: Editor와 Guide가 서로의 출력을 상호 정제할 수 있도록 하는 리버스 커넥터와 마스크 커넥터를 특징으로 하며, 이를 통해 경계 안정성과 물리적 타당성을 향상시킵니다.

4. 실험 결과

저자들은 자동화된 메트릭과 사용자 연구를 모두 사용하여 CoT-Edit를 최신 베이스라인(예: InsV2V, StableV2V, Lucy-1.1, OmniVideo)과 비교 평가했습니다.

• 정량적 성능: CoT-Edit는 다음과 같은 여러 지표에서 최첨단(SOTA) 성능을 달 기록했습니다:
  • 시각적 품질: 개선된 FVD (1015.67 vs. 베이스라인 >1400), 시간적 일관성(TC), 움직임 부드러움(MS), 미적 가치(AES).
  • 지시 이행 능력: 높은 CLIPScore 및 물리적 타당성, 공간 관계, 전반적인 편집 품질에 대한 Gemini 평가 점수.
  • 공간 추론: 유사한 다수의 객체가 포함된 복잡한 지시 및 물리 법칙(예: 포물선 운동)을 처리하는 데 있어 눈에 띄는 이득을 보였습니다.
• 정성적 개선: 시각적 비교를 통해 우수한 대상 로컬라이제이션, 편집되지 않은 영역의 더 나은 보존, 그리고 텍스트 전용 방식이 실패했던 물리적으로 타당한 움직임(예: 튀어 오르는 공) 생성 능력을 입증했습니다.
• 어블레이션 연구 (Ablation Studies):
  • CoT: Chain-of-Thought 추론을 제거했을 때 물리적으로 타당한 운동 궤적 생성에 실패했습니다. 연구에서는 Qwen3-VL-32B와 Gemini 2.5 Pro(CoT 유무 포함) 변형을 비교하여 효과를 검증했습니다.
  • 마스크 브랜치: 마스크 브랜치와 양방향 커넥터의 포함은 공간 로컬라이제이션 및 지시 이행 점수를 크게 향상시켰습니다. 연구에서는 Editor 브랜치 내의 지시 강화 모듈로서 Qwen3-VL-8B를 사용하는 구성을 비교했습니다.

5. 의의 및 주장

본 논문은 Co-T-Edit의 주요 의의가 구조화된 계획을 통해 신뢰할 수 있는 의미론적-공간적 연결을 구축했다는 데 있다고 주장합니다. 생성 전 단계에서 공간적 제약과 물리적 사전 정보를 명시적으로 모델링함으로써, 프레임워크는 다음을 달성합니다:

• 로컬라이제이션과 생성의 분리: 확산 모델의 공간적 그라운딩 부담을 덜어줌으로써 생성 작업을 단순화하고 대규모 정렬 데이터셋에 대한 필요성을 줄입니다.
• 물리적 일관성 보장: 크기, 운동학 및 접촉 관계에 대한 명시적 추론을 통해 객체 드리프트나 불가능한 물리 현상과 같은 일반적인 실패 모드를 방지합니다.
• 효율성 및 안정성 향리: 모듈형 단계별 학습 접근 방식은 각 구성 요소의 학습 목표를 명확히 하여, 엔드투엔드 텍-투-비디오 편집 모델에 비해 더 안정적인 학습과 효율적인 추론을 가능하게 합니다.

저자들은 이 접근 방식이 고수준의 자연어 지시와 저수준의 픽셀 단위 실행 사이의 결정적인 간극을 메워, 정밀하고 물리적으로 일관되며 시간적으로 일관된 비디오 편집을 가능하게 한다고 결론짓습니다.