기술 요약: Goku: 명령 기반 비디오 편집을 위한 백만 규모의 유니버설 데이터셋 및 벤치마크

1. 문제 정의

기존의 명령 기반 비디오 편집(Instruction-Based Video Editing, IVE) 데이터셋과 모델은 주로 단일 작업 외형 편집(예: 객체 제거, 속성 교체 또는 스타일 전이)에 국한되어 있습니다. 이들은 다음과 같은 실제 환경의 복잡하고 다면적인 요구 사항을 해결하지 못합니다:

• 구조적 조작: 피사체의 움직임 및 카메라 움직임에 대한 정밀한 제어.
• 멀티태스크 편집: 여러 가지 편집 명령(예: 객체를 추가하면서 동시에 스타일을 변경)의 동시 실행.
• 참조 가이드 편집: 포즈나 조명 변화가 포함된 사용자 제공 참조 이미지를 기반으로 한 편집.

현재의 데이터셋은 종종 협소한 작업 정의, 낮은 품질이나 정적인 샘플을 초래하는 불충분한 필터링 엄격성, 그리고 이러한 복잡한 구조적 및 멀티태스크 역량을 평가할 수 있는 벤치마크의 부재라는 문제를 안고 있습니다.

2. 방법론

본 논문은 대규모 데이터셋(Goku), 강력한 데이터 합성 파이프라인, 새로운 편집 모델(Goku-Edit), 그리고 엄격한 벤치마크(Goku-Bench)로 구성된 종합적인 솔루션을 제안합니다.

A. Goku 데이터셋 (2백만 쌍)

Goku는 2백만 개의 비디오 편집 쌍을 포함하는 고품질의 명령 정렬 데이터셋입니다. 이는 IVE의 범위를 다음과 같이 확장합니다:

• 기본 편집: 추가(Add), 제거(Remove), 교체(Swap), 변경(Alter), 스타일 전이(Style Transfer).
• 구조적 편집: 피사체 움직임(동작/위치 변화) 및 카메라 움직임(팬, 줌 등).
• 복합 편집: 멀티태스크 편집(2~5개 작업 동시 수행) 및 참조 기반 편집.

데이터 합성 파이프라인:
이러한 규모의 데이터를 유지하면서도 의미론적 정밀도와 시간적 일관성을 확보하기 위해, 저자들은 자동화된 파이프라인을 설계했습니다:

1. 전처리: 미적 점수, 모션 분석 및 OCR 기반 워터마크 제거를 통해 Koala-36M에서 1백만 개의 고품질 클립을 선별했습니다.
2. 명령 생성: Gemini2.5-Pro(MLLM)를 활용하여 다양하고 구조화된 편집 명령을 생성하고 조작 가능한 객체를 식별했습니다.
3. 작업별 생성:
   • 외형(Appearance): 교체/변경을 위해 VACE를 사용하였고, 삽입을 위해 이중성 접근 방식(제거 $\to$ 역할 교체 $\to$ 추가)을 사용했습니다.
   • 스타일 전이(Style Transfer): 첫 프레임을 스타일링(Flux)하고, 깊이 맵(depth maps)을 추출한 뒤, 시간적 일관성을 보장하기 위해 VACE를 통해 스타일을 전파하도록 분해되었습니다.
   • 구조적(Structural): 복잡한 작업을 분해했습니다. 피사체 움직임의 경우, 동작 변화에는 Wan2.2를 사용하였고, 위치 변화에는 Flux(프레임 수준 이동)와 Wan2.2(비디오 생성)를 결합하여 사용했습니다. 카메라 움직임에는 RecamMaster를 활용했습니다.
   • 멀티태스크(Multi-Task): 단일 작업 편집의 순차적 체인으로 실행되었습니다.
4. 점진적 필터링 시스템: Gemini2.5-Pro와 기하학적 검증을 통한 3단계 품질 관리 시스템을 운영합니다:
   • 1단계: 소스 비디오 필터링 (미학, 모션, 워터마크).
   • 2단계: 조건 검증 (마스크 IoU, 명령과 타겟 간의 의미론적 일관성).
   • 3단계: 합성 후 검증 (프레임 간 일관성, 주파수 아티팩트, 광도 실사성). 이 단계는 고충실도를 보장하기 위해 합성된 샘플의 약 88%를 필터링합니다.

B. Goku-Edit 모델 아키텍처

Goku-Edit는 복잡한 명령과 구조적 제어를 처리하도록 설계된 듀얼 브랜치 프레임워크입니다:

1. 듀얼 브랜치 설계:
   • 메인 브랜치(Main Branch): 텍스트, 소스 비디오, 참조 이미지를 조건으로 편집된 비디오($V_e$)를 생성합니다.
   • 보조 브랜치(Auxiliary Branch): 공간적 근거(spatial grounding)를 제공하기 위해 편집 마스크($M$)를 예측합니다. 이는 소스 비디오의 공간적으로 다운샘플링된 버전을 기반으로 작동합니다.
   • 인코더(Encoder): 두 브랜치 모두 복잡한 명령에 대한 의미론적 이해를 높이기 위해 고정된 멀티모달 대규모 언어 모델(MLLM)(Qwen3VL-8B)을 텍스트 인코더로 사용합니다.
2. RoPE 정렬 공간 교차 주의 집중(RoPE-Aligned Spatial Cross-Attention):
   • 고해解 비디오 브랜치와 저해解 마스크 브랜치($1/n$ 해상도) 사이의 공간적 불일치를 해결하기 위해, 저자들은 RoPE 계산 전 마스크 브랜치의 위치 인덱스를 인수 $n$만큼 스케일링하는 방식을 제안합니다.
   • 이를 통해 마스크 토큰을 통일된 물리적 좌표계에 매핑하여, 거시적 오프셋을 제거하고 국부성 편향(locality bias)을 보존합니다.
   • 양방향 주의 집중(Bidirectional Attention): 마스크-투-비디오(M2V)와 비디오-투-마스크(V2M) 어텐션을 모두 포함합니다. V2M은 마스크 브랜치가 메인 브랜치의 진화하는 상태를 바탕으로 예측을 정교화할 수 있게 하여 경계 불일치를 방지합니다.
3. 공간 강화 CFG (Spatial Enhanced CFG, SpatialCFG):
   • 교차 브랜치 간의 공간적 제약을 증폭하는 훈련 불필요(training-free) 추론 전략입니다.
   • 이는 결합된 예측(교차 주의 집중 포함)과 분리된 베이스라인(null latents 사용)을 대조하여, 마스크 브랜치에 의해 주입되는 공간 신호를 격리하고 증폭합니다.
   • 이를 통해 추가 학습 없이도 편집 스필오버(spillover)를 억제하고 경계 일관성을 개선합니다.

C. Goku-Bench

다양한 피사체, 장면, 작업 난이도(저조도 및 빠른 움직임 포함)를 다루는 1,000개의 인간 검증 테스트 케이스를 특징으로 하는 종합 벤치마크입니다.

• 지표: 7가지 편집 특화 지표를 포함합니다:
  1. 물리 법칙 충실도 (Physical Rule Fidelity, PR): 현실 세계의 물리 법칙 준수 여부.
  2. 공간 관계 정확도 (Spatial Relationship Accuracy, SR): 올바른 공간적 배치.
  3. 명령 준수 (Instruction Following, IF): 멀티태스크 실행의 완결성.
  4. 전반적인 편집 품질 (Overall Editing Quality, EQ): 시각적 자연스러움 및 일관성.
  5. 피사체 모션 (Subject Motion, SuM): 피사체 궤적의 사실성.
  6. 카메라 모션 (Camera Motion, CM): 카메라 움직임 유형의 정확도.
  7. 스타일 전이 (Style Transfer, ST): 스타일 정확도를 위한 특징 유사성.

3. 주요 결과

Goku-Bench에서 평가했을 때, Goku-Edit는 기존의 오픈 소스 모델(예: LucyEdit, InsViE, Omni-Video)보다 유의미한 개선을 보였으며 상용 모델(Runway Gen-4, Luma Ray3)과도 유리하게 경쟁합니다.

• 명령 준수: 다른 오픈 소스 모델 대비 최대 8%의 향상을 달성했습니다.
• 구조적 및 멀티태스크 성능: PR(물리 법칙 충실도), SR(공간 정확도), SuM(피사체 모션), CM(카메라 모션)에서 베이스라인을 크게 압도하며, 복잡한 구조적 작업을 학습시키기 위한 데이터셋의 효용성을 입증했습니다.
• 절제 연구 (Ablation Studies):
  • 데이터 품질: 필터링된 Goku 데이터로 학습된 모델이 필터링되지 않은 데이터나 기존 데이터셋(InsV2V, InsViE)으로 학습된 모델보다 성능이 현저히 높았으며, 이는 점진적 필터링 시스템의 가치를 확인시켜 줍니다.
  • 아키텍처: MLLM 인코더, 듀얼 브랜치 설계, RoPE 정렬 또는 SpatialCFG를 제거할 경우 특히 공간 정확도와 명령 준수 측면에서 측정 가능한 성능 저하가 발생했습니다.
  • 다운샘플링 인수: 텍스처 디테일과 구조적 신호 사이의 균형을 맞추기 위한 최적의 다운샘플링 인수가 $n=4$임을 발견했습니다.
• 사용자 연구: Goku-Edit는 명령 준수, 비디오 품질, 시간적 일관성 측면에서 모든 방법론 중 1위를 차지했습니다.

4. 의의 및 주장

본 논문은 Goku가 단순한 속성 변경을 넘어 멀티태스크 및 구조적 조작으로 나아감으로써 명령 기반 비디오 편집의 패러다임 전환을 나타낸다고 주장합니다.

• 데이터셋 기여: 구조적 변형(피사체/카메라 움직임)과 멀티태스크 편집을 명시적으로 다루는 최초의 백만 규모 데이터셋으로서, 현재의 IVE 연구의 핵심 공백을 메웁니다.
• 방법론적 기여: 제안된 Goku-Edit 아키텍처는 구조적 제어(마스크 브랜치)를 외형 렌더링(메인 브랜치)으로부터 분리하고, MLLM 기반 추론 및 공간 정렬을 결합하는 것이 고충실도 복합 편집에 필수적임을 보여줍니다.
• 벤치마크 기여: Goku-Bench는 물리적 타당성과 공간적 추론을 구체적으로 겨냥하는 지표를 도입함으로써 새로운 평가 표준을 확립하였으며, 이는 기존에 간과되었던 부분입니다.

저자들은 본 연구가 현재의 생성형 AI 능력과 실제 비디오 제작의 복잡하고 창의적인 요구 사항 사이의 간극을 메우기 위해 필요한 데이터, 모델 및 평가 프레임워크를 제공한다고 결론짓습니다.