기술 요약: Aurora – 도구 활용 에이전트를 통한 통합 비디오 편집

1. 문제 제기

최근 통합 비디오 편집 모델들은 단일 확산 트랜스포머가 텍스트 지시, 원본 비디오, 참조 이미지 (또는 마스크) 를 함께 소비하여 교체, 제거, 스타일 전환, 삽입 등 다양한 작업을 수행하도록 설계되는 방향으로 수렴해 왔습니다. 유연하지만, 이 아키텍처는 사용자가 모델 준비가 된 조건 입력 (정확한 텍스트, 시각적 패턴을 위한 특정 참조 이미지, 국소 편집을 위한 공간 마스크) 을 제공한다고 가정합니다.

실제로는 원시 사용자 요청이 두 가지 축을 따라 미세명세 (underspecification) 의 문제를 겪는 경우가 많습니다:

1. 시각적 미세명세: 사용자가 특정 개체나 패턴 (예: "버버리 체크 스카프" 또는 "가나가와 앞의 거대한 파도") 을 언급하지만 참조 이미지를 제공하지 않는 경우.
2. 텍스트적 미세명세: 편집이 간접적으로 설명되는 경우 (예: "파란색 물건을 훨씬 더 빠르게 달리는 차량으로 변경"), 모델이 구체적인 목표를 추론해야 하는 경우.

현재의 통합 모델들은 생성이 시작되기 전에 이러한 누락된 조건을 추론하거나, 근거를 마련하거나, 채워 넣을 수 있는 메커니즘이 부족합니다. 이로 인해 모델이 활용할 수 있는 풍부한 조건 채널과 사용자가 제공하는 불완전한 정보 사이에 간극이 발생합니다.

2. 방법론: Aurora 프레임워크

Aurora 는 조건 구성과 비디오 생성을 분리함으로써 이 간극을 해소합니다. 도구 강화 비전 - 언어 모델 (VLM) 에이전트와 통합 비디오 확산 트랜스포머 (DiT) 를 짝지어 에이전트 프레임워크를 도입합니다.

2.1 VLM 에이전트 (조건 구성)

에이전트는 LoRA 파인튜닝된 Qwen3-VL-8B-Instruct로 구현되어 전처리기로 작동합니다. 원본 비디오 ($V_{src}$), 원시 사용자 지시 ($y$), 그리고 선택적 사용자 참조 ($R$) 를 입력받아 구조화된 편집 계획을 생성합니다:
$$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$$
여기서:

• $y'$ (재작성된 지시): 텍스트적 미세명세를 해결하는 표준화된, 모델 준비가 된 지시.
• $c$ (작업 라벨): 라우팅에 사용되는 정형화된 편집 유형 (예: replace_object, remove_object).
• $q$ (이미지 검색 쿼리): 참조 이미지가 누락된 경우 웹 이미지 검색 도구 (Serper API 를 통해) 를 트리거하기 위한 선택적 쿼리.
• $m$ (마스크 구문): 공간적 근거가 누락된 경우 분할 도구 (GroundingDINO + SAM) 를 트리거하기 위한 선택적 구문.

도구 실행:
$q$ 또는 $m$이 비어있지 않은 경우, 에이전트는 외부 도구를 호출합니다:

• 이미지 검색: 후보 이미지를 검색하고 가장 관련성 높은 이미지를 선택합니다.
• 분할: 대상 영역에 대한 마스크를 생성하고 이를 원본 비디오에 합성합니다.

최종 출력은 통합 조건 튜플 $\mathbf{x} = (y', V_{src}, R^+)$이며, 여기서 $R^+$에는 원래 사용자 참조와 검색된 이미지 또는 마스크 처리된 이미지가 포함됩니다. 작업 라벨 $c$는 계획 단계에서 사용되지만 비디오 모델에는 입력되지 않습니다.

2.2 비디오 DiT (비디오 생성)

비디오 생성 백본은 Wan2.2-TI2V-5B를 기반으로 구축된 통합 확산 트랜스포머 (DiT) 입니다. 이 모델은 두 경로를 통해 조건 튜플 $\mathbf{x}$를 소비합니다:

1. 멀티모달 컨텍스트 경로: 고정된 Qwen3.5-4B 인코더가 재작성된 지시 ($y'$), 샘플링된 원본 프레임, 그리고 참조 이미지 ($R^+$) 를 처리하여 교차 주의를 위한 공유 멀티모달 컨텍스트 ($T_{ctx}$) 로 변환합니다.
2. 잠재 토큰 경로: 노이즈가 있는 비디오 토큰, 원본 토큰, 그리고 참조 토큰이 토큰 시퀀스 차원을 따라 연결됩니다.
   • 제로 타임스텝 변조: 편집되지 않은 내용과 참조 정체성을 보존하기 위해, 원본 및 참조 토큰은 제로 타임스텝 임베딩 ($a(0)$) 으로 변조되는 반면, 노이즈 토큰은 표준 흐름 매칭 궤적 ($a(t)$) 을 따릅니다. 이를 통해 비디오가 노이즈 제거되는 동안 조건 토큰은 고정되도록 보장합니다.

2.3 학습 목표

• 비디오 DiT: 이미지 편집, 지시 기반 비디오 편집, 그리고 참조 유도 비디오 편집 데이터의 혼합물에 흐름 매칭 (flow matching) 으로 학습됩니다. 이는 빈 참조, 사용자가 제공한 참조, 그리고 도구를 통해 검색된 참조를 균일하게 처리하도록 학습합니다.
• VLM 에이전트:
  • 지도 미세 조정 (SFT): 25k 개의 계획 예제와 10k 개의 참조 이미지 선택 예제로 학습됩니다. 목표는 완전한 4 필드 계획으로, 에이전트가 지시를 재작성하고, 작업을 라우팅하며, 도구를 선택하도록 가르칩니다.
  • 선호도 정렬 (DPO): 1.8k 개의 선호도 쌍으로 학습되어 경계 사례 (예: 잘못된 이미지 검색 트리거, 모호한 마스크 구문, 제약 조건을 잃는 재작성) 를 해결합니다. 이는 비디오 샘플링 분산을 학습 목표에 혼합하지 않으면서 결정 경계를 명확하게 합니다.

3. 주요 기여

1. Aurora 프레임워크: 도구 강화 VLM 에이전트를 사용하여 원시적이고 미세명세된 요청을 완전한, 모델 준비가 된 조건 튜플로 매핑하는 에이전트 기반 비디오 편집 시스템.
2. AgentEdit-Bench: 텍스트 및 시각적 미세명세 하의 비디오 편집을 평가하도록 특별히 설계된 새로운 벤치마크. 원시 요청이 필요한 조건을 생략하는 5 가지 작업 유형 (IP 교체, IP 추가, IP 배경 변경, 추론, 제거) 에 걸쳐 150 개의 사례를 포함합니다.
3. 학습 데이터 및 정렬: VLM 에이전트 계획 및 참조 선택을 위한 데이터셋 구축 파이프라인과 도구 트리거 및 지시 재작성의 엣지 사례를 처리하기 위한 DPO 기반 선호도 정렬의 결합.
4. 모델 전이성: Aurora VLM 에이전트가 고정된 기존 통합 비디오 편집 모델 (예: UniVideo, Kiwi-Edit) 과 짝지어 미세명세된 요청에 대한 성능을 향상시킬 수 있음을 입증.

4. 실험 결과

• AgentEdit-Bench 성능:
  • 에이전트 없이 단독으로 작동하는 Aurora 비디오 DiT 는 74.7점을 기록하여, 원시 프롬프트에서 UniVideo (67.0) 와 Kiwi-Edit (69.7) 를 능가합니다.
  • VLM 에이전트를 추가하면 점수가 87.9로 상승합니다. 이 이득은 에이전트가 누락된 참조 이미지를 성공적으로 검색하는 IP 작업 (교체 및 추가) 에서 가장 두드러집니다.
  • 제거 실험 (Ablation studies) 은 SFT 가 이득의 대부분 (85.0) 을 기여하며, DPO 가 경계 오류를 수정함으로써 추가적인 정제 (87.9) 를 제공함을 보여줍니다.
• 기존 벤치마크 (EditVerse-Bench, OpenVE-Bench) 성능:
  • 잘 정의된 입력을 가진 벤치마크에서 Aurora 는 오픈소스 방법 중 최첨단 결과를 달성합니다 (EditVerse-Bench 에서 7.61, OpenVE-Bench 에서 3.38). 이는 폐쇄형 Runway Aleph 기준과의 격차를 대부분 해소합니다.
  • 도구가 비활성화되어도 (지시 재작성만 발생) 에이전트는 성능을 향상시켜 지시 정제의 가치를 보여줍니다.
• 전이성:
  • Aurora VLM 에이전트가 고정된 버전의 UniVideo 및 Kiwi-Edit 와 짝지어질 때, AgentEdit-Bench 와 기존 벤치마크 모두에서 일관되게 점수를 향상시켜 에이전트의 유용성이 모델에 구애받지 않음을 입증합니다.

5. 의의 및 한계

의의:
이 논문은 비디오 편집의 진전이 더 강력한 비디오 DiT 에만 의존하는 것이 아니라, 원시 사용자 요청을 모델 준비가 된 조건으로 신뢰할 수 있게 변환하는 데도 달려 있다고 주장합니다. Aurora 는 에이전트 계층이 미세명세를 효과적으로 해결하여 통합 모델이 새로운 도구나 조건마다 비디오 모델을 재학습할 필요 없이 실제 세계의 불완전한 사용자 입력을 처리할 수 있음을 보여줍니다.

한계:

• 학습 패러다임: VLM 에이전트는 오프라인 DPO 를 통해 정렬됩니다. 저자들은 최종 편집된 클립을 보상 신호로 사용하여 전체 파이프라인에 대한 온라인 RL (예: GRPO) 이 현재 컴퓨팅 제약으로 인해 실용적이지 않다고 지적합니다.
• 운동 복잡성: 5B 비디오 DiT 는 제한된 운동을 가진 객체의 제거, 스타일화, 삽입을 신뢰할 수 있게 처리합니다. 그러나 물리적으로 타당한 대규모 운동을 가진 새로운 주제를 추가하는 것은 여전히 어렵습니다. 이는 백본의 용량과 학습 데이터에서 그러한 사례의 부족 모두에 기인합니다.

광범위한 영향:
저자들은 웹 이미지 검색 도구로 인해 발생하는 비동의적 정체성 조작 및 저작권 문제와 관련된 위험을 인정하며, Aurora 를 증거 생성 도구가 아닌 창의적 도구로 위치시킵니다.