💻 computer science

VicEdit: Learning to Edit Videos from Visual In-Context Examples

이 논문은 새로운 대규모 데이터셋(VicEdit-400K)과 더불어, 시각적 인컨텍스트 예시를 텍스트 지시어와 효과적으로 결래하여 우수한 편집 성능을 구현하기 위한 양식 적응형 시맨틱 증류(Modality-Adaptive Semantic Distillation) 및 이중 컨텍스트 주입(Dual-Context Injection)과 같은 새로운 기술을 활용함으로써 비디오 편집을 발전시키는 통합 프레임워크인 VicEdit을 소개한다.

원저자: Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수년 동안 비디오 편집의 꿈은 단순히 컴퓨터에게 무엇을 할지 말하는 것이었습니다. 영화 장면 속 자동차의 색상을 바꾸거나 구름 낀 하늘을 노을로 바꾸고 싶다면, "하늘을 주황색으로 만들어줘"와 같은 문장을 입력하면 소프트웨어가 최선을 다해 수행할 수 있었습니다. '지시 기반 편집(instruction-based editing)'이라 알려진 이 방식은 놀라운 발전을 이루었습니다. 이는 언어를 이해하고 처음부터 이미지와 비디오를 생성할 수 있는 강력한 인공지능 모델에 의존합니다. 하지만 근본적인 문제가 남아 있습니다. 단어는 종종 장면의 구체적인 모습과 느낌을 포착하기에는 너무 모호하다는 점입니다. 텍스트 설명은 "빨간 자동차"라고 말할 수는 있지만, 정확한 빨간색의 색조, 빛이 금속에 부딪히는 방식, 또는 차량의 특정한 움직임을 쉽게 전달할 수 없습니다. 컴퓨터가 문장만으로 이러한 세부 사항을 추측하려고 할 때, 결과물은 색상이 어긋나거나, 물체가 잘못된 위치에 나타나거나, 움직임이 딱딱하고 부자연스럽게 느껴지는 등 잘못된 결과가 나오는 경우가 많습니다.

이를 해결하기 위해 연구자들은 컴퓨터에게 단순히 말하는 대신 예시를 보여주는 다른 방식을 탐구하기 시작했습니다. '인컨텍스트 학습(in-context learning)'이라 불리는 이 개념은 인간 견습생이 기술을 배우는 방식과 유사합니다. 견습생이 벽에 페인트를 칠하는 방법에 대한 매뉴얼을 읽는 대신, 스승이 특정 표면에 특정 붓질을 하는 모습을 관찰하는 것과 같습니다. 원래의 벽과 완성된 결과 사이의 관계를 관찰함으로써, 견습생은 정교한 기술을 배웁니다. 비디오 편집의 세계에서 이는 컴퓨터에게 시각적 참조 자료를 제공하는 것을 의미합니다. 예를 들어, 단일 이미지, 전후 관계를 보여주는 한 쌍의 이미지, 또는 원하는 변화를 담은 짧은 비디오 클립 등이 될 수 있습니다. 문제는 그동안 어떤 단일 시스템도 이 모든 다양한 유형의 시각적 단서를 동시에 처리할 수 없었으며, 시스템이 이를 효과적으로 사용하는 방법을 가르칠 대규모 예시 모음도 없었다는 점입니다.

한 연구팀이 이제 'VicEdit'이라 불리는 새로운 시스템을 통해 이 간극을 메웠습니다. 이들의 연구는 텍스트 설명에만 의존하는 것에서 벗어나 시각적 예시를 주요 가이드로 사용하는 방식으로의 중요한 전환을 나타냅니다. 이 시스템을 구축하기 위해 연구팀은 먼저 방대한 훈련 데이터 라이브러리를 만들었습니다. 그들은 400,000개의 고품질 예시를 생성했으며, 이 데이터셋의 이름을 'VicEdit-400K'라고 명명했습니다. 이 컬렉션은 장면 전체의 스타일을 바꾸는 것부터 특정 물체를 추가하거나 제거하는 것까지 10가지 다른 유형의 편집 작업을 다룬다는 점에서 독특합니다. 결정적으로, 이 라이브러리의 각 예시는 적절한 종류의 시각적 참조와 짝을 이룹니다. 즉, 스타일 변화를 위한 단일 이미지, 공간적 변화를 위한 한 쌍의 이미지, 또는 복잡한 움직임을 위한 한 쌍의 비디오가 제공됩니다. 이 방대한 라이브러리 덕분에 그들은 컴퓨터가 텍스트만으로는 결코 제공할 수 없는 수준의 정밀도로 시각적 단서를 해석하는 법을 가르칠 수 있었습니다.

이 새로운 시스템의 핵심은 컴퓨터가 받는 시각적 단서의 유형에 따라 이해도를 조정할 수 있게 하는 방법입니다. 컴퓨터가 단일 이미지를 볼 때, 질감과 색상에 집중하는 법을 배웁니다. 한 쌍의 이미지를 볼 때, 물체가 한 위치에서 다른 위치로 어떻게 이동하는지 이해하는 법을 배웁니다. 한 쌍의 비디오를 볼 때, 시간과 움직임의 흐름을 따르는 법을 배웁니다. 연구진은 이러한 시각적 예시로부터 구체적인 교훈을 추출하여 이를 텍ền 지시 사항과 결합하는 프로세스를 설계했습니다. 이는 컴퓨터가 텍스트를 맹목적으로 따르는 것이 아니라, 시각적 예시를 사용하여 변화를 현실에 고정하도록 보장합니다. 예를 들어, 사용자가 물병을 빛나는 은하계로 바꿔달라고 요청할 때, 텍스트는 아이디어를 제공하지만, 빛나는 은하계의 시각적 예시는 컴퓨터가 그것이 정확히 어떻게 보이는지 알게 하여 일반적이거나 왜곡된 결과를 만드는 것을 방지합니다.

이 접근 방식의 결과는 놀랍습니다. 기존 방식들과 비교 테스트했을 때, 이 새로운 시스템은 사용자의 의도에 더 충실하며 일관되게 더 높은 품질의 비디오를 생성했습니다. 다른 시스템들이 물체를 올바른 위치에 유지하거나 올바른 스타일을 유지하는 데 어려움을 겪었던 작업에서 이 새로운 방식은 성공했습니다. 이 시스템은 새로운 물체를 장면에 자연스럽게 혼합하거나, 전경을 왜곡하지 않고 배경을 바꾸거나, 자연스럽고 일관되게 보이는 복잡한 예술적 스타일을 적용할 수 있었습니다. 이 방식은 컴퓨터에게 무엇을 할지 말해주는 것보다 보여주는 것이 비디오 편집의 품질을 극적으로 향상시킨다는 것을 증명했습니다. 이 연구는 시각적 예시가 인공지능을 가이드하는 강력하고 필수적인 도구임을 입증하며 비디오 편집의 새로운 표준을 세우고 있습니다. 연구진은 자신들의 데이터셋과 시스템을 다른 이들이 사용할 수 있도록 공개하여, 향-후 더욱 정밀하고 창의적인 비디오 편집 도구의 길을 열어두었습니다.

기술 요약: VicEdit: 시각적 인컨텍스트 예시를 통한 비디오 편집 학습

문제 정의

지시어 기반의 비디오 편집은 대규모 언어 모델(LLM)과 확산 아키텍처(diffusion architectures)를 활용하여 텍스트 기반 인터페이스를 통해 크게 발전해 왔습니다. 그러나 저자들은 근본적인 한계를 지적합니다. 즉, 단일 모달리티인 텍스트 지시는 미세한 질감, 정밀한 공간 변형, 복잡한 시간적 역동성을 전달하는 데 본질적으로 어려움을 겪는다는 것입니다. 텍스트 전용 베이스라인은 다음과 같은 문제를 겪는 경우가 많습니다:

스타일 드리프트(Stylistic Drift): 언어적 묘사는 특정 시각적 질감이나 스타일을 정밀하게 고정하는 데 실패합니다.
공간적 모호성(Spatial Ambiguity): 텍스트는 무엇을 편집할지는 지정하지만, 이미지 쌍이 제공하는 공간적 앵커와 같이 어디를 편집할지는 지정하지 못합니다.
정적 역동성(Static Dynamics): 창의적 편집에서의 복잡한 움직임 패턴은 언어적 능력을 초과하며, 이는 정적인 단일 이미지 모달리티만을 지원하는 기존 참조 기반 연구들이 해결하지 못한 간극입니다.

나아가, 기존 데이터셋과 벤치마크는 텍스트 또는 단일 이미지 드라이버에 국한되어 있어, 이질적인 시각적 추론이 가능한 모델을 학습시키는 데 필요한 대규모 멀티모달 자원이 부족합니다.

방법론: VicEdit 프레임워크

본 논문은 VicEdit라는 통합 프레임워크를 제안하며, 이는 **시각적 인컨텍스트 편집(Visual In-Context Editing)**을 통해 비디오 편집을 기술적인 "말하기(telling)"에서 규정적인 "보여주기(showing)"로 전환합니다. 이 패러다임은 단일 이미지( $R_{si}$ ), 이미지 쌍( $R_{ip}$ ), 그리고 비디오 쌍( $R_{vp}$ )이라는 이질적인 참조 입력을 수용합니다.

1. 데이터 큐레이션: VicEdit-400K

이 패러다임을 지원하기 위해 저자들은 시각적 인컨텍스트 비디오 편집을 위한 최초의 대규모 데이터셋인 VicEdit-400K를 도입합니다.

규모 및 다양성: 10가지의 뚜렷한 작업 유형(예: 스타일 전이, 객체 조작, 시공간 합성)과 세 가지 참조 모달리티에 걸쳐 400,000개의 고품질 샘플을 포함합니다.
구축 파이프eline: 품질 보장을 위해 자동화된 4단계 파이프라인을 사용합니다:
1. 소스 데이터 필터링: LAION-Aesthetic와 Qwen3-VL을 사용하여 의미적 일관성과 미적 품질을 기준으로 필터링합니다.
2. 지시어 합성: MLLM을 사용하여 시각적 참조와 엄격하게 정렬된 모달리티 인식 지시어를 생성합니다.
3. 시각적 참조 생성: 최첨단 생성 모델(이미지용)과 시간적 충실도를 보장하기 위한 스펙트럼 클러스터링 기반의 시맨틱 지식 그래프(비디오 쌍용)를 활용합니다.
4. 의미적 검증: 지시어 준수, 시간적 일관성 및 참조 정렬을 필터링하기 위해 MLLM을 통한 다차원 검증을 수행합니다.

2. 모델 아키텍처

VicEdit는 시각적 이해를 위한 동결된 멀티모달 대규모 언어 모델(MLLM)과 생성을 위한 비디오 확산 트랜스포머(DiT)를 통합하며, 이 둘은 두 개의 경량 모듈에 의해 연결됩니다:

모달리티 적응형 시맨틱 증류(Modality-Adaptive Semantic Distillation, MASD):
- 과제: 기존 방법들은 고정된 학습 가능 쿼리를 사용하는데, 이는 모달리티 간의 구조적 차이(예: 이미지 쌍의 공간적 이동 vs 단일 이미지의 전역적 질감)에 적응할 수 없습니다.
- 해결책: MASD는 가법적 이동(additive shift)을 통해 기본 쿼리( $Q_{base}$ )를 학습 가능한 모달리티 특화 임베딩( $E_m$ )으로 조절합니다: $Q_{vis} = Q_{base} + E_m$ .
- 메커니즘: 이는 탐색 공간을 공통 편집 매니폴드와 모달리티 특화 하위 영역으로 분해하여, 모델이 MLLM의 은닉 상태로부터 모달리티 특화 시맨틱 토큰( $T_{vis}$ )을 증류할 수 있게 합니다.
이중 컨텍스트 주입(Dual-Context Injection, DCI):
- 과제: 시각적 토큰과 텍스트 지시어를 결합하면 정렬 불일치가 발생하기 쉽습니다. 즉, 텍스트 브랜치가 시각적 참조가 제공하는 구체적인 지각적 구현을 무시하고 일반적인 특징만을 추출하는 문제가 발생합니다.
- 해결책: DCI는 시맨틱 이동 메커니즘을 도입합니다. 이는 MASD에서 생성된 모달리티 조건부 쿼리( $Q_{vis}$ )를 사용하여 경량 MLP를 통해 이동 벡터( $\Delta_{inst}$ )를 생성합니다.
- 메커니즘: 이 이동은 기본 지시어 쿼리( $Q_{inst}$ )를 교정하여 시각적으로 인식 가능한 쿼리( $Q'_{inst} = Q_{inst} + \Delta_{inst}$ )를 생성합니다. 이후 이들은 지시어 토큰( $T_{inst}$ )을 추출하는 데 사용됩니다. 마지막으로, $T_{vis}$ 와 $T_{inst}$ 는 이중 컨텍스트 토큰( $T_{dual}$ )으로 결합되어 크로스 어텐션을 통해 비디오 DiT에 주입됩니다.

3. 학습 전략

VicEdit는 Wan-TI2V-5B 백본을 기반으로 세 단계의 점진적 단계로 학습됩니다:

기본 편집(Base Editing): 텍스트 지시 작업에 대해 DiT를 미세 조정하여 기본적인 지시어 준수 능력을 확립합니다.
인컨텍스트 브랜치(In-Context Branch): MASD와 DCI 모듈을 학습시켜(DiT는 동결된 상태로) 균형 잡힌 모달리티 임베딩과 시맨틱 이동을 학습합니다.
공동 미세 조정(Joint Fine-Tuning): DiT를 다시 해제하여 전체 파이프라인을 공동 최적화함으로써, 시각적 조건 신호를 생성 과정과 정렬시킵니다.

주요 기여

패러다임 전환: 단일 이미지, 이미지 쌍, 비디오 쌍으로부터 밀집된 시맨틱 큐를 활용하는 통합된 시각적 인컨텍스트 비디오 편집 패러다임을 공식화했습니다.
VicEdit-400K: 세 가지 참조 모달리티와 10가지 작업 유형을 아우르는 최초의 대규모 데이터셋(400,000개 샘플)을 구축하여 시각적 인컨텍스트 학습을 위한 체계적인 토대를 제공했습니다.
VicEdit 프레임워크: 모달리티 특화 시맨틱을 추출하기 위한 **모달리티 적응형 시맨틱 증류(MASD)**와 시각적 및 텍스트 컨텍스트를 시너지 있게 융합하기 위한 **이중 컨텍스트 주입(DCI)**을 특징으로 하는 통합 아키텍처를 제안했습니다.
VicEdit-Bench: 이질적인 참조 준수를 엄격하게 평가하기 위해 200개의 제로샷 인스턴스로 구성된 표준화된 평가 프로토콜을 구축했습니다.

실험 결과

OpenVE-Ext(기본 편집) 및 VicEdit-Bench(시각적 인컨텍스트 편집)에 대한 광범-한 평가가 수행되었습니다.

정량적 성능: VicEdit는 모든 지표에서 최첨단(SOTA) 성능을 달성했습니다. VicEdit-Bench에서 종합 점수 3.45를 기록하며, 두 번째로 높은 성능을 보인 Kiwi-Edit(2.97)를 상당한 차이(상대적 개선율 16%)로 앞질렀습니다. 또한 모든 서브태스크(Global Style, Local Change, Creative Edit 포함)에서 텍스트 전용 베이스라인(VACE, Lucy-Edit, DITTO, NovaEdit, VideoCoF) 및 단일 이미지 참조 베이스라인(Kiwi-Edit)보다 우수한 성능을 보였습니다.
정성적 분석: 시각적 비교를 통해 VicEdit가 베이스라인에서 나타나는 스타일 드리프트, 공간적 모호성, 정적 역동성 문제를 해결함을 보여줍니다. 예를 들어, "local_add" 작업에서 Kiwi-Edit와 같은 베이스라인은 구조적 붕괴나 불량한 융합을 보이는 반면, VicEdit는 공간적 관계와 스케일을 정확하게 처리합니다.
절제 연구(Ablation Studies):
- MASD: 모달리티 특화 사전 정보를 적응적으로 증류함으로써 시맨틱 흐릿함을 방지하고 디테일 충실도를 크게 향 향상시킵니다.
- DCI: 텍스트 쿼리를 시각적 컨텍스트에 따라 교정함으로써 자연어의 모호성을 해결하고 지시어 준수의 정밀도를 높이는 데 결정적인 역할을 합니다.
- 학습 전략: 단계적 접근 방식은 모델이 복잡한 인컨텍스트 작업을 마스터하는 동안 견고한 기본 편집 능력을 유지하도록 보장합니다.

의의 및 주장

본 논문은 VicEdit가 시각적 인컨텍스트 학습을 강력하고 제어 가능한 비디오 편집 패러다임으로 확립한다고 주장합니다. 텍스트 설명과 시각적 실재 사이의 지각적 간극을 메움으로써, 이 프레임워크는 텍스트 전용 지시로는 달성할 수 없는 미세한 제어 가능성을 제공합니다.

저자들은 자신들의 연구가 아키텍처적 추론(이질적 컨텍스트에 대한 유연성 부족)과 데이터 자원(대규모 멀티모달 데이터셋 부족) 모두의 체계적인 결함을 해결하고 있음을 강조합니다. 현재의 설계는 시맨틱 수준의 편집을 목표로 하지만, 향️후 연구에서는 픽셀 수준의 정밀도와 추가적인 데이터셋 확장을 탐구할 수 있다고 언급했습니다. 제안된 프레임워크와 데이터셋은 기술 분야를 기술적인 지시에서 규정적인 시각적 시연으로 진전시키기 위한 체계적인 토대로 제시됩니다.