Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance

이 논문은 이미지 생성 모델을 활용한 확장 가능한 데이터 생성 파이프라인을 통해 대규모 데이터셋 RefVIE 와 평가 벤치마크를 구축하고, 참조 지시를 통합한 새로운 아키텍처 'Kiwi-Edit'를 제안함으로써 지시 기반 비디오 편집의 정밀도와 제어 가능성을 획기적으로 향상시켰습니다.

핵심

🎥 키위-에디트 (Kiwi-Edit): "이걸로 바꿔줘!"라고 말하고, "이걸로!"라고 보여주는 영상 편집의 미래

안녕하세요! 오늘 소개해 드릴 논문은 **영상 편집의 새로운 시대를 연 '키위-에디트 (Kiwi-Edit)'**에 대한 이야기입니다.

기존의 영상 편집 AI 는 "배경을 눈으로 덮어줘"라고 말하면 대충 눈이 내리는 장면을 만들어주지만, "이 특정 눈꽃 무늬로 바꿔줘"라고 하면 그걸 정확히 따라주지 못했습니다. 마치 요리사가 "맛있는 국을 만들어줘"라고 하면 대충 끓여주지만, "어머니가 해주던 그 국"이라고 해도 그 맛을 완벽히 재현하지 못하는 것과 비슷하죠.

이 논문은 텍스트 (말) 만으로는 부족하다는 점을 깨닫고, **참고 이미지 (시각적 예시)**까지 함께 보여주는 새로운 방식을 개발했습니다.

---

1. 문제점: "말"만으로는 부족해요 🗣️🚫

기존 AI 는 자연어 (말) 로만 명령을 받았습니다. 하지만 "이 옷을 입혀줘"라고 말하면 AI 는 "어떤 옷?"이라고 헤매곤 했죠.

• 비유: 친구에게 "내 사진에 저기 있는 강아지 대신 이 강아지를 넣어줘"라고 말하고 싶지만, AI 는 "강아지"라는 말만 듣고 임의의 강아지를 넣어버리는 상황입니다.

2. 해결책: "이거!"라고 보여주면 돼요 🖼️✅

키위-에디트는 **명령 (텍스트) + 참고 이미지 (예시)**를 동시에 받아들입니다.

• 비유: 요리사가 "이 레시피 (명령) 에다가, **이 사진 (참고 이미지)**에 있는 것처럼 생김새와 맛을 똑같이 만들어줘"라고 요청하는 것과 같습니다. AI 는 이제 "아, 그 강아지 모양을 그대로 가져와야구나!"라고 정확히 이해합니다.

3. 핵심 기술 1: "데이터 공장" (RefVIE) 🏭

문제는 이런 '명령 + 참고 이미지 + 결과 영상' 쌍을 가진 데이터가 너무 적다는 것이었습니다. 사람이 일일이 만들려면 너무 비싸고 시간이 걸리죠.

• 해결: 연구팀은 이미지 생성 AI 를 이용해 '가상의 데이터 공장'을 지었습니다.
  1. 기존에 있던 '명령 + 영상' 데이터를 가져옵니다.
  2. AI 가 "어떤 부분을 고쳐야 할지"를 분석합니다.
  3. 그 부분을 잘라내고, "고쳐진 모습"을 참고할 가상의 이미지를 AI 가 스스로 만들어냅니다.
  4. 이렇게 **47 만 개 (477K)**의 고품질 학습 데이터를 자동으로 만들어냈습니다.
• 비유: 요리 학교에서 학생들에게 "이 요리를 해봐"라고만 시키지 않고, "이 요리를 해보고, 이런 맛과 모양이 나는 사진을 참고해서 만들어봐"라고 가르치는 교재를 47 만 권이나 자동으로 출판한 셈입니다.

4. 핵심 기술 2: "키위-에디트"라는 마법사 🧙‍♂️

만들어진 데이터를 바탕으로 새로운 AI 모델인 키위-에디트를 만들었습니다. 이 모델은 두 가지 뇌를 가지고 있습니다.

1. 언어 뇌 (MLLM): "배경을 겨울로 바꿔줘"라는 말을 이해합니다.
2. 시각 뇌 (DiT): "이 사진의 겨울 풍경"을 보고 그 느낌을 영상에 옮깁니다.

이 두 뇌는 두 가지 연결고리로 서로 소통합니다.

• 질문 연결고리 (Query Connector): "무엇을 바꿀지"에 대한 핵심 아이디어를 뽑아냅니다.
• 잠재 연결고리 (Latent Connector): "어떻게 바꿀지"에 대한 구체적인 질감과 색상을 참고 이미지에서 가져옵니다.

5. 학습 방법: 3 단계 훈련 과정 📚

이 마법사를 가르칠 때, 바로 복잡한 작업을 시키지 않고 단계별로 가르쳤습니다.

1. 1 단계 (언어 이해): 말과 영상의 관계를 먼저 익힙니다. (명령만 듣고 영상 편집하기)
2. 2 단계 (기본 실습): 다양한 영상 편집 작업을 통해 실력을 다집니다.
3. 3 단계 (참고 이미지 활용): 이제 우리가 만든 '참고 이미지' 데이터를 활용해, "이 사진처럼"이라는 요청을 완벽하게 따르는 법을 배웁니다.

6. 결과: 얼마나 잘할까요? 🏆

실험 결과, 키위-에디트는 기존 최고의 모델들보다 훨씬 잘했습니다.

• 배경 변경: "이 사진의 겨울 배경으로 바꿔줘"라고 하면, 눈이 내리는 방식까지 참고 이미지와 거의 똑같이 재현합니다.
• 객체 교체: "이 사람의 옷을 이 사진의 옷으로 바꿔줘"라고 하면, 옷의 주름, 빛 반사, 질감까지 완벽하게 옮겨줍니다.
• 비유: 다른 모델들이 "눈이 내리는 영상"을 만들었다면, 키위-에디트는 "참고 이미지 속 눈이 내리는 정확한 방식으로 영상을 만들어냅니다."

🌟 요약

키위-에디트는 "말만으로는 부족하다"는 점을 깨닫고, 참고 이미지를 함께 보여주는 방식으로 영상 편집을 혁신했습니다. 이를 위해 AI 가 스스로 47 만 개의 학습 데이터를 만들어냈고, 이를 통해 명령과 시각적 예시를 동시에 완벽하게 이해하는 AI를 개발했습니다.

이제 우리는 "이걸로 바꿔줘"라고 말하면서, "이걸로!"라고 사진을 보여주면, AI 가 우리가 원하는 정확한 모습으로 영상을 만들어줄 시대가 열린 것입니다! 🎬✨

기술 요약

1. 문제 제기 (Problem Statement)

기존의 지시 기반 (Instruction-based) 비디오 편집 기술은 자연어 명령을 통해 비디오 콘텐츠를 수정하는 데 큰 진전을 이루었으나, 다음과 같은 한계점을 안고 있습니다.

• 자연어의 한계: 복잡한 시각적 뉘앙스 (정확한 질감, 구체적인 객체 정체성, 미묘한 스타일 등) 를 텍스트로만 정밀하게 설명하는 것은 본질적으로 어렵습니다. 사용자는 "이 스포츠카로 교체해 줘"와 같이 시각적 예시를 통해 의도를 전달하고 싶어 하지만, 텍스트만 사용하는 모델은 이를 수행하기 어렵습니다.
• 참조 가이드 (Reference-guided) 편집의 데이터 부족: 텍스트와 함께 시각적 참조 이미지 (Reference Image) 를 입력으로 받아 편집하는 방식이 이상적이지만, 이를 학습하기 위한 고품질의 4-튜플 데이터 (원본 비디오, 지시 텍스트, 참조 이미지, 목표 비디오) 가 극도로 부족합니다. 기존 대규모 데이터셋은 대부분 참조 이미지가 없거나, 상용 폐쇄형 데이터에 의존하여 연구 커뮤니티가 접근하기 어렵습니다.

2. 방법론 (Methodology)

이 논문은 데이터 부족 문제를 해결하기 위한 확장 가능한 데이터 생성 파이프라인과 이를 활용한 **통합 편집 아키텍처 (Kiwi-Edit)**를 제안합니다.

A. RefVIE 데이터셋 구축 (Scalable Data Generation Pipeline)

기존의 지시 기반 비디오 편집 데이터셋 (원본 - 목표 비디오 쌍) 을 활용하여 참조 이미지를 자동 생성하는 4 단계 파이프라인을 설계했습니다.

1. 데이터 수집 및 필터링: Ditto, ReCo, OpenVE 등 공개된 370 만 개의 샘플을 수집하고, EditScore 를 사용하여 고품질 샘플만 선별합니다.
2. Grounding 및 분할: Qwen3-VL 과 SAM3 를 사용하여 편집 지시를 해석하고, 목표 비디오의 편집 영역을 정밀하게 분할 (Segmentation) 합니다.
3. 참조 이미지 합성: 분할된 영역을 기반으로 Qwen-Image-Edit 모델을 사용하여 참조 이미지를 생성합니다. (배경 교체 시 전경 제거 후 배경 생성, 로컬 편집 시 대상 객체 추출 후 배경 제거 등)
4. 품질 관리: 생성된 참조 이미지가 편집 내용과 일치하는지 MLLM 으로 검증하고, 중복 제거 및 해상도 필터링을 거쳐 최종 **477,000 개의 고품질 4-튜플 (RefVIE)**을 구축했습니다.

B. Kiwi-Edit 아키텍처

멀티모달 조건을 통합하여 지시와 참조를 모두 이해하는 통합 프레임워크입니다.

• MLLM-DiT 구조: 고정된 멀티모달 LLM (Qwen2.5-VL) 과 Diffusion Transformer (DiT, Wan2.2 기반) 를 결합합니다.
• 듀얼 커넥터 (Dual-Connector) 메커니즘:
  • Query Connector: 학습 가능한 쿼리 토큰을 사용하여 편집 의도 (지시 텍스트) 를 추출합니다.
  • Latent Connector: 참조 이미지에서 시각적 특징을 추출합니다.
  • 이 두 가지가 결합된 컨텍스트 토큰이 DiT 의 Cross-Attention 을 통해 생성을 안내합니다.
• 하이브리드 잠재 주입 (Hybrid Latent Injection):
  • 원본 비디오: 구조적 보존을 위해 잠재 공간 특징을 요소별 덧셈 (Element-wise addition) 과 학습 가능한 시간 단계 스칼라로 주입합니다.
  • 참조 이미지: 정밀한 질감 전달을 위해 입력 시퀀스에 연결 (Concatenation) 합니다.
• 점진적 훈련 커리큘럼:
  1. MLLM-DiT 정렬: 텍스트 기반 편집 데이터로 연결부 (Connectors) 만 학습.
  2. 지시 튜닝: 대규모 텍스트 기반 비디오 편집 데이터로 DiT 전체를 미세 조정.
  3. 참조 가이드 파인튜닝: 새로 구축된 RefVIE 데이터셋을 추가하여 시각적 참조 준수 능력을 극대화.

C. 평가 벤치마크 (RefVIE-Bench)

참조 준수, 지시 정확도, 시간적 일관성을 평가하기 위해 110 개의 수동 검증 샘플로 구성된 벤치마크를 제안했습니다. Gemini3 를 자동 판정관 (Judge) 으로 활용하여 ID 일관성, 시간적 충실도, 물리적 통합성 등을 5 점 척도로 평가합니다.

3. 주요 기여 (Key Contributions)

1. RefVIE 데이터셋: 지시와 참조 이미지를 모두 사용하는 비디오 편집을 위한 최초의 대규모 오픈소스 데이터셋 (477K 개 4-튜플) 을 공개했습니다.
2. RefVIE-Bench: 참조 유사성, 지시 정확도, 시간적 일관성을 종합적으로 평가하는 새로운 벤치마크를 정립했습니다.
3. Kiwi-Edit 모델: MLLM 과 DiT 를 통합한 새로운 아키텍처와 다단계 훈련 전략을 통해, 지시 전용 및 참조 가이드 편집 모두에서 최첨단 (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• OpenVE-Bench (지시 기반 편집): 오픈소스 모델 중 가장 높은 점수 (Overall 3.02) 를 기록했으며, 기존 SOTA 인 OpenVE-Edit(2.50) 보다 크게 우세했습니다. 특히 배경 변경 (Background Change) 작업에서 상용 모델인 Runway Aleph(2.62) 를 능가하는 3.84 점의 성과를 거두었습니다.
• RefVIE-Bench (참조 가이드 편집): RefVIE 데이터로 학습된 모델은 상용 모델 Runway Aleph(3.29) 를 약간 상회하는 3.31 점의 종합 점수를 기록했습니다. 특히 **ID 일관성 (3.98)**과 **참조 유사성 (3.72)**에서 뛰어난 성능을 보여주었습니다. (Kling-O1 은 더 높은 점수를 보였으나, 이는 폐쇄형 대규모 데이터와 더 큰 파라미터 수에 기인한 것으로 분석됨)
• 정성적 결과: 다양한 객체 추가, 제거, 스타일 변경, 배경 교체 작업에서 지시 내용을 정확하게 따르면서도 참조 이미지의 시각적 디테일 (질감, 색상, 형태) 을 잘 유지하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 데이터 중심 접근법을 통해 참조 기반 비디오 편집의 핵심 병목 현상인 '고품질 데이터 부족'을 해결했습니다.

• 기술적 진보: 자연어만으로는 불가능했던 정밀한 시각적 제어 (예: "이 특정 모자를 씌워줘") 를 가능하게 하여, 사용자 의도와 비디오 생성 간의 간극을 좁혔습니다.
• 오픈소스 생태계 기여: 대규모 고품질 데이터셋과 벤치마크를 공개함으로써, 연구 커뮤니티가 참조 기반 비디오 편집 기술을 더욱 발전시킬 수 있는 기반을 마련했습니다.
• 미래 전망: Kiwi-Edit 는 더 제어 가능하고 접근성 높은 비디오 콘텐츠 제작의 새로운 표준을 제시하며, 광고, 엔터테인먼트, 소셜 미디어 등 다양한 분야에서 활용될 잠재력이 큽니다.