💻 computer science

InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter

이 논문은 사전 학습된 비디오 생성기를 위한 경량 어댑터인 InfinityEdit를 소개하며, 이는 충실한 시간적 연속성과 무한한 편집 요청에 걸친 안정적인 생성 품질을 보장함으로써 스트리밍 비디오의 무제한적인 지시 기반 편집을 가능하게 한다.

원저자: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

게시일 2026-08-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yunze Tong, Mushui Liu, Canyu Zhao, Shiyi Zhang, Didi Zhu, Peng Zhang, Wanggui He, Jinlong Liu, Ying Chen, Hao Jiang, Pipei Huang, Bo Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

축구 경기의 생중계를 보고 있다고 상상해 보십시오. 갑자기 경기장 전체가 수채화 그림처럼 보이길 바라거나, 카메라가 공을 따라 하늘에서 갑자기 아래로 휙 내려오기를 원한다고 가정해 봅시다. 인공지능의 세계에서 이러한 변화를 만드는 것은 보통 경직된 과정입니다. 현재의 도구들은 짧고 완성된 비디오 클립을 가져와 이를 수정할 수는 있지만, 그 클립을 하나의 '닫힌 상자'로 취급합니다. 이 도구들은 이미 존재하는 것을 다시 쓸 수는 있지만, 다음에 일어날 일을 바꾸기 위해 미래로 쉽게 손을 뻗지는 못합니다. 만약 비디오가 계속 재생된다면, 기존의 규칙은 더 이상 작동하지 않으며 새로운 스타일이나 카메라 각도는 사라져 버립니다. 이러한 한계는 이야기가 여전히 펼쳐지고 있는 라이브 스트림이나 진행 중인 장면을 편집하는 것을 어렵게 만듭니다.

한 연구팀은 끝나지 않는 비디오를 편집하는 새로운 방법을 개발하여 이 문제를 해결했습니다. 그들은 이 접근 방식을 "무한 비디오 편집(infinite video editing)"이라고 부릅니다. 비디오를 고정된 시간대에 맞추도록 강요하는 대신, 이 방법은 인공지능이 새로운 시각적 스타일이나 카메라 움직임과 같은 변화를 적용하고, 그 변화를 영원히 자연스럽게 이어가는 새로운 프레임들을 계속 생성할 수 있도록 허용합니다. 이 시스템은 단순히 과거를 다시 쓰는 것이 아니라, 그 편집을 미래로 전달하는 법을 배웁니다. 이를 통해 새로운 지침이 차례로 들어오는 동안에도 비디오가 일관성과 높은 품질을 유지하도록 보장합니다.

연구진은 기존의 비디오 편집기들이 단순한 가정을 바탕으로 작동한다는 점을 먼저 인식했습니다. 즉, 비디오는 이미 완성되었다는 것입니다. 이 도구들은 소스 클립을 가져와 정확히 동일한 길이의 편집된 버전을 만들어냅니다. 이는 짧은 영화나 소셜 미디어 게시물에는 잘 작동하지만, 라이브 경기나 보안 카메라 피드와 같이 연속적인 스트림인 경우에는 실패합니다. 이러한 상황에서는 비디오가 계속 성장합니다. 만약 영상 중간에 스타일을 바꾸고 싶다면, 그 편집은 나타나는 모든 새로운 프레임까지 확장되어야 합니다. 기존 방식은 정적인 클립을 뒤돌아보도록 설계되었을 뿐, 열려 있는 스트림을 향해 앞으로 나아가도록 설계되지 않았기 때문에 이를 수행할 수 없습니다.

이를 해결하기 위해 연구팀은 먼저 컴퓨터가 이 특정한 과제를 처리하는 방법을 가르치는 방법을 구축했습니다. 그들은 방대한 양의 훈련 예시 모음집을 만들었습니다. 기존 비디오를 가져와서 "이것을 만화책처럼 만들어라" 또는 "카메라를 아래로 움직여라"와 같은 변경 지침과 짝을 지었습니다. 결정적으로, 그들은 단지 컴퓨터에게 기존 프레임을 바꾸라고 요청한 것이 아닙니다. 그들은 원래의 영상으로부터 계속 이어지면서 요청된 변화를 적용하는 새로운 비디오 세그먼트를 생성했습니다. 이를 통해 시스템은 편집이 단순히 스냅샷에 적용되는 필터가 아니라, 이야기가 나아갈 새로운 방향임을 배우게 되었습니다. 그들은 새로운 비디오 세그먼트가 현실적으로 보이고, 장면의 흐름을 깨뜨리지 않으면서 변화가 올바르게 적용되었는지 확인하기 위해 이 데이터를 세심하게 필터링했습니다.

이러한 데이터를 확보한 후, 연구진은 InfinityEdit이라는 새로운 시스템을 도입했습니다. 이 시스템은 이미 긴 영상을 만드는 데 매우 뛰어난 강력한 비디오 생성기에 작고 가벼운 "어댑터(adapter)"를 부착하는 방식으로 작동합니다. 메인 생성기를 연속적인 이미지 스트림을 그릴 수 있는 숙련된 화가라고 생각하고, 어댑터를 실시간으로 그림의 스타일을 바꿀 수 있는 특수 붓이라고 생각하십시오. 메인 생성기는 고정된 상태로 유지되므로, 안정적이고 고품질의 영상을 만드는 핵심 지식은 결코 변하지 않습니다. 어댑터만이 학습하는 부분입니다. 어댑터는 생성기와 사용자의 지침 사이에 위치하며, 새로운 편집 요청이 도착할 때만 개입할 준비를 합니다.

사용자가 지침을 보내면, 어댑터는 비디오의 아주 짧은 한 구간 동안만 활성화됩니다. 어댑터는 지침과 비디오의 최근 이력을 가져와 변화를 적용한 새로운 프레임 덩어리를 생성합니다. 이 새로운 덩어리는 하나의 '가교(bridge)' 역할을 합니다. 첫 번째 편집된 세그먼트가 생성되면 어댑터는 다시 꺼지고 메인 생성기가 제어권을 넘겨받습니다. 메인 생성기는 이제 새로 편집된 프레임을 자신의 이력으로 보고 있기 때문에, 자연스럽게 새로운 스타일이나 새로운 카메라 각도로 비디오를 계속 이어갑니다. 편집이 "점화(ignited)"된 것이며, 시스템은 이를 자동으로 계속해서 밀고 나갑니다. 이 과정은 끝없이 반복될 수 있습니다. 만약 나중에 두 번째 지침이 도착하면, 어댑터는 다시 깨어나 새로운 변화를 적용하고 생성기는 그 지점부터 다시 계속됩니다.

연구진은 이 접근 방식이 긴 비디오 생성 중에 흔히 발생하는 두 가지 주요 문제를 해결한다는 것을 발견했습니다. 첫 번째는 일관성입니다. 많은 시스템에서 이미 생성 중인 비디오를 편집하려고 하면, 변화가 시간이 지남에 따라 사라지거나 길을 잃는 경우가 많습니다. 새로운 프레임들이 원래의 모습으로 다시 돌아갈 수 있습니다. InfinityEdit은 편집이 발생할 때마다 핵심 참조 지점을 재설정함으로써 이를 방지합니다. 이는 비디오가 가장 최근의 변화에 고정되도록 하여, 비디오가 계속되는 동안 스타일이나 카메라 각도가 안정적으로 유지되도록 보장합니다.

두 번째 과제는 품질입니다. 컴퓨터가 프레임 단위로 비디오를 생성할 때, 작은 실수들이 시간이 지나면서 쌓여 화면이 흐릿해지거나 왜곡될 수 있습니다. 연구진은 불완전한 이력을 처리할 수 있도록 어댑터를 훈련시켰습니다. 그들은 의도적으로 이전 프레임들이 약간 결함이 있는 예시들을 시스템에 제공하여, 입력값이 완벽하지 않더라도 깨끗한 결과를 만들어낼 수 있도록 가르쳤습니다. 이러한 훈련 덕분에 시스템은 많은 단계의 편집을 거친 후에도 안정성을 유지하며, 비디오가 길어짐에 따라 품질이 저하되는 것을 방지합니다.

테스트에서 이 시스템은 진행 중인 비디오 스트림에 다양한 편집을 성공적으로 적용했습니다. 장면의 시각적 스타일을 바꾸거나, 카메라 움직임을 변경하거나, 사물의 외형을 수정할 수 있었으며, 그 후 해당 변화를 유지한 채 비디오를 계속 생성할 수 있었습니다. 결과는 비디오가 지침을 충실히 따랐으며 원래의 상태로 돌아가지 않았음을 보여주었습니다. 시스템은 품질을 잃지 않고 이러한 변화들을 반복적으로 처리해 냈으며, 이는 비디오가 끝나기를 기다리지 않고도 발생하는 비디오 스트림을 편집하는 것이 가능하다는 것을 입증했습니다.

이 작업은 비디오와의 새로운 종류의 상호작용에 대한 문을 열어줍니다. 이제 사용자는 완성된 제품을 편집하는 대신, 비디오가 생성되는 동안 비디오를 가이드할 수 있습니다. 라이브 스포츠 방송의 스타일을 실시간으로 바꾸든, 긴 녹화 중 가상 카메라의 관점을 바꾸든, 이 기술은 이야기가 펼쳐지는 동안 편집을 살아있게 유지하는 방법을 제공합니다. 연구진은 안정적인 사전 훈련된 생성기와 유연하고 가벼운 어댑터를 결합함으로써, 시간에 제한받지 않는 비디오 편집 도구를 만들어 진정한 무한한 창의적 가능성의 스트림을 구현할 수 있음을 보여주었습니다.

기술 요약: 가벼운 Edit-Ignition 어댑터를 이용한 무한 비디오 편집, InfinityEdit

1. 문제 정의: 무한 비디오 편집 (Infinite Video Editing)

기존의 지시어 기반 비디오 편집 방법들은 제자리 편집(in-place editing) 가정 하에 작동합니다. 이들은 편집된 출력 프레임을 고정된 길이의 소스 클립에 프레임 단위로 정렬합니다. 이러한 패러다임은 정적인 클립에는 효과적이지만, 새로운 콘텐츠가 지속적으로 유입되는 개방형 비디오 스트림(예: 라이브 게임 스타일 변환 또는 진행 중인 샷에 카메라 움직임 적용)에서는 실패합니다.

본 논문은 무한 비디오 편집을 다음과 같은 과제로 정의합니다: 주어진 이전 비디오 세그먼트( $V_{pcd}$ )와 편집 지시어( $c_{edit}$ )가 주어졌을 때, 모델은 다음을 만족하는 후속 세그먼트( $V_{tgt}$ )를 생성해야 합니다:

$c_{edit}$ 에서 요청된 편집을 충실히 적용할 것.
기존 프레임을 다시 쓰는 것이 아니라, 입력에 존재하지 않았던 미래 프레임을 생성함으로써 스트림을 자연스럽게 지속할 것.
편집이 누적됨에 따라 발생하는 오류 전파와 품질 저하를 방지하며, 무한한 시퀀스의 편집에 대해 안정성을 유지할 것.

식별된 핵심 과제는 다음과 같습니다:

충실한 지속(Faithful Continuation): 모델은 단순히 입력 프레임을 변형하는 것이 아니라, 편집의 영향을 받지 않는 개체들이 과거 기록과 일관성을 유지하면서도 일관된 지속물을 생성해야 합니다.
안정성(Stability): 각 생성된 세그먼트가 다음 세그먼트의 히스토리가 됨에 따라, 시간이 흐를로록 오류가 누적될 수 있습니다.
스트리밍 사전 지식과의 충돌(Conflict with Streaming Priors): 표준 스트리밍 생성기는 드리프트(drift)를 방지하기 위해 앵커 프레임(anchor frames)과 캐시된 히스토리(cached history)와 같은 메커즘을 사용합니다. 그러나 이러한 메커니즘은 생성된 콘텐츠를 편집되지 않은 원본 쪽으로 다시 끌어당겨, 새로운 편집 지시어를 약화시키거나 무시하는 경향이 있습니다.

2. 방법론

데이터 수집 파이프라인
이 과제를 위한 모델을 훈련하기 위해, 저자들은 $(V_{pcd}, c_{edit}, V_{tgt})$ 형태의 트리플렛(triplet) 데이터셋을 구축했습니다:

소스(Source): UltraVideo 데이터셋에서 샘플링되었습니다.
지시어(Instructions): 소스 캡션에 기반하여, 추상적인 편집 유형(VAP로부터 추출)을 Gemini 3 Flash를 사용하여 상세한 자연어 프롬프트로 확장하여 생성했습니다.
타겟(Targets): Wan2.2-I2V-A14B를 사용하여 합성되었습니다. 파이프라인은 **편집 유형 인식 생성(edit-type-aware generation)**을 채택합니다:
- 스타일/외형 편집: 비디오를 생성하기 전, 연결 프레임(connection frame)을 먼저 편집합니다(Qwen-Image-Edit 사용).
- 카메라/모션 편집: 장면 일관성을 보장하기 위해 연결 프레임을 보존하며, 시점(viewpoint)에 대해서만 변화를 적용합니다.
필터링: 트리플렛은 정렬성, 일관성, 합리성 및 시각적 품질에 대해 수동으로 점수가 매겨졌습니다.

모델 아키텍처: InfinityEdit
제안된 솔루션은 동결된(frozen) 스트리밍 비디오 생성기 백본(14B 자기회귀 확산 트랜스포머인 Helios-Distilled)에 가벼운 Edit-Ignition 어댑터를 부착합니다. 이 어댑터가 유일하게 학습 가능한 구성 요소입니다.

어댑터는 각 트랜스포머 레이어 뒤에 삽입되는 세 개의 어텐션 모듈로 구성됩니다:

History Cross-Attention: 새로운 디노이징 청크(denoising chunk)를 제공된 입력 프레임에 고정(anchor)합니다. 쿼리(Query)는 현재 청크의 앞부분 프레임으로 제한되는 반면, 키(Key)와 값(Value)은 히스토리 토큰에서 가져옵니다. 이를 통해 편집이 즉각적인 과거를 존중하도록 보장합니다.
Temporal Causal Self-Attention: 청크 내에서 이전 프레임으로부터 이후 프레임으로 시간적 단서(temporal cues)를 엄격하게 전파하여, 스트리밍에 필요한 자기회귀적 흐름을 유지합니다.
Edit Cross-Attention: 편집 지시어( $c_{edit}$ )를 생성 과정에 주입합니다. 현재 청크의 모든 토큰이 편집 프롬프트를 쿼리하게 하여, 지시어가 전체 생성 세그먼트에 영향을 미치도록 합니다.

훈련 전략

목적 함수(Objective): 동결된 백본을 사용하는 플로우 매칭(flow-matching) 목적 함수를 사용합니다.
히스토리 오염(History Corruption): 추론 시 모델이 자신의 불완전한 출력에 조건화되는 노출 편향(exposure bias)을 완화하기 위해, 훈련 과정에서 히스토리 프레임을 노이즈로 무작위 오염시킵니다.
노이즈 샘플링: 백본의 피라미드 스케줄 대신, 어댑터는 편집 제어를 특정 해상도 단계와 분리하기 위해 노이즈 레벨( $\sigma$ )의 **혼합 가우시안 샘플링(Mixture-Gaussian sampling)**을 사용합니다.
2단계 커리큘럼:
- 1단계: 기본적인 편집을 학습하기 위해 다양한 노이즈 레벨을 균등하게 다룹니다.
- 2단계: 디테일을 정교화하고 품질을 개선하기 위해 중간 및 낮은 노이즈 레벨과 후반부 프레임에 집중합니다.

추론 파이프라인: "Ignite-Then-Continue" (점화 후 지속)
추론 과정은 특정 전략을 통해 무한 편집을 처리합니다:

점화(Ignition): 편집 지시어가 도착하면, 어댑터는 오직 첫 번째 청크(점화 청크)에 대해서만 활성화됩니다. 이 청크는 어댑터와 단일 단계 Euler 스케줄(디테일 정교화를 위한 제로에 가까운 노이즈 단계 포함)을 사용하여 생성됩니다.
지속(Continuation): 후속 청크들은 어댑터가 비활성화된 상태의 동결된 백본에 의해 생성됩니다. 첫 번째로 편집된 청크가 이제 히스토리 윈도우의 일부가 되었으므로, 백본은 자연스럽게 편집된 스트림을 이어갑민다.
상태 관리(State Management):
- 모델이 원본 소스로 되돌아가는 것을 방지하기 위해, **앵커 프레임( $x_0$ )**을 새로운 점화 청크의 첫 번째 프레임으로 재설정합니다.
- **장면 프롬프트(scene prompt)**를 현재의 편집 지시어로 업데이트합니다.
- 슬라이딩 윈도우를 통해 메모리를 관리하며, 비용을 제한하기 위해 오래된 프레임을 삭제합니다.

3. 주요 기여

과제 정의: 제자리 편집과 차별화되는 무한 비디오 편집을 공식화하고, 충실한 지속과 장기적 안정성이라는 구체적인 과제를 식별했습니다.
데이터 파이프라인: 정적 편집과 스트리밍 생성 사이의 간극을 메우는 편집 유형 인식 훈련 트리플렛을 생성하기 위한 합성 파이프라인을 개발했습니다.
아키텍처: 가벼운 어댑터를 제안하여, 동결된 스트리밍 생성기가 자신의 긴 비디오 생성 사전 지식을 훼손하지 않으면서도 편집을 적용할 수 있게 했습니다.
추론 전략: 편집을 국소적으로 적용하는 동시에 나머지 스트림에 대해 백본의 안정성 메커니즘을 활용하는 "ignite-then-continue" 스킴을 도입했습니다.

4. 결과 및 주장

OOD(Out-of-distribution) 케이스에 대한 광범한 실험을 통해 다음을 입증했습니다:

InfinityEdit는 각 편집 지시어에 따라 스트림을 충실히 지속하며, 요청된 변경 사항을 미래 프레임에 성공적으로 적용합니다.
시스템은 단순히 프롬프트를 다시 입력하는 방식에서 흔히 나타나는 드리프트와 품질 저하를 피하며, 무한한 편집 시퀀스에서도 안정성을 유지합니다.
이 방법은 새로운 편집의 적용과 원본 모델의 길고 일관된 비디오 생성 능력 사이의 균형을 효과적으로 맞춥니다.

5. 의의

본 논문은 InfinityEdit가 비디오 생성의 중요한 공백, 즉 열린 스트림을 동적으로 편집할 수 없는 문제를 해결한다고 주장합니다. 편집 주입 메커니즘을 장기 생성 사전 지식으로부터 분리함으로써, 이 방법은 모델 전체를 재학습하거나 기본 생성기의 안정성을 희생하지 않고도 온더플라이 편집(예: 게임 영상의 스타일 변환 또는 실시간 카메라 각도 변경)을 가능하게 합니다. 이는 비디오 스트림이 연속적이고 편집 요구사항이 동적인 실제 응용 분야를 가능하게 합니다.