OSVE: One Step Video Editing with One Step Diffusion Models

당신에게서 "이걸 고양이로 만들어줘!"라고 속삭이기만 하면 사진 속의 강아지를 즉시 고양이로 바꿀 수 있는 마법의 붓이 있다고 상상해 보세요. 이것이 바로 컴퓨터가 단어를 통해 그림을 만드는 법을 배우는 텍스트-투-이미지(Text-to-Image) AI의 세계입니다. 하지만 만약 이 작업을 영화 전체에 적용하고 싶다면 어떻게 될까요? 바로 그 지점에서 **텍스트 가이드 비디오 편집(Text-Guided Video Editing)**이 등장합니다. 문제는 현재의 마법 붓들이 믿기지 않을 정도로 느리다는 점입니다. 비디오를 편집하려면 컴퓨터는 모든 프레임을 흐릿한 덩어리로 다시 '지우고', 다시 프레임당 수백 번씩 단계별로 '다시 그려야' 합니다. 이는 마치 소설을 쓸 때 글자 하나하나를 지우고 다시 쓰는 과정을 수없이 반복하며 소설 전체를 다시 쓰는 것과 같습니다. 짧은 클립 하나를 편집하는 데 며칠이 걸릴 수도 있어, 실시간 편집은 불가능한 상태입니다.

이제, 단 한 번의 번개처럼 빠른 휘두름으로 전체 작업을 끝낼 수 있는 새로운 종류의 붓을 상상해 보세요. 과학자들은 최근 정지된 이미지에 대해 이러한 "원스텝(one-step)" 붓을 만드는 방법을 알아냈지만, 이를 움직이는 비디오에 적용하면 결과물이 글리치(glitch)가 생기거나 깜빡거리는 악몽처럼 보인다는 사실을 아무도 알지 못했습니다. 이것이 바로 OSVE라는 논문이 해결하고자 하는 퍼즐입니다. 연구진은 그 원스텝 기술을 가져오면서도, 캐릭터와 사물이 디지털 수프처럼 녹아내리지 않고 어떻게 하면 형태와 일관성을 유지하며 비디오를 편집할 수 있을지 알아보고자 했습니다.

원스텝 혁명: OSVE

이 논문은 비디오 편집의 스피드 데몬 역할을 하는 새로운 시스템인 OSVE(One Step Video Editing)를 소개합니다. 비디오의 프레임을 수백 번 지우고 다시 그리는 기존의 느린 방식 대신, OSVE는 단 한 번의 단계만으로 전체 변환을 시도합니다. 저자들은 이것이 단순하게 들릴 수 있지만, 직접적으로 수행할 경우 세 가지 큰 재앙이 발생한다는 것을 발견했습니다. 즉, 비디오가 형태를 잃고, 사물이 해체되며, 프레임 간의 불일치로 인해 스트로보 조명 효과(번쩍임)가 나타난다는 것입니다.

이를 해결하기 위해 팀은 영리한 세 부분의 툴킷을 구축했습니다:

1. "메모리" 인코더 (형태 문제 해결)
보통 비디오를 편집하려면 컴퓨터는 원래의 비디오를 재현하는 데 필요한 "숨겨진 코드"(잠재 노이즈, latent noise)를 파악하기 위해 긴 시간을 보내야 합니다. OSVE는 특수한 **학습 가능한 인코더(learnable encoder)**를 사용하여 이 과정을 건너뜁니다. 이 인코더를 비디오 프레임을 보고 원래의 모습을 재현하는 데 필요한 정확한 "시작 노이즈"를 즉각적으로 추측하는 초스마트 번역기라고 생각하세요.
하지만 여기에는 비결이 있습니다. 저자들은 이 번역기를 특별한 게임을 통해 훈련시켰습니다. 그들은 구조적으로는 동일한 포즈를 취하고 있지만(예: 똑같은 자세로 서 있는 늑대와 곰) '개성'만 다른 이미지 쌍을 보여주었습니다. 그리고 인코더가 이미지의 **골격(skeleton)**을 보존하는 방식으로 시작 노이즈를 예측하도록 가르쳤습니다. 이렇게 하면 컴퓨터가 새로운 비디오를 생성할 때, 동물을 늑대에서 곰으로 바꾸더라도 코와 귀가 어디에 있어야 하는지 정확히 알게 됩니다. 이것이 없다면 비디오는 동물의 머리가 회전하거나 다리가 사라지는 등의 "구조적 붕ert(structural collapse)"를 겪게 될 것입니다.

2. "그룹 허그(Group Hug)" 기법 (깜빡임 문제 해결)
비디오를 프레임 단위로 편집하면, 각 프레임은 마치 자기 자신에게만 말하는 사람과 같습니다. 그들은 옆에 있는 사람이 무엇을 말하고 있는지 모르기 때문에, 중간에 생각을 바꿀 수 있고 이는 비디오의 깜빡임으로 이어집니다. OSVE는 **통합 프레임 편집(Unified-Frame Editing, UFE)**을 도입합니다. 프레임을 하나씩 보는 대신, 비디오를 생성하기 전에 모든 프레임을 하나의 거대하고 긴 데이터 스트립으로 결합합니다.
모든 사람이 동시에 노래하며 서로의 목소리를 들어 화음을 맞추는 합창단을 상상해 보세요. 전체 스트립을 한꺼번에 처리함으로써, AI는 프레임 1의 "호랑이 코"를 보고 프레임 2, 3, 4의 "호랑이 코"와 일치하도록 만들 수 있습니다. 이를 통해 비디오를 매끄럽고 일관되게 유지하여, 빠른 편집 시 흔히 발생하는 떨림이나 번쩍이는 효과를 방지합니다.

3. "앵커(Anchor)" 전략 (긴 비디오를 위한 방법)
모든 프레임을 결합하는 방식은 짧은 클립에는 훌륭하지만, 긴 영화의 경우 컴퓨터의 메모리(VRAM)가 폭발할 것입니다. 이를 해결하기 위해 OSVE는 앵커 프레임을 가진 슬라이딩 윈도우(sliding window) 방식을 사용합니다.
이것은 긴 책의 한 장(chapter)을 편집할 때, 주요 스타일과 캐릭터를 대표하는 하나의 "앵커" 페이지를 선택하는 것과 같습니다. 책을 읽어 내려가는 동안, 당신은 항상 그 앵커 페이지를 손에 들고 참조점으로 삼습니다. 당신은 한 번에 작은 구간(윈도우)을 편집하면서, 장면의 전역적 일관성을 잃지 않도록 항상 앵커를 대조하며 확인합니다. 이를 통해 OSVE는 메모리 부족 현상이나 장면의 일관성 상실 없이 어떤 길이의 비디오도 편집할 수 있습니다.

결과: 속도 대 품질

저자들은 자신들의 시스템을 기존의 최고 방법들과 테스트했습니다. 결과는 놀라웠습니다. 기존 방식들이 짧은 비디오 하나를 편집하는 데 몇 시간(또는 며칠)이 걸렸던 반면, OSVE는 그 시간의 아주 일부분만 사용했습니다. 구체적으로, 이전의 가장 빠른 방식인 RAVE보다 155배에서 171배 더 빠른 것으로 나타났습니다.

이 엄청난 속도 향상에도 불구하고 품질은 떨어지지 않았습니다. 실제로 많은 테스트에서 OSVE는 느린 방식들과 대등하거나 심지어 더 나은 영상을 만들어냈습니다. OSVE는 비디오의 구조를 온전히 유지하고, 깜빡임을 방지하며, 텍스트 명령을 정확하게 따랐습니다. 연구진은 이를 짧은 클립(20 프레임)과 긴 비디오(90 프레임) 모두에서 입증했으며, 동물의 색상을 바꾸거나 배경 전체를 바꾸는 작업 모두에서 시스템이 잘 작동함을 보여주었습니다.

이것이 의미하는 바

이 논문은 단순히 표준적인 원스텝 이미지 생성기를 가져와서 이러한 특별한 수정 없이 비디오에 적용할 수 있다는 생각을 명시적으로 부정합니다. 저자들은 그렇게 할 경우 "구조적 붕괴"와 영상이 무너지는 "오버 스티어링(over-steering)" 현상이 발생한다는 것을 보여주었습니다. 또한 현재의 원스텝 비디오 생성기(Text-to-Video)는 아직 백본(backbone)으로 사용하기에 충분하지 않은데, 이는 흐릿하고 깜빡거리는 결과를 생성하기 때문이라고 언급했습니다. 그것이 바로 그들이 고품질의 원스텝 이미지 생성기 위에 OSVE를 구축하고, 비디오에서도 작동할 수 있도록 자신들만의 "시간적 접착제(temporal glue)"를 추가한 이유입니다.

요약하자면, OSVE는 우리가 더 이상 속도와 품질 사이에서 선택할 필요가 없음을 시사합니다. AI에게 그림을 그리기 전에 구조를 이해하도록 가르치고 프레임들이 서로 "대화"하게 함으로써, 우리는 마침내 문장을 타이핑하는 속도만큼 빠르게 비디오를 편집할 수 있게 되었습니다. 이 돌파구는 실시간 비디오 편집 애플리케이션의 길을 열어주며, 과거에는 느리고 비용이 많이 들었던 과정을 일반 컴퓨터에서도 즉각적으로 일어날 수 있는 일로 바꾸어 놓았습니다.