Stream Forcing: Constructing Unified Training Trajectory for Robust Streaming Video Generation

컴퓨터가 단순히 영상을 보는 것을 넘어, 실시간으로 프레임 단위로 새로운 영상을 꿈꿀 수 있는 세상을 상상해 보십시오. 이것은 인공지능의 흥미로운 최전선인 "스트리밍 비디오 생성(streaming video generation)"의 영역입니다. 이는 세상이 어떻게 움직이고 변하는지를 이해하여 다음에 일어날 일을 예측할 수 있는 디지털 두뇌, 즉 "월드 모델(world model)" 역할을 목표로 하는 기술입니다. 마치 결코 촬영을 멈추지 않는 영화 감독을 떠올려 보십시오. 전체 대본이 다 쓰여지기를 기다리는 대신, 방금 일어난 일을 바탕으로 다음 장면을 즉흥적으로 만들어내며 끊임없이 이어지는 시각적 흐름을 창조합니다. 이를 위해 AI는 "디퓨전(diffusion)"이라는 기술을 사용하는데, 이는 조각과 비슷합니다. 혼란스러운 정적(노이즈)이 가득 담긴 양동이에서 시작하여, 정적을 조금씩 깎아내어 그 아래에 있는 선명하고 움직이는 이미지를 드러내는 과정이라고 상상해 보십시오. 까다로운 점은 컴퓨터가 이를 실시간으로 매끄럽게 수행하기 위해서는 매우 구체적이고 질서 정연한 방식으로 노이즈를 깎아내는 법을 배워야 한다는 것입니다. 하지만 컴퓨터에게 이 구체적인 방식을 가르치면 일반적인 움직임의 규칙을 배우는 데 서툴러지고, 반대로 일반적인 규칙을 가르치면 구체적인 실행에서 비틀거리게 됩니다. 이는 AI에게 있어 전형적인 "캐치-22(진퇴양난)" 상황입니다. 모두가 그렇게 생각했습니다.

이러an한 갈등을 해결하기 위해 설계된 영리한 훈련 방법인 **스트림 포싱(Stream Forcing)**이 등장했습니다. 이 논문의 연구자들은 AI에게 엄격한 규칙 준수 학생이 될 것인지, 아니면 혼돈 속에서 자유롭게 상상하는 예술가가 될 것인지 선택하도록 강요하는 대신, 한 스타일에서 다른 스타일로 서서히 변화하는 "훈련 여정"을 통해 두 가지를 모두 할 수 있도록 가르칠 수 있다는 사실을 깨달았습니다. 그들은 비디오 프레임의 노이즈 수준을 단순한 무작위 추측이 아니라, 각 프레임이 이전 프레임에 의존하는 연결된 이야기로 취급했습니다. 수학적 "지도(stochastic process)"를 사용하여 AI를 안내함으로써, 완전히 독립적이고 무작위적인 프레임으로부터 학습을 시작하여 실제 세계에서 수행될 방식과 같이 고도로 조정되고 단계적인 과정으로 점진적으로 변모하는 매끄러운 경로를 만들어냈습니다.

이 논문은 이러한 "커리큘럼 학습(curriculum learning)" 접근 방식이 놀라운 효과를 거둔다는 것을 보여줍니다. 인간의 행동이 담긴 짧은 클립들을 포함하는 벤치마크 데이터셋인 UCF-101에서 테스트했을 때, 이 AI는 기존의 최고 수준 방법들보다 품질(FVD라는 점수로 측정) 면에서 36.6% 더 우수한 영상을 생성했습니다. 더욱 인상적인 것은, 이 AI가 단순히 짧은 클립에만 능한 것이 아니라, 본 적 없는 훨씬 긴 영상을 만들기 위해 자신의 지식을 "확장"하는 법을 배웠다는 점입니다. AI가 훨씬 긴 시퀀스인 128 프레임을 생성해야 했던 "제로샷(zero-shot)" 테스트에서, UCF-101 데이터셋에 대해 품질을 27.9% 향상시켰습니다. 또한 이 방법은 자율 주행 시뮬레이션과 같은 복잡한 작업에서도 작동함을 보여주었으며, 기존 모델들보다 현저히 낮은 오류율로 주행 영상을 성공적으로 생성했습니다.

그들의 발견의 핵심은 어느 한 쪽을 선택할 필요가 없다는 것입니다. 연속적인 "훈련 궤적(training trajectory)"을 구축함으로써, AI는 무작위 샘플링의 광범위하고 다양한 학습을 누리는 동시에, 실시간 스트리밍에 필요한 엄격하고 일관된 리듬을 숙달할 수 있습니다. 그들은 단 하나의 훈련 스타일(순수하게 무작위이거나 순수하게 순차적인 방식 중 하나)만을 고수해야 한다는 생각이 틀렸음을 입증했습니다. 대신, 두 방식 사이의 매끄러운 전환이 바로 비결임을 증명했습니다. 이 논문은 이 방법이 AI의 모든 문제를 해결한다고 주장하는 것이 아니라, 훈련을 부드럽게 진화하도록 "강제(forcing)"하는 이 특정 방식이 고품질이면서도 캐릭터를 잃지 않고 영원히 실행 가능한 비디오 생성기를 만드는 데 있어 중요한 진전임을 시사합니다.

스트림 포싱의 이야기

문제점: "두 발이 꼬인" AI
당신이 로봇에게 춤을 가르치고 있다고 상상해 보십시오. 여기 두 가지 방법이 있습니다:

1. "프리스타일" 방식: 로봇에게 서로 연결되지 않은 무작위 댄스 동작들을 하나씩 보여줍니다. 로봇은 아주 다양한 동작을 배우지만(훌륭한 커버리지!), 동작들을 어떻게 매끄럽게 연결할지는 배우지 못합니다. 실제 공연에서 춤을 추라고 하면, 리듬을 몰라 멈춰버립니다.
2. "엄격한 리허설" 방식: 로봇에게 실제 공연 순서대로, 단계별로 춤을 연습하도록 강요합니다. 로봇은 리듬을 완벽하게 익히지만(훌륭한 일관성!), 오직 그 특정한 루틴만을 배웁니다. 만약 로봇에게 즉흥 연주를 하거나 새로운 스타일을 배우라고 하면, "엉망진창인" 다양한 동작들을 본 적이 없기 때문에 실패합니다.

오랫동안 AI 비디오 생성기들은 이 딜레마에 갇혀 있었습니다. 만약 "프리스타일" 댄서처럼 훈련하면 영상이 떨리고 끊겨 보였습니다. 만약 "엄격한 리허설" 댄서처럼 훈련하면, 길고 연속적인 비디오 스트림을 생성하지 못하고 무너졌습니다.

해결책: 매끄러운 훈련 여정
이 논문의 저자인 주유팅(Yueting Zhu)과 그의 팀은 AI에게 선택을 강요하는 것을 멈추기로 했습니다. 대신 그들은 "프리스타일"에서 시작하여 "엄격한 리허설"로 부드럽게 휘어지는 긴 길인 **훈련 궤적(training trajectory)**을 구축했습니다.

그들은 이 방법을 **스트림 포싱(Stream Forcing)**이라고 불렀습니다. 이것이 어떻게 작동하는지 간단한 비유를 들어 설명하겠습니다:

AI가 긴 벽화를 그리는 법을 배우는 학생이라고 상상해 보십시오.

• 1단계: 워밍업 (독립적 샘플링). 훈련 초기에는 학생이 각 구역을 완전히 독립적으로 그릴 수 있습니다. 왼쪽은 밝은 빨간색으로, 오른쪽은 차가운 파란색으로, 서로 어떻게 연결되는지는 신경 쓰지 않고 그릴 수 있습니다. 이는 학생에게 그림의 기초를 가르치고 매우 다양한 색상을 다룰 수 있게 해줍니다.
• 2단계: 가교 (커리큘 curriculum 전환). 이것이 마법 같은 부분입니다. 선생님(스트림 포싱 알고리즘)은 서서히 학생에게 힌트를 주기 시작합니다. "이봐, 왼쪽의 빨간색이 오른쪽의 파란색으로 번져 나가는 게 보이니? 그 연결을 좀 더 매끄럽게 만들어보자." 선생님은 규칙을 즉각적으로 바꾸지 않습니다. 대신, 프레임 단위로 학생을 독려하며 이웃한 프레임에 주의를 기울이도록 유도합니다. 그들은 수학적 도구(가우시안 코퓰라, Gaussian Copula)를 사용하여 한 프레임의 노이즈 패턴이 다음 프레임과 도미노가 쓰러지는 것처럼 부드럽게 연결되도록 합니다.
• 3단계: 공연 (추론 정렬 샘플링). 훈련이 끝날 때쯤, 학생은 자연스럽게 진화해 있습니다. 더 이상 무작위로 끊어진 덩어리를 그리는 것이 아닙니다. 이제 모든 붓놀림이 다음 동작을 정확히 알고 있는 매끄럽고 흐르는 듯한 벽화를 그리고 있습니다. 이제 학생은 실제 세계에서 매끄럽고 일관되며 고품질의 비디오 스트림을 생성하며 공연할 준비가 되었습니다.

"비법": 공동 교정 (Joint Calibration)
이 전환이 갑작스러운 도약처럼 느껴져 AI를 혼란스럽게 하지 않도록 하기 위해, 연구자들은 "공동 교정" 알고리즘을 발명했습니다. 이것을 오케스트라의 지휘자로 생각하십시오. 바이올린 섹션이 너무 크고 드럼 소리가 너무 작아지면 음악은 엉망이 됩니다. 지휘자(알고리즘)는 음악이 변함에 따라 모든 악기(모든 비디오 프레임)의 볼륨(노이즈 수준)을 지속적으로 체크하여, 모든 악기가 균형 잡히고 일관된 수준으로 연주하고 있는지 확인합니다. 이를 통해 AI가 한 종류의 데이터에 압도되어 다른 데이터를 무시하는 일이 없도록 보장합니다.

결과: 새로운 표준
스트림 포싱을 테스트했을 때 결과는 인상적이었습니다.

• UCF-101 벤치마크(비디오 생성 표준 테스트)에서, 이 방법은 기존의 최고 방법들보다 품질 점수를 36.6% 향상시켰습니다.
• 또한, 그들은 AI가 훈련받은 것보다 훨씬 긴 영상을 생성하는 "장기적(long-horizon)" 과제를 수행할 수 있는지 테스트했습니다. 이것은 1분짜리 루틴만 연습한 무용수에게 10분짜리 솔로 공연을 요청하는 것과 같습니다. 스트림 포싱은 성공적이었으며, 이러한 긴 영상의 품질을 27.9% 향상시켰습니다.
• 그들은 또한 AI가 다음에 무엇을 보게 될지 예측해야 하는 자율 주행 시뮬레이션(nuScenes 데이터셋 사용)에서도 이를 시험했습니다. 이 방법은 거기서도 작동하여, 기존 모델들보다 더 명확하고 정확한 주행 영상을 만들어냈습니다.

이것이 왜 중요한가
이 논문은 끝없이 고품질의 비디오 스트림을 생성할 수 있는 AI를 만드는 핵심은 단 하나의 훈련 전략을 선택하는 것이 아니라, 두 세계의 장점을 결합한 매끄럽고 진화하는 경로를 만드는 데 있다는 점을 시사합니다. 훈련 과정을 목적지가 아닌 여정으로 취급함으로써, 스트림 포싱은 AI가 세상의 다양성을 배우는 동시에 그것을 항해하는 데 필요한 일관성을 숙달할 수 있게 해줍니다. 이는 때때로 A에서 B로 가는 가장 좋은 방법은 직선이 아니라, 잘 계획된 매끄러운 곡선이라는 사실을 상기시켜 줍니다.