💻 computer science

FlowC2S: Flowing from Current to Succeeding Frames for Fast and Memory-Efficient Video Continuation

이 논문은 현재 프레임과 다음 프레임 간의 벡터장을 학습하는 'FlowC2S'라는 새로운 방법을 제시하여, 기존 방식 대비 입력 차원을 절반으로 줄이고 5 번의 신경 함수 평가로만 고품질의 비디오 연속성을 생성하면서도 FID 및 FVD 점수에서 최첨단 성능을 달성함을 보여줍니다.

원저자: Hovhannes Margaryan, Quentin Bammey, Christian Sandor

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hovhannes Margaryan, Quentin Bammey, Christian Sandor

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'FlowC2S'**라는 새로운 비디오 생성 기술을 소개합니다. 쉽게 말해, **"지금 보고 있는 영상을 이어 붙여 자연스럽게 다음 장면을 만들어내는 기술"**입니다.

기존의 방식과 FlowC2S 의 방식을 이해하기 위해 몇 가지 비유를 들어 설명해 드릴게요.

1. 기존 방식 vs FlowC2S: "완벽한 새 집 짓기" vs "기존 집 확장하기"

기존 방식 (LTXVCondition 등):
마치 **"빈 땅에 새로운 집을 짓는 것"**과 비슷합니다.

과정: 개발자들은 "지금 있는 영상 (입력)"을 보여주고, 그 옆에 **"아무것도 없는 하얀 천 (노이즈)"**을 펼쳐놓고, "이 하얀 천을 이 영상과 이어지는 멋진 집으로 바꿔줘!"라고 주문합니다.
문제점: 하얀 천 (노이즈) 과 실제 영상 (입력) 을 동시에 처리해야 하므로 컴퓨터의 메모리 (RAM) 를 많이 먹습니다. 또한, 하얀 천을 천천히 다듬어가며 집을 지어야 하므로 시간이 오래 걸립니다.

FlowC2S 방식:
마치 **"기존 집의 벽을 바로 옆으로 밀어서 방을 확장하는 것"**과 같습니다.

과정: FlowC2S 는 "하얀 천"이라는 불필요한 요소를 아예 없애버렸습니다. 대신 **"지금 있는 영상 (입력)"**을 바로 **"다음 장면 (목표)"**으로 이어지는 직선 도로를 만듭니다.
장점: 불필요한 하얀 천을 처리할 필요가 없으니, 컴퓨터 메모리 사용량이 절반으로 줄고, 훨씬 빠르게 다음 장면을 만들어냅니다. (약 5 번의 계산만으로 고화질 영상을 만듭니다.)

2. 두 가지 핵심 비법 (디자인 선택)

이 기술이 이렇게 빨라지고 똑똑해진 데에는 두 가지 비밀이 있습니다.

① inherent Optimal Couplings (자연스러운 짝꿍 찾기)

비유: 영화 편집자가 영화를 만들 때, 앞 장면과 바로 다음 장면을 자연스럽게 이어 붙이는 것처럼요.
설명: 보통 AI 는 무작위로 영상을 고르거나, 서로 관련 없는 장면을 짝지어 학습합니다. 하지만 FlowC2S 는 **"같은 영화의 연속된 장면"**을 짝꿍으로 삼아 학습합니다.
- 예: "차가 오른쪽으로 가는 장면" -> "차가 계속 오른쪽으로 가는 장면"
효과: AI 가 길을 찾을 때 헤매지 않고 가장 직선적인 길을 찾게 되어, 계산 횟수를 획기적으로 줄일 수 있습니다.

② Target Inversion (목표의 역주행)

비유: 요리사가 "다음에 나올 요리의 맛"을 미리 상상하고, 그 맛을 거꾸로 추적해서 "지금 재료를 어떻게 다듬어야 할지"를 미리 아는 것과 같습니다.
설명: AI 가 다음 장면을 만들 때, "어떤 모습으로 완성될지"를 미리 역으로 계산해서 입력값에 섞어줍니다.
효과: 이렇게 하면 AI 가 다음 장면을 그릴 때 상상력이 더 풍부해지고, 영상의 디테일과 선명도가 훨씬 좋아집니다.

3. 왜 이 기술이 중요한가요? (실생활 적용)

이 기술은 단순히 "영상을 길게 만드는 것"을 넘어, **실시간 (Real-time)**이 필요한 분야에서 혁명을 일으킬 수 있습니다.

가상 현실 (VR) / 증강 현실 (AR):
- 현재 VR 안경을 쓰고 있을 때, 머리를 돌리면 화면이 바로 따라와야 합니다. 하지만 AI 가 영상을 만드는 데 시간이 걸리면 화면이 늦어져서 어지러움을 느끼게 됩니다.
- FlowC2S 는 메모리도 적게 쓰고 속도도 매우 빠르기 때문에, 사용자가 머리를 돌리는 순간 바로 다음 장면을 만들어내어 VR 안경이 현실 세계와 완벽하게 동기화되도록 도와줍니다.

4. 요약

무엇인가? 현재 영상을 보고 바로 다음 장면을 만들어내는 AI 기술.
기존과 뭐가 다르나? 불필요한 '노이즈'를 없애고, 현재 영상에서 다음 영상으로 직접 연결되는 길을 만듦.
결과:
- 속도: 기존보다 훨씬 빠름 (5 번의 계산으로 완료).
- 효율: 컴퓨터 메모리 사용량 50% 절감.
- 화질: 선명하고 자연스러운 영상 생성.

결론적으로 FlowC2S 는 **"비디오 생성 AI 를 더 가볍고, 더 빠르고, 더 똑똑하게 만든 차세대 엔진"**이라고 할 수 있습니다.

1. 문제 정의 (Problem)

최근 텍스트 - 비디오 생성 모델의 발전에도 불구하고, 비디오 연속성 (Video Continuation) 즉, 주어진 비디오의 현재 프레임을 기반으로 논리적이고 일관된 미래 프레임을 생성하는 작업은 여전히 어렵습니다. 기존 방법론 (예: LTXVCondition, CausVid 등) 은 다음과 같은 주요 한계를 가지고 있습니다.

높은 메모리 비용: 기존 방식은 주어진 조건부 프레임 (Input Frames) 과 생성할 프레임의 차원을 가진 **가우시안 노이즈 (Gaussian Noise)**를 모두 모델 입력으로 사용합니다. 이는 입력 차원을 두 배로 늘려 GPU 메모리 사용량을 급증시킵니다.
느린 추론 속도: 고품질 생성을 위해 많은 수의 신경 함수 평가 (Neural Function Evaluations, NFEs) 가 필요하여, AR/VR 과 같은 실시간 응용 분야에 적용하기 어렵습니다.
시간적 일관성 유지의 어려움: 복잡한 운동과 장면 전환을 자연스럽게 이어가면서 선명한 디테일을 유지하는 것은 여전히 과제로 남아있습니다.

2. 방법론 (Methodology: FlowC2S)

저자들은 FlowC2S를 제안하며, 이는 사전 학습된 텍스트 - 비디오 흐름 매칭 (Flow Matching) 모델 (예: LTXV, Wan) 을 미세 조정 (Fine-tuning) 하여 현재 프레임에서 succeeding(다음) 프레임으로 직접 흐름을 학습하는 방식입니다.

핵심 기술 요소

현재에서 succeeding 프레임으로의 직접 흐름 (Direct Flowing):
- 기존 방식: 조건부 프레임 + 노이즈 $\rightarrow$ 미래 프레임
- FlowC2S 방식: 조건부 프레임 (현재) $\rightarrow$ 미래 프레임
- 효과: 모델 입력 차원을 2 배 감소시켜 메모리 효율성을 극대화합니다. 노이즈를 입력에서 제거하고, 현재 프레임의 잠재 공간 (Latent Space) 분포를 초기 분포로 사용합니다.
내재적 최적 커플링 (Inherent Optimal Couplings):
- 흐름 매칭 학습 시, 최적의 커플링 (Optimal Couplings) 을 찾기 위해 계산 비용이 큰 최적 수송 (Optimal Transport) 문제를 풀지 않습니다.
- 대신, **동일한 비디오 내에서 시간적으로 인접한 두 개의 청크 (Chunk)**를 소스 ( $x_0$ ) 와 타겟 ( $x_1$ ) 으로 짝짓습니다.
- 효과: 이는 실제 최적 커플링의 강력한 근사치로 작용하여 흐름 궤적을 더 직선화 (Straightening) 시키고, 추론 시 필요한 NFE 수를 획기적으로 줄여줍니다.
타겟 역전환 (Target Inversion, TI):
- 생성 목표가 '노이즈에서 미래'에서 '현재에서 미래'로 바뀌면서 발생하는 불일치를 해결하기 위해 도입되었습니다.
- 타겟 프레임 ( $x_1$ ) 에 대해 RF-Solver 역전환을 수행하여, 해당 프레임을 재구성할 수 있는 역잠재 변수 ( $\hat{x}_1$ ) 를 구합니다.
- 학습 시 일정 확률 ( $\rho$ ) 로 입력 잠재 변수 ( $x_0$ ) 에 이 역잠재 변수 정보를 주입하여, 모델이 타겟 프레임과의 대응 관계를 더 잘 학습하도록 유도합니다. 이는 시각적 충실도 (Visual Fidelity) 를 크게 향상시킵니다.

3. 주요 기여 (Key Contributions)

메모리 효율성: 입력 차원을 2 배 줄여, LTXV 기반 모델에서 피크 GPU 메모리 사용량을 약 50% 감소시켰습니다.
고속 추론: 내재적 최적 커플링과 타겟 역전환을 통해 5~10 단계의 NFE만으로도 기존 최첨단 방법 (40 단계 이상 필요) 보다 우수한 정량적 성능을 달성했습니다.
성능 향상: LTXV 와 Wan 백본을 사용하여 OpenVid 와 NuScenes 데이터셋에서 FID(프레임 품질) 와 FVD(비디오 품질) 측면에서 기존 SOTA(최첨단) 방법들을 모두 능가했습니다.
장기 생성 일반화: 17 또는 41 프레임으로만 학습되었음에도 불구하고, 100 프레임 이상의 긴 비디오 연속 생성에서도 안정적인 성능을 보였습니다.

4. 실험 결과 (Results)

정량적 평가:
- FID/FVD: LTXV 기반 모델은 LTXVCondition 대비 FID 0.48 vs 0.46, FVD 129.20 vs 134.13 으로 더 나은 품질을 보였으며, NFE 는 5~10 으로 4 배 이상 감소했습니다.
- 메모리: 유효 볼륨 (Effective Volume) 당 GPU 메모리 증가율 ( $k$ ) 이 기존 방법 대비 약 2 배 낮았습니다.
- VBench: 주제 일관성, 배경 일관성, 운동 부드러움 등 모든 지표에서 CausVid 등 경쟁 모델을 압도했습니다.
정성적 평가:
- 카메라 줌 아웃, 보트 이동 등 복잡한 운동 패턴을 자연스럽게 이어갔으며, 장면 전환 시에도 일관성을 유지했습니다.
- 사용자 선호도 연구 (User Study) 에서 타겟 역전환 (TI) 을 적용한 결과가 시각적 품질과 시간적 일관성 면에서 3 배 더 높은 선호도를 받았습니다.
Ablation Study:
- 'Scratch' 학습은 수렴이 어렵고 아티팩트가 발생했으나, 사전 학습 모델 미세 조정 (Fine-tuning) 과 함께 OC(최적 커플링) 및 TI(타겟 역전환) 를 적용했을 때 가장 우수한 성능을 보였습니다.
- NFE 가 5~10 일 때 40 단계와 유사한 품질을 달성하여 효율성을 입증했습니다.

5. 의의 및 결론 (Significance)

FlowC2S 는 비디오 생성 분야에서 효율성과 품질의 균형을 맞춘 새로운 패러다임을 제시합니다.

실시간 응용 가능성: 낮은 메모리 사용량과 적은 NFE 덕분에 AR/VR, 로봇 공학 등 지연 시간 (Latency) 이 중요한 분야에서 실시간 비디오 생성의 핵심 구성 요소로 활용될 수 있습니다.
구조적 혁신: 노이즈를 입력에서 제거하고 데이터 분포 간 직접적인 흐름을 학습하는 방식은 차세대 비디오 생성 모델 설계에 중요한 통찰을 제공합니다.
한계 및 향후 과제: 현재는 급격한 장면 전환이나 매우 복잡한 운동에는 다소 취약하며, 고정된 청크 길이로 학습되었습니다. 향후 가변 길이 입력 지원 및 카메라/객체 제어 신호 (Depth, Trajectory 등) 를 통한 제어 가능성 (Controllability) 강화가 필요하다고 명시했습니다.

요약하자면, FlowC2S 는 노이즈 기반 생성에서 데이터 간 직접 흐름 학습으로의 전환을 통해 비디오 연속성 생성의 속도와 메모리 효율성을 혁신적으로 개선한 획기적인 연구입니다.