💻 computer science

FreqForcing: Autoregressive Long Video Generation via Spectral Self-Anchoring

이 논문은 짧은 클립으로 사전 학습된 모델로부터 고품질의 2분 길이 비디오 합성을 가능하게 하기 위해, 저주파 성분을 안정화하는 동시에 고주파 움직임을 보존하는 스펙트럼 자기 닻 내리기(Spectral Self-Anchoring)를 채택함으로써 자기회귀적 긴 비디오 생성에서의 오차 누적을 완화하는 훈련 불필요 프레임워크인 FreqForcing을 소개한다.

원저자: Jiatong Li, Leo Liang, Linghe Kong, Yulun Zhang

게시일 2026-07-30

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jiatong Li, Leo Liang, Linghe Kong, Yulun Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문장을 입력하기만 하면 눈앞에서 프레임 단위로 영화가 펼쳐지는 세상을 상상해 보십시오. 이것이 바로 '자기회귀 비디오 생성(autoregressive video generation)'의 꿈입니다. 이는 컴퓨터가 단순히 이야기의 다음 단어를 예측하는 것을 넘어, 영화의 다음 '이미지'를 예측하는 최첨단 인공지능 분야입니다. 이를 위해 AI는 마치 자신이 그린 마지막 몇 장의 그림을 보고 다음에 올 장면을 결정하는 스토리텔러처럼 행동합니다. 이는 이미지를 가지고 하는 '전화기 놀이(telephone game)'와 비슷합니다. 컴퓨터는 이전 프레임을 가져와 약간의 새로운 디테일을 더하고 이를 전달합니다. 문제는 무엇일까요? 만약 컴퓨터가 첫 번째 그림에서 아주 작은 실수를 한다면, 그 오류는 두 번째, 세 번째 프레임으로 계속 전달됩니다. 긴 영화를 만드는 동안, 이 작은 실수들은 언덕을 내려가는 눈덩이처럼 쌓여 결국 아름다운 장면을 흐릿하고 색감이 변해버린 엉망진창인 상태로 만들어 버립니다. 과학자들은 비디오가 무너지지 않고 길고 안정적인 영상을 생성할 수 있도록 이 '오류 누적(error accumulation)' 문제를 해결하기 위해 노력해 왔습니다.

"FreqForcing"이라는 제목의 이 논문은 비디오 생성을 '음파(sound waves)'라는 다른 관점에서 바라봄으로써 바로 그 문제를 다룹니다. 저자들은 AI 영화가 잘못되기 시작할 때, 그것이 단순한 시각적 결함이 아니라 이미지의 '주파수(frequency)'가 변하는 현상이라는 점을 깨달았습니다. 이는 마치 노래가 음정이 이탈하는 것과 같습니다. 그들은 '앵커(anchor)' 프레임을 메모리에 유지하여 AI에게 시작 부분을 상기시키는 기존의 방식들이 도움이 되긴 했지만, 드리프트(drift, 편차)를 완전히 막지는 못했다는 것을 발견했습니다. 연구팀은 '스펙트럴 셀프-앵커링(Spectral Self-Anchoring, 스펙트럼 자기 닻 내리기)'이라는 새로운 기술을 제안했습니다. 이것은 AI의 '이중 뇌' 시스템과 같습니다. 한쪽 뇌는 빠르고 역동적인 디테일(캐릭터의 빠른 움직임 등)에 집중하고, 다른 쪽 뇌는 비디오의 시작 부분에서 낮은 주파수의 안정적인 '앵커'를 붙잡아 색상과 레이아웃이 변하지 않도록 유지합니다. 이 두 신호를 혼합함으로써, 그들은 비디오가 붕괴되는 것을 막을 수 있었습니다. 이 방법은 AI를 처음부터 다시 학습시킬 필요 없이, 5초 길이의 짧은 클립으로 학습된 모델을 안정적인 2분 길이의 영상으로 생성할 수 있도록 성공적으로 확장했습니다. 이는 무려 24배나 늘어난 길이입니다.

문제점: 비디오의 "전화기 놀이"

친구와 함께 전화기 놀이를 한다고 상상해 보십시오. 하지만 문장을 속삭이는 대신 그림을 그리는 것입니다. 당신이 고양이를 그리고 친구에게 넘기면, 친구는 꼬리를 추가해서 다시 당신에게 넘깁니다. 만약 친구가 실수로 꼬리를 약간 비뚤게 그렸고, 당신이 그것을 고치려다 오히려 조금 더 크게 그려서 다음 사람에게 넘겼는데, 그 사람이 그것을 훨씬 더 크게 그린다면, 결국 귀여운 고양이 대신 기괴하게 왜곡된 괴물이 탄생하게 될 것입니다. 이것이 바로 자기회귀 비디오 생성에서 일어나는 일입니다. AI는 비디오를 한 번에 한 덩어리씩 생성하며, 이전 덩어리를 사용하여 다음 덩어리를 예측합니다. 비디오가 길어질수록 색상, 모양, 움직임에서의 미세한 오류들이 축적됩니다. 그 결과는 무엇일까요? 비디오가 '드리프트(drift)'하기 시작합니다. 색상이 파란색에서 보라색으로 변하거나, 캐릭터의 움직임이 멈추거나, 장면 전체가 정적(static)으로 녹아내릴 수 있습니다.

발견: 비디오의 "웅성거림"을 듣다

이 논문의 저자들은 이미지를 보는 것이 아니라, 이미지를 '듣는 것'을 통해 이 드리프트 현상을 조사하기로 했습니다. 그들은 푸리에 변환(Fourier Transform)이라는 수학적 도구를 사용했는데, 이는 소리나 이미지를 위한 프리즘과 같습니다. 프리즘이 백색광을 무지갯빛 색깔로 나누듯, 이 도구는 이미지를 서로 다른 '주파수'로 나눕니다.

**고주파(High frequencies)**는 날카롭고 선명한 디테일과 같습니다: 촛불의 깜빡임, 털의 질감, 혹은 빠른 손짓 같은 것들입니다.
**저주파(Low frequencies)**는 깊은 베이스 음과 같습니다: 방의 전체적인 형태, 전반적인 색조, 그리고 장면의 커다란 레이아웃 같은 것들입니다.

연구진은 실패하는 비디오들을 분석했을 때 기이한 패턴을 발견했습니다. 비디오 생성이 진행됨에 따라 이미지의 저주파 부분에 있는 '에너지'가 서서히 사라지기 시작했습니다. 마치 노래의 깊은 베이스 음이 서서히 음정을 바꾸면서 곡 전체의 안정성을 해치는 것과 같았습니다. 고주파 디테일(움직임) 또한 떨림 현상이 나타났지만, 근본적인 원인은 이 저주파의 드리프트였습니다.

기존의 해결책: 충분히 강하지 않았던 "앵커"

이 논문 이전에도 연구자들은 '어텐션 싱크(attention sink)'라는 것을 사용하여 이를 해결하려 했습니다. 긴 이야기를 기억하려고 노력한다고 상상해 보십시오. 만약 마지막 몇 문장만 기억한다면, 이야기의 시작 부분을 잊어버릴 수 있습니다. '어텐션 싱크'는 이야기를 계속하는 동안 처음 몇 문장을 마음속에 영구적으로 간직하는 것과 같습니다. 비디오의 관점에서 보면, AI가 매우 완벽한 초기 프레임 몇 개를 메모리에 유지하고 스스로 그것들에 주목하도록 강제하는 것입니다.

저자들은 이 방식이 도움이 된다는 것을 확인했습니다. 이는 더 강력한 닻(anchor)을 가진 것과 같아서, 비디오가 드리프트하는 속도를 늦춰주었습니다. 하지만 완벽한 해결책은 아니었습니다. 앵커가 있음에도 불구하고 저주파 에너지는 시간이 지남에 따라 여전히 서서히 드리프트했고, 결국 비디오 품질이 저하되었습니다. 닻은 있었지만, 흐름을 막을 만큼 강하게 잡아당기지 못했던 것입니다.

새로운 솔루션: FreqForcing과 스펙트럴 셀프-앵커링

연구팀은 그 앵커를 더 똑똑하게 사용하는 방법이 필요하다는 것을 깨달았습니다. 그들은 FreqForcing이라 명명한 새로운 프레임워크를 제안했으며, 여기에는 **스펙트럴 셀프-앵커링(Spectral Self-Anchoring, SSA)**이라는 기술이 사용되었습니다.

이것이 어떻게 작동하는지 창의적인 비유를 들어 설명하겠습니다:
AI가 거대한 벽화를 그리는 화가라고 상상해 보십시오.

로컬 화가 (고주파): 한 명의 화가는 즉각적인 동작에 집중합니다. 이 화가는 빠른 움직임, 깜빡이는 빛, 작은 디테일들을 그립니다. 이 화가는 '현재'를 포착하는 데 능숙하지만, 지나치게 몰입하다 보면 큰 그림을 놓칠 수도 있습니다.
앵커 화가 (저주파): 두 번째 화가는 벽화의 아주 첫 번째, 완벽한 스케치만을 바라보는 거장입니다. 이 화가는 새로운 디테일을 그리지 않습니다. 대신 이미지의 안정적인 저주파 '영혼', 즉 색상, 레이아웃, 캐릭터의 정체성을 붙잡고 있습니다.
혼합: 로컬 화가가 멋대로 행동하게 두는 대신, AI는 로컬 화가의 작업물에 앵커 화가의 안정적인 저주파 신호를 부드럽게 섞습니다. 이는 마치 DJ가 댄스 플로어가 혼란스러워지지 않도록 에너지 넘치는 라이브 트랙에 안정적이고 깊은 베이스 라인을 믹싱하는 것과 같습니다.

이 '믹싱'은 주파수 영역(frequency domain)에서 일어납니다. AI는 현재 프레임으로부터 빠른 움직임 부분을 가져오고, '앵커' 프레임으로부터 안정적인 저주파 부분을 가져와 이 둘을 융합합니다. 이를 통해 색상이 변하는 것을 막고 레이아웃을 안정적으로 유지하면서도, 비디오가 자연스럽게 움직이고 변화할 수 있게 합니다.

결과: 5초에서 2분으로

연구팀은 원래 5초 길이의 비디오 클립만을 생성하도록 학습된 모델을 대상으로 이 새로운 방법을 테스트했습니다. 이 수정 사항이 없었다면, 모델은 더 길게 만들려고 시도할 경우 무너졌을 것입니다. 하지만 FreqForcing을 통해, 그들은 생성을 2분까지 연장할 수 있었습니다. 이는 무려 24배의 증가입니다!

그들은 이 방법이 AI의 값비싼 재학습을 요구하는 다른 최고 수준의 기술들과 비교했을 때도 우수함을 입증했습니다. 결과적으로 FreqForcing은 경쟁 모델들보다 더 일관되고, 움직임이 좋으며, 시각적 글리치(glitch)가 적은 비디오를 만들어냈습니다. 이 방식은 비디오가 마치 녹아내리는 꿈처럼 보이는 대신, 하나의 일관된 영화처럼 보이도록 유지해 냈습니다.

이것이 중요한 이유

이 연구는 매우 중요합니다. 왜냐하면 매우 비싸고 에너지가 많이 드는 AI 모델의 재학습 과정 없이도 길고 고품질의 비디오를 생성할 수 있는 방법을 제시하기 때문입니다. AI가 자신의 과거를 생각하는 방식(주파수 기반의 앵커 사용)을 바꾸는 것만으로도, 훨씬 더 긴 콘텐츠를 생성할 수 있는 능력을 열어주었습니다. 이는 우리가 이러한 문제를 해결하기 위해 반드시 더 크고 복잡한 모델을 가질 필요는 없음을 시사합니다. 때로는 데이터의 음악을 조금 더 주의 깊게 '듣는' 것만으로도 충분할 수 있습니다.

기술 요약: FreqForcing

문제 정의
Self-Forcing과 같은 자기회귀(Autoregressive) 비디오 확산 모델은 캐싱된 키-값(KV) 상태를 재사용하며 프레임을 순차적으로 생성함으로써 실시간 스트리밍 비디오 생성을 가능하게 합니다. 그러나 이러한 모델은 긴 시간 지평(horizon) 동안 오차가 누적되는 문제를 겪습니다. 모델이 시간이 지남에 따라 스스로 롤아웃(self-rollout)을 수행함에 따라, 오류가 반복적으로 피드백되어 색상 드리프트(color drift), 움직임 정체(motion stagnation), 그리고 궁극적인 시각적 품질 저하로 특징지어지는 시각적 붕괴가 발생합니다. 기존의 해결책은 더 나은 증류(distillation)를 통해 안정성을 개선하는 학습 기반 방법(계산 비용이 높음)과 RoPE 조정 또는 KV 캐시 관리를 통해 추론 시 개입하는 학습 불필요(training-free) 방법의 두 가지 범주로 나뉩니다. 그러나 현재의 학습 불료 필요 없는 방식들은 분 단위의 비디오 생성을 위한 시각적 품질을 보장하는 데 어려움을 겪고 있습니다.

방법론: 주파수 영역 분석 및 스펙트럼 자기 앵커링(Spectral Self-Anchoring)
저자들은 주파수 영역 관점에서 오차 누적 현상을 규명합니다. 잠재 공간(latent-space)과 픽셀 공간(pixel-space) 출력 모두에 대한 스펙트럼 분석을 통해, 저자들은 오차 누적이 저주파 대역(DC 성분, 색조, 레이아웃, 정체성)에서의 뚜렷한 에너지 드리프트로 나타나며, 고주파 성분(국소적 움직임, 세부 디테일)은 불안정해진다는 것을 관찰했습니다.

기존 연구들이 "어텐션 싱크(attention sink)"(KV 캐시에 초기 토큰을 유지하는 것)가 이러한 드리프트를 어느 정도 완화한다는 점을 입증했지만, 저자들은 이것이 특히 분 단위 생성에서는 문제를 완전히 해결하기에는 불충분하다는 것을 발견했습니다.

이를 해결하기 위해, 본 논문은 **스펙트럼 자기 앵커링(Spectral Self-Anchoring, SSA)**을 중심으로 하는 학습 불필요 프레임워크인 FreqForcing을 제안합니다. 방법론은 다음과 같이 작동합니다:

이중 브랜치 어텐션(Dual-Branch Attention): 추론 중에 모델은 두 개의 병렬 어텐션 브랜치를 사용합니다:
- 로컬 어텐션(Local Attention): 최근의 변화와 고주파 디테일을 포착하기 위해 어텐션 싱크를 포함한 표준 슬라이딩 윈도우 인과적 어텐션(sliding-window causal attention)을 따릅니다.
- 앵커 어텐션(Anchor Attention): 모델의 사전 학습된 지평(예: 첫 21개 프레임) 내에서 생성된 고품질 "앵커 프레임"의 별도 캐시를 유지합니다. 이 캐시는 채워지면 동결되며 안정적인 저주파 가이드를 제공합니다.
스펙트럼 앵커링(Spectral Anchoring): 로컬 브랜치와 앵커 브랜치의 출력은 주파수 영역에서 융합됩니다.
- 로컬 어텐션 출력( $A_{loc}$ )과 앵커 어텐션 출력( $A_{anc}$ )은 3D 고속 푸리에 변환(FFT)을 통해 변환됩니다.
- 저주파 성분을 분리하기 위해 공간-시간 가우시안 저역 통과 필터( $H_{lp}$ )가 적용됩니다.
- 융합된 출력( $A_{fused}$ )은 앵커 어텐션으로부터 얻은 저주파 잔차(residual)를 로컬 어텐션에 주입함으로써 구성됩니다:
  $\hat{A}_{fused} = \hat{A}_{loc} + \lambda H_{lp}(\hat{A}_{anc} - \hat{A}_{loc})$
- 여기서 $\lambda$ 는 앵커링의 강도를 조절합니다. 이 과정은 로컬 어텐션의 역동적인 움직임을 보존하면서 저주파 스펙트럼 드리프트를 억제합니다.
시간적 RoPE 정렬(Temporal RoPE Alignment): 증가하는 시간적 거리로 인해 발생하는 부자연스러운 아티팩트를 방지하기 위해, 이 방법은 싱크 프레임과 앵커 프레임의 시간 인덱스를 현재의 슬라이딩 윈도우와 일치하도록 이동시켜 상대적 위치를 사전 학습 범위 내로 유지합니다.
효율성 최적화: 계산 오버헤드를 최소 최소화하기 위해, SSA는 글로벌 레이아웃이 설정되는 처음 두 번의 디노이징 단계에서만 적용되며 작은 앵커 캐시 크기( $N_{anc}=6$ )를 사용합니다. 이는 추론 지연 시간을 약 16.5%만 증가시킵니다.

주요 기여

주파수 영역 특성화: 본 논문은 저주파 대역에서의 스펙트럼 에너지 드리프트와 자기회귀적 오차 누적 사이의 연관성을 밝히는 새로운 분석을 제공합니다.
스펙트럼 자기 앵커링(SSA): 재학습 없이 시각적 품질을 안정화하기 위해 주파수 영역에서 로컬 및 앵커 어텐션 출력을 융합하는 학습 불필요 메커니즘입니다.
확장된 생성 능력: 5초 클립에 대해 사전 학습된 Self-Forcing을 안정적인 2분 생성(24배 확장)으로 확장하여, 기존의 학습 불필요 방법들을 능가하고 학습 기반 접근 방식과 경쟁할 수 있는 수준을 유지합니다.

결과
VBench-Long 벤치마크에 대한 광범적인 실험은 FreqForcing의 효능을 입증합니다:

정량적 성능: FreqForcing은 학습 불필요 방법들 중 최고 수준의 결과를 달encing하며, 60초 및 120초 생성 모두에서 "역동성 정도(Dynamic Degree)"와 "전반적 일관성(Overall Consistency)" 측면에서 학습 기반 방법들을 능가합니다. 예를 들어, 120초 생성에서 Dynamic Degree 58.97, Overall Consistency 20.98을 달성하여 Self-Forcing(27.42 및 16.17)과 Deep Forcing(41.78 및 20.80)보다 우수한 성능을 보였습니다.
정성적 안정성: 시각적 비교 결과, Self-Forcing은 심각한 색상 드리프트와 시각적 페이딩을 겪고 다른 방법들이 움직임 지터(jitter)나 반복되는 장면을 보이는 반면, FreqForcing은 일관된 색상과 보존된 움직임 역학을 가진 시각적으로 안정적인 비디오를 생성합니다.
절제 연구(Ablation Studies): SSA 또는 어텐션 싱크를 제거하면 성능이 크게 저하됩니다. 하이퍼파라미터 분석은 저주파 주입 강도( $\lambda$ )와 필터 폭( $\sigma$ )의 균형을 맞추는 것이 과도한 시각적 반복을 유발하지 않으면서 시간적 일관성을 유지하는 데 매우 중요하다는 것을 보여줍니다.

의의
본 논문은 FreqForcing이 자기회귀 비디오 생성의 근본적인 한계인 긴 시간 지평에서의 오차 누적 문제를 해결한다고 주장합니다. 관점을 주파수 영역으로 전환하고 고품질의 과거 프레임을 사용하여 저주파 안정성을 "앵커링"하는 메커니즘을 도입함으로써, 이 방법은 견고한 학습 불필요 장기 비디오 생성을 가능하게 합니다. 이는 짧은 클립 사전 학습과 인터랙티브 월드 모델 및 체화된 의사결정(embodied decision-making)과 같이 분 단위의 스트리밍 비디오 합성이 필요한 응용 분야 사이의 간극을 재학습의 계산 비용 없이 메웁니다.