💻 computer science

Self Gradient Forcing: Native Long Video Extrapolation

본 논문은 미래의 손실(loss)이 이전 단계에서 생성된 잠재 변수들이 인과적 메모리에 인코딩되는 방식을 감독할 수 있게 함으로써 자기회귀적 비디오 확산 모델의 과거 문맥-기울기 간극을 메우는 2-패스 학습 전략인 자기 기울기 강제(Self Gradient Forcing, SGF)를 제안하며, 이를 통해 피사체 정체성, 일관성 및 시간적 안정성 측면에서 네이티브 롱 비디오 외삽 성능을 크게 향상시킨다.

원저자: Junhao Zhuang, Shiyi Zhang, Yuxuan Bian, Yaowei Li, Yawen Luo, Yijun Liu, Weiyang Jin, Songchun Zhang, Xianglong He, Xuying Zhang, Haoran Li, Haoyang Huang, Zeyue Xue, Nan Duan

게시일 2026-07-23

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junhao Zhuang, Shiyi Zhang, Yuxuan Bian, Yaowei Li, Yawen Luo, Yijun Liu, Weiyang Jin, Songchun Zhang, Xianglong He, Xuying Zhang, Haoran Li, Haoyang Huang, Zeyue Xue, Nan Duan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 영화의 한 장면을 한 프레임씩 그려내는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 방금 그린 그림을 보고, 거기에 약간의 새로운 디테일을 더한 뒤, 다음 순간을 그리는 예술가입니다. 이것이 현대의 AI 비디오 생성기가 작동하는 방식입니다. 즉, 스스로 생성한 작은 단계들을 사슬처럼 엮어 긴 이야기를 만들어내는 것이죠. 하지만 여기 까다로운 문제가 하나 있습니다. 로봇이 학습할 때, 보통은 완벽한 인간이 만든 영상(마치 정답을 보여주는 선생님처럼)을 보며 연습합니다. 그러나 실제로 영화를 만들 때는, 이전 단계에서 자신이 그린 불완전한 그림들에 의존해야 합니다. 이 불일치는 메트로놈에 맞춰 피아노 연습을 하다가, 실제 공연 때는 메트로놈 없이 연주하는 것과 같습니다. 로봇은 혼란에 빠져 환각을 일으키기 시작하며, 등장인물이 누구였는지, 배경이 어디였는지조차 잊어버리게 됩니다.

이를 해결하기 위해 과학자들은 '셀프 포싱(Self Forcing)'이라는 방법을 개발했습니다. 여기서 로봇은 완벽한 그림 대신 자신의 서툰 그림을 보며 연습합니다. 이를 통해 자신의 실수에 익숙해지도록 돕는 것이죠. 하지만 이 연습법에는 숨겨진 결함이 있습니다. 로봇이 자신의 과거 그림을 '읽는' 법은 배우지만, 그 과거의 그림을 자신의 기억 속에 어떻게 '쓰는지'는 배우지 못한다는 점입니다. 이는 역사책을 읽는 법은 배웠지만, 책에 들어갈 노트를 쓰는 법은 전혀 배우지 못한 학생과 같습니다. 영화가 길어질수록 노트는 엉망이 되고, 이야기는 무너집니다. 로봇은 주인공의 얼굴을 잊고, 배경은 무작위로 변하며, 카메라는 이리저리 요동칩니다.

여기서 **셀프 그래디언트 포싱(Self Gradient Forcing, SGF)**이라는 새로운 아이디어가 등장합니다. 이 논문의 연구자들은 긴 영상을 진정으로 일관성 있게 만들기 위해서, 로봇이 단순히 과거를 읽는 법뿐만 아니라, 자신의 과거를 유용한 기억 형식으로 '쓰는' 법도 배워야 한다는 사실을 깨달았습니다. 그들은 영리한 2단계 훈련 기법을 제안했습니다. 첫째, 로봇은 실제 상황처럼 일반적인 방식으로 영상을 생성하되, 그 과정에서 어떠한 '학습 노트'(그래디언트)도 저장하지 않습니다. 그다음 단계에서, 로봇은 그 서툰 영상을 스냅샷으로 찍어 특별한 방식으로 다시 처리하며, 이 과정을 통해 미래를 위해 더 나은 노트를 작성하는 법을 배울 수 있게 합니다. 이는 마치 로봇이 초안을 작성한 뒤, 그것을 버리고, 곧바로 그 초안을 바탕으로 한 '학습 가이드'를 작성하여 다음에 더 잘 기억하는 법을 스스로 가르치는 것과 같습니다.

결과는 인상적입니다. 이 방법을 사용하면, AI는 단 5초 분량의 영상만으로 학습하여, 등장인물이 괴물로 변하거나 풍경이 혼돈 속으로 녹아내리는 일 없이 60초, 심지 even 240초(4분)까지 성공적으로 확장할 수 있습니다. 테스트 결과, SGF를 통해 제작된 영상은 기존 방식보다 피사체의 정체성, 배경 구조, 그리고 카메라 움직임을 훨씬 더 안정적으로 유지했습니다. 연구진은 기존 방식은 결국 혼란에 빠져 이야기가 어긋나지만, SGF는 이야기의 일관성을 유지한다는 것을 발견했습니다. 이는 AI에게 어떻게 "자신의 역사를 쓰는가"를 가르치는 것이 길고 믿음직한 영화를 만드는 비결임을 입증합니다.

기술 요약: 셀프 그래디언트 포싱 (Self Gradient Forcing, SGF)

1. 문제 정의: 역사적 맥락-그래디언트 격차 (The Historical Context-Gradient Gap)

최근 자기회귀적(autoregressive) 비디오 확산 모델의 발전은 정답(ground-truth) 비디오 컨텍스트 대신 모델이 스스로 생성한 히스토리를 바탕으로 학습하는 셀프 포싱(Self Forcing) 패러다임으로 이동했습니다. 이 접근 방식은 학습 분포를 추론 조건과 일치시킴으로써 노출 편향(exposure bias)을 완화합니다. 그러나 저자들은 현재의 셀프 포싱 구현에서 나타나는 결정적인 한계점인 **역사적 맥락-그래디언트 격차(historical context-gradient gap)**를 식별했습니다.

표준 셀의 포싱에서 모델은 미래 프레임을 예측하기 위해 (Key-Value 캐시를 통해) 스스로 생성된 히스토리를 읽는(read) 법은 배우지만, 그 히스토리를 캐시에 쓰는(writing) 과정은 비지도 상태로 남습니다. 구체적으로는 다음과 같습니다:

고정된 KV 캐시 (Frozen KV Cache): 자기회귀적 롤아웃 동안, 이전에 생성된 잠재 변수(latents)는 깨끗한 컨텍스트 타임스텝( $t_{ctx}=0$ )에서 처리되어 Key-Value 엔트리를 생성합니다. 이 엔트리들은 다음 블록들을 위한 "고정된" 상태로서 캐시에 저장됩니다.
부족한 감독 (Missing Supervision): 미래의 손실 함수(예: 노이즈가 섞인 타임스텝에서의 Distribution Matching Distillation 손실)는 캐시를 읽는 방식(미래 토큰이 히스토리에 어떻게 어텐션을 수행하는지)을 통해서는 역전파될 수 있지만, 캐시에 쓰는 방식(이전 잠재 변수가 어떻게 KV 표현으로 인코딩되는지)을 통해서는 역전파될 수 없습니다.
결과: 롤아웃이 길어짐에 따라, 깨끗한 타임스텝의 KV 엔트리를 쓰는 데 책임이 있는 파라미터들은, 결과물인 메모리 표현이 장기적인 생성에 유용한지에 대한 직접적인 피드백 없이 노이즈가 섞인 타임스텝의 손실에 의해서만 업데이트되기 때문에 드리프트(drift) 현상을 겪게 됩니다. 이는 긴 영상 생성 시 정체성 드리프트(identity drift), 레이아웃 불일치, 장면 전환 등의 문제를 야기합니다.

전체 직렬 롤아웃 그래프를 미분 가능하게 유지하여 미래의 손실이 전체 히스토리를 통해 역전파되도록 하는 직접적인 해결책은, 롤아웃 길이에 따라 그래프가 커짐에 따라 발생하는 메모리 폭발 문제 때문에 계산적으로 불가능합니다.

2. 방법론: 셀프 그래디언트 포싱 (SGF)

저자들은 전체 직렬 롤아웃에 대한 전체 역전파 없이도 누락된 메모리 쓰기 감독 신호를 복구하는 두 단계(two-pass) 학습 전략인 **셀프 그래디언트 포싱 (SGF)**을 제안합니다. SGF는 기존의 포싱 개선 기법들과 직교하며, 그 위에 적용할 수 있습니다.

두 단계 전략 (The Two-Pass Strategy)

SGF는 학습 단계를 두 개의 뚜렷한 단계로 분해합니다:

패스 1: 그래디언트가 없는 자기회귀적 롤아웃 (No-Gradient Autoregressive Rollout)

모델은 추론 시와 동일하게 표준 직렬 자기회귀 롤아웃을 수행하지만, 그래디언트는 비활성화됩니다.
각 블록 $i$ 에 대해, 모델은 현재의 히스토리 KV 캐시를 사용하여 잠재 변수 $z_i$ 를 디노이징합니다.
샘플링된 "탈출 스텝(exit step)" $s$ $s$ (특정 디노이징 타임스텝)에서 모델은 다음을 기록합니다:
1. 노이즈가 섞인 입력 잠재 변수 ( $Z^*$ ).
2. 탈출 스텝에서 생성된 예측된 깨끗한 잠재 변수 ( $\tilde{X}_{ctx}$ ).
깨끗한 잠재 변수는 $t_{ctx}=0$ 에서 처리되어 다음 블록을 위한 직렬 KV 캐시를 업데이트하지만, 이 업데이트는 계산 그래프로부터 분리(detached)됩니다.

패스 2: 병렬 컨텍스트-그래디언트 재구성 (Parallel Context-Gradient Reconstruction)

모델은 직렬 캐시를 버리고, 샘플링된 탈출 스텝에 대한 계산을 병렬로 재구성합니다.
패스 1에서 기록된 깨끗한 잠재 변수 ( $\tilde{X}_{ctx}$ )는 스톱 그래디언트(stop-gradient) 입력으로 모델에 다시 주입됩니다.
모델은 깨끗한 컨텍스트 은닉 상태(hidden states), KV 표현, 그리고 미래-컨텍스트 간의 인과적 어텐션(causal attention)을 재계산합니다.
결정적으로, 이 패스에서 생성된 KV 표현은 미분 가능합니다.
그런 다음 모델은 기록된 노이즈 섞인 잠재 변수 ( $Z^*$ )를 처리하여 예측을 생성하며, 결과 손실(예: DMD 손실)이 역전파됩니다.
결과: 그래디언트는 미래의 손실로부터 타겟 측 디노이징을 거쳐, 어텐션 메커니즘을 지나, KV 쓰기 계산(깨끗한 컨텍스트 포워드 패스)까지 흐르게 됩니다. 이를 통해 미래의 손실이 자기 생성된 히스토리가 어떻게 인코딩되는지를 감독할 수 있게 합니다.

기술적 구현 세부 사항

그래디언트 경계 (Gradient Boundary): 이 방법은 전체 롤아웃 역전파(BPTT)를 피합니다. 그래디언트는 제한된 패스-2 재구성을 통해서만 흐릅니다. 재구성에 사용되는 입력(기록된 잠재 변수)은 스톱 그래디언트 상태를 유지하여, 최적화가 롤아웃 궤적 자체가 아닌 쓰기 메커니즘에 집중하도록 보장합니다.
효율성: 정적 인과적 마스크(예: FlexAttention 활용)를 사용하는 병렬 재구성을 통해, SGF는 미분 가능한 직렬 캐시와 관련된 메모리 폭발 문제를 방지합니다.
**스트리밍 정책 (Streaming Policy): 프레임 단위 생성의 경우, SGF는 싱크-플러스-FIFO(sink-plus-FIFO) 컨텍스트 정책을 사용하여 고정된 싱크 접두사와 최근 잠재 변수 윈도우를 유지함으로써 그래디언트 포싱의 효과를 격리합니다.

3. 주요 기여

격차 식의: 논문은 고정된 캐시를 사용하는 셀프 포싱에서의 "역사적 맥락-그래디언트 격차"를 공식적으로 식별하였으며, 여기서 미래의 손실이 캐시 읽기는 감독하지만 깨끗한 컨텍스트 쓰기 계산은 감독하지 못해 장기 생성 시 드리프트가 발생함을 밝혀냈습니다.
SGF 알고리즘: 병렬 컨텍스트-그래디언트 재구성을 통해 메모리 쓰기 감독을 복구하는 두 단계 학습 전략을 도입하여, 미래의 손실이 모델로 하여금 더 효과적인 인과적 메모리로 컨텍스트를 인코딩하도록 훈련할 수 있게 합니다.
실험적 검증: SGF가 60초 및 240초 호라이즌에서 셀프 포싱보다 나은 성능을 보이면서도, 5초 호라이즌의 품질은 유지하며 네이티브 롱-비디오 외삽(extrapolation) 능력을 크게 향상시킨다는 것을 광범한 실험을 통해 입증했습니다.

4. 실험 결과

저자들은 프레임 단위 및 청크 단위 생성에 대해 다양한 초기화 방식(Causal ODE, Causal CD, Teacher Forcing)과 호라이즌(5s, 60s, 240s)을 사용하여 SGF를 매칭된 셀프 포싱 베이스라인과 비교 평가했습니다.

정량적 지표:
- SGF는 60초 및 240초 호라이즌에서 주체 일관성(subject consistency), 배경/레이아웃 일관성, 시간적 안정성(깜빡임), 미적 품질 측면에서 셀프 포싱을 지속적으로 능가했습니다.
- 셀프 포싱이 때때로 "동적 정도(dynamic degree)"에서 더 높은 점수를 기록하기도 했으나, 저자들은 이를 품질의 향상이 아닌 비일관적인 움직임(장면 점프, 객체 변형) 때문이라고 설명했습니다. SGF는 더 안정적이고 타당한 카메라 진화를 유지합니다.
- 5초 호라이즌에서 SGF는 셀프 포싱과 대등한 성능을 보여, 이 방법이 단기 생성 품질을 저하시지 않음을 확인했습니다.
정성적 결과:
- 시각적 비교 결과, 셀프 포싱 모델은 외삽이 계속됨에 따라 정체성 드리프트, 뷰 점프, 레이아웃 붕괴를 겪는 반면, SGF 모델은 단 5초의 윈도우로 훈련되었음에도 240초 동안 주체의 정체성, 포즈, 장면 레이아웃을 보존합니다.
사용자 조사: 1,900개 이상의 쌍 비교 판단을 포함한 블라인드 GSB(Greater-Same-Better) 선호도 조사 결과, 모든 테스트 설정에서 SGF가 셀프 포싱보다 일관되게 선호되었으며, 약 29%~48% 범위의 긍정적인 선호 점수를 기록했습니다.
학습 가능성: SGF는 약간의 오버헤드를 발생시킵니다. 피크 메모리는 약간 증가하지만(약 79GB에서 87GB), 순환 그래프의 제거로 인해 안정 메모리는 감소합니다(약 79GB에서 63GB). 런타임은 5번의 학습 스텝당 약 1.3초 증가합니다.

5. 의의 및 주장

본 논문은 SGF가 현재의 자기회귀적 비디오 확산 학습의 근본적인 한계, 즉 미래의 손실이 메모리에 자기 생성된 히스토리를 인코딩하는 과정을 감독할 수 없다는 점을 해결한다고 주장합니다.

네이티브 외삽 (Native Extrapolation): SGF는 짧은 윈도우(예: 5초)로 훈련된 모델이 훨씬 더 일관된 방식으로 분 단위 영상(60초, 240초)을 생성할 수 있도록 합니다.
직교성 (Orthogonality): 이 방법은 충돌 없이 다른 포싱 기법(예: Causal Forcing, Rolling Forcing) 및 초기화 전략과 결려 사용할 수 있는 드롭인(drop-in) 개선책으로 제시됩니다.
메모리 쓰기 감독 (Memory-Writing Supervision): 핵심적인 의의는 훈련 목표를 단순히 자신의 히스토리를 읽는 법을 배우는 것에서, 미래 생성 단계에 유용하게 유지될 수 있는 방식으로 메모리에 쓰는 법을 배우는 것으로 전환했다는 데 있습니다.

저자들은 SGF가 역사적 맥락-그래디언트 격차를 메움으로써, 전체 미분 가능한 롤아웃의 과도한 메모리 비용 없이도 고품질의 네이티브 롱-비디오 생성을 향한 확장 가능한 경로를 제공한다고 결론지었습니다.