💻 computer science

AdaState: Self-Evolving Anchors for Streaming Video Generation

AdaState는 자기 진화형 적응형 잠재 앵커를 도입하여 자기회귀 비디오 확산 모델의 정적 첫 프레임 참조를 대체함으로써, 시간을 상대적으로 처리하고 생성 과정에 재귀를 통합하여 자연스러운 장면 진행과 풍부한 움직임을 가능하게 합니다.

원저자: Yusuf Dalva, Pinar Yanardag

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yusuf Dalva, Pinar Yanardag

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구에게 길고 연속적인 이야기를 들려주려는데, 한 번에 세 문장씩만 짧게 말할 수 있다고 상상해 보세요. 매번 새로운 말뭉치를 시작할 때마다 친구가 혼란스러워하지 않도록 이야기의 아주 처음에 무슨 일이 있었는지 상기시켜 주어야 합니다.

AI 비디오 생성 세계에서는 정확히 이런 일이 발생합니다. AI 는 프레임 단위 (또는 작은 덩어리 단위) 로 비디오를 구축하며, 이야기의 일관성을 유지하기 위해 자신이 만든 첫 번째 프레임에 크게 의존합니다.

문제: "얼어붙은 닻"

이 논문은 첫 번째 프레임에 대한 이러한 의존성을 "정적 닻 (static anchor)"이라고 부릅니다. 움직이지 않는 등대라고 생각하면 됩니다.

현재 작동 방식: AI 는 첫 번째 프레임을 궁극적인 진실로 취급합니다. 나중에 이야기가 얼마나 변하든, AI 는 다음 행동을 결정하기 위해 그 첫 번째 프레임을 계속 돌아봅니다.
결함: AI 가 그 첫 번째 프레임에 너무 집착하기 때문에 갇히게 됩니다. 만약 AI 에게 도시를 날아다니는 카메라의 비디오를 만들어 달라고 요청하면, AI 는 도시가 첫 초와 정확히 동일하게 유지되도록 너무 걱정하여 카메라가 움직이거나 건물이 변하는 것을 허용하지 않습니다.
결과: 비디오는 카메라가 한곳에 고정된 슬라이드쇼처럼 보이거나, 더 나쁘게는 AI 가 새로운 장면을 오래되고 얼어붙은 레이아웃에 맞추려고 애쓰면서 사물의 기이한 복제본을 환각처럼 만들어냅니다. 이는 뒷유리만 바라보며 운전하는 것과 같습니다. 어디로 가고 있는지 볼 수 없습니다.

해결책: AdaState ("자기 진화하는 닻")

저자 유수프 달바 (Yusuf Dalva) 와 피나르 야나르다그 (Pinar Yanardag) 는 AdaState라는 새로운 방법을 제안합니다. 얼어붙은 등대 대신 AI 에게 살아 숨 쉬는 기억을 부여하는 것입니다.

다음은 간단한 비유를 사용한 AdaState 의 작동 방식입니다:

1. "유령" 캐릭터
AI 가 이야기를 쓴다고 상상해 보세요. 보통 AI 는 책상에 주인공의 사진을 두고 그것을 절대 바꾸지 않습니다. AdaState 를 사용하면 AI 는 "유령 캐릭터 (적응 상태)"를 생성합니다.

이 유령은 관객에게 결코 보이지 않습니다 (최종 비디오에는 렌더링되지 않습니다).
그러나 이야기의 모든 단계에서 AI 는 방금 일어난 일에 따라 이 유령을 업데이트합니다.
유령은 장면의 "본질"을 앞으로 운반합니다. 이야기에서 해가 지면, 유령 자체가 보이는 캐릭터는 아니지만 유령은 일몰을 반영하도록 업데이트됩니다.

2. 재귀 (루프)
일반적인 비디오 AI 에서 "기억"은 과거 프레임의 목록일 뿐입니다. AdaState 에서는 기억이 과정이 됩니다.

릴레이 경주를 생각해 보세요. 첫 번째 주자 (첫 번째 프레임) 가 두 번째 주자에게 배턴을 넘깁니다. 하지만 AdaState 에서는 배턴이 달리는 동안 모양이 변합니다.
AI 는 단순히 과거를 복사하지 않고, 매 단계마다 닻을 재창조합니다. "지금 우리가 어디에 있는지를 고려할 때, 이야기가 자연스럽게 진행되도록 '닻'이 어떻게 보여야 할까?"라고 묻는 것입니다.
이를 통해 카메라는 미끄러지듯 움직이고, 조명은 변하며, 장면은 진화할 수 있지만 여전히 하나의 연속된 이야기처럼 느껴집니다.

3. 장기 훈련
논문은 또한 이러한 모델을 훈련할 때 AI 가 비디오의 시작 부분 (이 부분이 쉽고 깔끔하기 때문) 에 너무 집중하고, 실수가 쌓이는 끝부분은 무시하는 경향이 있음을 발견했습니다.

해결책: 그들은 "Horizon-Weighted DMD"라는 특수 훈련 기법을 사용했습니다. 시험의 마지막 부분의 답안에 더 많은 점수를 주기로 결정한 교사를 상상해 보세요. 이는 AI 가 시작뿐만 아니라 장기적인 일관성에도 주의를 기울이도록 강제합니다.

결과

이 새로운 방법을 테스트했을 때:

기존 AI: 매우 안정적이지만 지루한 (움직임이 없는) 비디오를 만들거나, 매우 역동적이지만 몇 초 후 무의미한 것으로 무너져 내리는 비디오를 만들었습니다.
AdaState: 안정적이면서도 역동적인 비디오를 만들었습니다. 카메라는 30 초 동안 해안선을 날아다니며 새로운 지형과 변하는 조명을 드러냈지만, 비디오가 얼어붙거나 결함투성이의 소란으로 변하지 않았습니다.

요약

이 논문은 길고 흐름이 있는 비디오를 만들기 위해서는 첫 번째 프레임을 영구적인 규칙집으로 취급하는 것을 멈춰야 한다고 주장합니다. 대신 이야기가 진행됨에 따라 스스로 업데이트하는 "자기 진화하는 닻"이 필요합니다. AdaState 는 AI 가 지속적으로 갱신하는 숨겨진 특수한 보이지 않는 기억 슬롯을 통해 이를 수행하여, 비디오가 정체성을 잃지 않으면서 자연스럽게 앞으로 나아갈 수 있게 합니다.

기술 요약: AdaState – 스트리밍 비디오 생성을 위한 자기 진화형 앵커

1. 문제 제기

자기회귀 비디오 확산 모델은 이전에 생성된 콘텐츠에 조건을 부여하여 각 새로운 청크를 생성함으로써 프레임들을 순차적으로 생성하여 스트리밍 비디오를 만듭니다. 이러한 모델의 근본적인 구조적 한계는 **정적 앵커(static anchor)**에 대한 의존성입니다. 즉, 첫 번째 프레임의 키-값 (KV) 표현이 어텐션 캐시에서 위치 0 의 특권적인 위치를 차지합니다.

'어텐션 싱크 (attention-sink)' 현상으로 인해 인과적 소프트맥스가 초기 위치에 질량을 집중시키므로, 이 정적 앵커는 생성 과정 전반에 걸쳐 불균형적으로 많은 어텐션을 끌어당깁니다. 이는 정적 일관성을 보장하지만 비디오의 역동성을 억제합니다. 모델은 사실상 초기 시점에 고정되어 자연스러운 장면의 진화, 카메라 이동, 그리고 대상의 진행을 방해합니다. 생성이 길어질수록 모델은 진화하는 장면과 고정된 참조를 조화시키는 데 어려움을 겪으며, 이는 다음과 같은 두 가지 결과로 이어집니다:

시간적 피상성 (Temporal Shallowness): 첫 번째 프레임과의 일관성을 유지하기 위해 운동과 장면 진행이 억제됩니다.
드리프트 및 아티팩트: 앵커를 제거하거나 휴리스틱하게 업데이트할 경우, 오류가 누적되어 시각적 붕괴나 대상 정체성의 상실이 발생합니다.

기존 솔루션들은 이러한 근본 원인을 해결하지 못합니다. 정적 앵커를 유지하는 방법들 (예: LongLive, Infinity-RoPE) 은 장면을 고정시킵니다. 콘텐츠 무관한 업데이트를 사용하는 방법들 (예: Reward Forcing, MemRoPE 와 같은 EMA 기반 접근법) 은 특정 장면 변화에 적응할 수 없는 흐릿한 평균으로 수렴합니다. 휴리스틱 교체 (예: Rolling Sink) 는 새로운 연속이 아닌 과거 프레임을 재현하는 방향으로 생성에 편향을 줍니다.

2. 방법론: AdaState

저자들은 정적 첫 번째 프레임 앵커를 콘텐츠와 함께 진화하는 적응형 상태 (adaptive state)—즉, 숨겨진 잠재 변수—로 대체하는 AdaState 프레임워크를 제안합니다.

핵심 메커니즘

숨겨진 잠재 변수로서의 적응형 상태: 고정된 첫 번째 프레임 대신, 모델은 KV 캐시에서 위치 0 에 상태 $s$ 를 유지합니다. 이 상태는 모든 청크에서 비디오 콘텐츠와 함께 노이즈 제거되지만, 최종 비디오 출력에는 단 한 번도 렌더링되지 않습니다.
공동 노이즈 제거 및 재귀: 각 생성 단계 $n$ $n$ 에서 생성기 $G_\theta$ $G_{θ}$ 는 KV 캐시 $h_n$ $h_{n}$ 에 조건을 부여하여 독립적인 가우시안 노이즈로부터 현재 콘텐츠 프레임 $x^{(n)}_c$ $x_{c}^{(n)}$ 와 상태 프레임 $s_n$ $s_{n}$ 을 공동으로 노이즈 제거합니다.
- 정제된 콘텐츠 KV 는 단거리 컨텍스트를 위한 슬라이딩 윈도우에 진입합니다.
- 정제된 상태 KV 는 캐시에서 위치 0 을 덮어쓰며, 다음 청크에 대한 장면 참조로 작용합니다.
상대적 시간 공식화: 절대 시간을 인코딩하는 표준 생성과 달리, AdaState 는 시간을 상대적으로 취급합니다. 모든 생성 단계는 전개 길이에 관계없이 동일한 위치 구조를 봅니다. 상태 전이는 모든 청크에서 동일하므로, 순차적 자기회귀 과정을 재귀적 과정으로 변환합니다. 여기서:
- 노이즈 제거는 전이 함수로 작용합니다.
- KV 캐시는 숨겨진 상태를 운반하는 매개체로 작용합니다.
- 외부 모듈, 게이트 메커니즘, 또는 별도의 메모리 유닛이 필요하지 않습니다.

지평 가중 훈련

모델이 적응형 상태를 효과적으로 활용하도록 학습시키기 위해, 저자들은 **지평 가중 분포 매칭 증류 (Horizon-Weighted Distribution Matching Distillation, DMD)**를 도입합니다.

문제: 자기회귀 전개에서 오류는 후기 프레임에 누적됩니다. 표준 균일 손실 가중치는 최적화자가 깨끗한 초기 프레임에 집중하게 하여, 적응형 상태가 원래 장면 콘텐츠의 부재를 보상해야 하는 중요한 후기 프레임을 소홀히 합니다.
해결책: 프레임 인덱스 $i$ 에 따라 증가하는 선형 램프 가중치 $w_i$ 를 DMD 손실에 적용합니다. 이는 최적화자가 상태 매개 일관성이 가장 중요한 후기 프레임에 집중력을 기울이도록 강제합니다.
$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$

3. 주요 기여

구조적 편향의 식별: 이 논문은 자기회귀 비디오 확산 내의 정적 앵커가 역동성을 억제하고 장면 구성을 초기 시점에 고정시키는 구조적 어텐션 편향을 생성한다는 점을 규명했습니다.
적응형 상태 아키텍처: 저자들은 지평 가중 DMD 를 통해 훈련된 숨겨진 적응형 상태로 정적 앵커를 대체하는 것을 제안합니다. 이 상태는 콘텐츠와 함께 진화하여 모델이 각 단계에서 자체 장면 참조를 생성할 수 있게 합니다.
외부 모듈 없는 재귀적 공식화: 이 연구는 노이즈 제거 자체가 재귀로 기능할 수 있음을 입증합니다. 적응형 상태는 모델 자체의 반복적 정제에 의해 업데이트되고 KV 캐시를 통해 운반되는 숨겨진 변수이며, 외부 메모리나 게이트 메커니즘이 필요하지 않습니다.

4. 실험 결과

이 방법은 Self-Forcing 을 사용하여 Wan2.1-T2V-1.3B 에서 증류된 모델에서 평가되었으며, 21 프레임 전개로 훈련되고 5 초 (지평 내) 와 30 초 (훈련 지평의 6 배) 에서 테스트되었습니다.

정성적 성능:
- 정적 앵커 (예: Infinity-RoPE, Rolling Forcing): 정체성을 유지하지만 장면을 고정시켜 카메라 이동이나 장면 진행이 전혀 없습니다.
- 참조 없음 (예: Self-Forcing, Causal Forcing): 초기에는 높은 역동성을 보이지만, 전개가 훈련 지평을 넘어서면 색상 드리프트와 시각적 아티팩트가 발생합니다.
- AdaState: 30 초에서도 대상 정체성을 유지하면서 자연스러운 장면 진화, 카메라 글라이딩, 그리고 연속적인 운동을 가능하게 하는 독특한 균형을 달성합니다.
정량적 성능:
- 지평 내 (5 초): AdaState 는 전체 VBench 점수와 VisionReward 에서 가장 높은 점수를 기록했으며, 역동성 정도는 정적 앵커 방법들보다 훨씬 높았습니다.
- 지평 외 (30 초): AdaState 는 역동성 정도가 저하되지 않는 유일한 방법입니다. 일관성 - 역동성 트레이드오프 곡선의 '우상향' 영역을 차지하여 높은 일관성을 유지하면서 모든 베이스라인 중 가장 높은 역동성 정도를 달성합니다.
- 사용자 연구: 40 명의 평가자를 대상으로 한 연구에서 AdaState 는 '일관된 진행'과 '프롬프트 준수' 모두에서 가장 높은 점수를 받아, 참조 없음, 정적 참조, EMA 참조 베이스라인들을 능가했습니다.

5. 중요성과 주장

이 논문은 AdaState 가 현재 스트리밍 비디오 생성을 괴롭히는 일관성 - 역동성 트레이드오프를 근본적으로 깨뜨린다고 주장합니다. 모델 자체의 노이즈 제거가 숨겨진 장면 참조를 업데이트하는 재귀로서 생성 과정을 취급함으로써, AdaState 는 다음과 같은 것을 가능하게 합니다:

풍부한 운동: 시간에 따라 진화하는 자연스러운 카메라 이동과 대상 행동.
장기 지평 안정성: 드리프트가 누적되거나 장면이 고정되지 않고 훈련 지평을 훨씬 넘어 일관된 비디오를 생성할 수 있는 능력.
아키텍처의 단순성: 이 솔루션은 백본 DiT 에 구조적 변경이 필요하지 않으며, 보조 손실이나 외부 메모리 모듈도 필요하지 않고 기존 KV 캐시와 어텐션 메커니즘에만 의존합니다.

저자들은 이를 자기회귀 생성 내의 적응형 재귀 상태로의 한 걸음으로 위치시키며, 이 공식화가 고정된 과거 위치에 어텐션이 집중되는 다른 도메인에도 적용될 수 있음을 시사합니다. 다만, 상태 용량 (현재 1 프레임) 의 휴리스틱 설정과 매우 복잡하고 다중 배우가 등장하는 장면을 위한 구조화된 외부 메모리에 대한 향후 연구 필요성과 같은 한계점도 겸손하게 지적합니다.