기술 요약: DySink – autoregressive 장편 영상 생성을 위한 동적 프레임 싱크

1. 문제 제기

autoregressive 장편 영상 생성은 양방향 확산 트랜스포머의 이차적 계산 비용을 관리하기 위해 유한 메모리 스트리밍에 의존합니다. 현재 최첨단 방법들 (예: LongLive, Rolling-Forcing) 은 일반적으로 단기 연속성을 위한 슬라이딩 윈도우와 장기 일관성을 위한 글로벌 앵커로서 정적 프레임 싱크(초기 캐시된 프레임) 를 결합한 하이브리드 어텐션 메커니즘을 사용합니다.

본 논문은 이러한 정적 할당 전략의 두 가지 치명적 한계를 지적합니다:

1. 맥락 불일치: 생성이 진행됨에 따라 시각적 상태는 종종 초기 프레임과 크게 달라집니다. 이러한 구식 앵커를 지속적으로 캐시하는 것은 모델이 진화하는 장면에 적응하기보다 초기 시각적 단서를 재현하도록 편향시켜, 시간적 정체성을 초래합니다.
2. 싱크 붕괴: 심각한 경우, 정적 싱크에 대한 의존성은 "싱크 붕괴"라고 불리는 실패 모드를 유발합니다. Cui 등 (2026) 은 이를 RoPE 로 인한 위상 재정렬 및 헤드 간 어텐션 동질화로 귀인하며, 이는 많은 수의 어텐션 헤드가 동시에 싱크 프레임에 과도하게 어텐션을 기울이는 현상입니다. 이로 인해 생성된 콘텐츠가 싱크 프레임으로 회귀하여 갑작스러운 장면 리셋과 순환적 운동 패턴이 발생합니다.

2. 방법론: DySink 프레임워크

DySink 는 고정된 초기 프레임 앵커를 동적 프레임 싱크로 대체하는 검색 기반 프레임워크를 제안합니다. 이 시스템은 컴팩트한 메모리 뱅크를 유지하며 시각적으로 관련된 역사적 프레임을 실시간으로 선택합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어집니다:

A. 메모리 뱅크 구축

• 구조: 메모리 뱅크는 역사적 영상 블록을 저장하며, 각 항목은 컴팩트한 시각 기술자 ($f_i$) 와 해당 레이어별 키 - 값 (KV) 캐시 ($K_i, V_i$) 로 구성됩니다.
• 기술자 생성: 시각 기술자는 잠재 프레임을 픽셀 공간으로 디코딩하고, 고정된 시각 인코더를 통해 인코딩한 후, 평균 풀링과 L2 정규화를 통해 특징을 집계하여 생성됩니다.
• 새로움 인식 업데이트: 중복을 방지하기 위해, 후보 블록은 기존 항목과의 유사성이 임계값 ($\tau_{dedup}$) 이하일 때만 허용됩니다. 유사한 중복이 발생할 경우, 오류 누적으로 인한 손상이 적은 이전 항목이 유지됩니다.

B. 적응형 검색 및 주입

• 검색 메커니즘: 현재 생성 블록에 대해 DySink 는 로컬 슬라이딩 윈도우에서 기술자를 집계하여 쿼리를 형성합니다. 그런 다음 메모리 뱅크에 대한 코사인 유사도를 계산하여 상위 $k$개의 가장 관련성 높은 역사적 블록을 검색합니다.
• 맥락 주입: 검색된 블록의 KV 캐시는 로컬 슬라이딩 윈도우 KV 캐시와 연결되어 어텐션 맥락을 형성합니다. 이를 통해 모델은 고정된 초기 프레임에 영구적으로 의존하지 않고도 장거리 구조적 단서에 접근할 수 있습니다.

C. 싱크 이상 게이트

RoPE 주파수 구조를 수정하지 않고 (이전 작업에서 RoPE 지터로 수행됨) 싱크 붕괴를 완화하기 위해, DySink 는 경량화된 레이어별 싱크 이상 게이트를 도입합니다:

• 감지 로직: 게이트는 헤드 간 합의를 모니터링합니다. 검색된 맥락에 로컬 윈도우보다 더 높은 친밀도를 부여하는 어텐션 헤드의 비율을 계산합니다.
• 억제: 검색된 맥락에 과도하게 어텐션을 기울이는 헤드의 비율이 합의 임계값 ($\tau_{gate}$) 을 초과하면, 게이트는 해당 레이어에 대해 검색된 KV 상태를 억제하여 모델이 로컬 슬라이딩 윈도우로 되돌아가도록 강제합니다. 이는 붕괴로 이어지는 어텐션의 "동질화"를 방지합니다.

3. 학습 패러다임

DySink 는 Wan2.1 아키텍처에 기반한 2 단계 스트리밍 튜닝 패러다임을 따릅니다:

1. 단기 범위 증류: 14B 교사 모델에서 Distribution Matching Distillation (DMD) 을 사용하여 1.3B 학생 모델을 증류하여 몇 단계의 인과적 생성기를 만듭니다.
2. 장기 범위 미세 조정: 모델은 60 초 스트리밍 롤아웃에서 LoRA 를 사용하여 미세 조정됩니다. 훈련과 추론 간의 일관성을 보장하기 위해 전체 DySink 파이프라인 (검색 + 게이팅) 이 훈련 중에 활성화됩니다.

4. 실험 결과

실험은 Wan2.1-T2V-1.3B 백본을 사용하여 1 분 길이의 영상 생성 (50 초, 75 초, 100 초) 에서 수행되었습니다.

• 동적 정도: DySink 는 강력한 autoregressive 베이스라인 (예: Self-Forcing++, LongLive) 보다 현저히 우수한 성과를 보입니다. 50 초 영상에서 Self-Forcing++ 대비 8.16 점, LongLive 대비 21.12 점만큼 동적 정도가 향상됩니다. 이 경향은 75 초 및 100 초 생성에서도 유지됩니다.
• 시간적 품질: 증가된 동적 진화에도 불구하고, DySink 는 베이스라인보다 높은 시간적 품질 점수를 달성하여, 동적 싱크가 장면 진화를 허용하면서도 일관성을 유지함을 나타냅니다.
• Ablation 연구:
  • 싱크 이상 게이트를 제거하면 동적 정도 (60.45 에서 37.98 로) 와 시간적 품질이 급격히 하락하여, 게이트가 없으면 모델이 싱크 붕괴 행동 (순환적 운동, 반복적 구조) 으로 회귀함을 확인했습니다.
  • 정적 싱크와 DySink를 비교한 결과, 정적 싱크는 일부 안정성을 제공하지만, 동적 검색은 진화하는 시각적 상태에 대한 우수한 적응력을 제공함이 드러났습니다.

5. 의의 및 주장

본 논문은 DySink 가 autoregressive 영상 생성에서 정적 메모리 할당의 근본적인 경직성을 해결한다고 주장합니다. 고정된 앵커에서 콘텐츠 적응형 검색으로 전환함으로써, 이 방법은 조건부 불일치를 줄이고 싱크 붕괴라는 특정 실패 모드를 완화합니다.

주요 주장에는 다음이 포함됩니다:

• 적응성: 동적 싱크는 모델이 구식 초기 프레임 속성에 편향되지 않고 장거리 일관성을 유지할 수 있게 합니다.
• 붕괴 방지: 싱크 이상 게이트는 과도한 헤드 간 합의를 감지하여 붕괴 위험이 있는 어텐션 패턴을 효과적으로 억제하며, 이는 하부 RoPE 위치 인코딩을 수정할 필요가 없는 해결책을 제공합니다.
• 확장성: 이 접근법은 현재 최첨단 방법들보다 더 높은 동적 정도와 시간적 품질로 1 분 길이의 영상을 생성할 수 있음을 보여주며, 동적 메모리 선택이 향후 장기 범위 생성의 핵심 구성 요소임을 시사합니다.

저자들은 한계를 지적하며, 현재 시각 전용 인덱싱은 세밀한 의미론적 또는 객체 수준의 단서를 놓칠 수 있으며, 동적 검색의 잠재력은 현재 100 초 평가 범위를 넘어선 복잡하고 밀집된 사건이나 다단계 전환이 있는 시나리오에서 더 두드러질 수 있음을 인정합니다.