💻 computer science

Steering Video Diffusion Transformers with Massive Activations

이 논문은 비디오 확산 트랜스포머에서 발생하는 대규모 활성화 (MAs) 의 계층적 패턴을 분석하여, 학습 없이 첫 프레임 및 경계 토큰의 활성화 값을 조절하는 '구조화된 활성화 조향 (STAS)' 방법을 제안함으로써 비디오 생성 품질과 시간적 일관성을 향상시키는 것을 목표로 합니다.

원저자: Xianhang Cheng, Yujian Zheng, Zhenyu Xie, Tingting Liao, Hao Li

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xianhang Cheng, Yujian Zheng, Zhenyu Xie, Tingting Liao, Hao Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제: AI 가 만든 영상이 '뚝뚝' 끊기는 이유

비디오 생성 AI 는 영상을 한 장 한 장 (프레임) 이 아니라, 여러 장을 묶어서 조각 (Chunk) 단위로 생각합니다. 마치 영화를 만들 때, 한 장의 스크립트 (첫 장면) 를 쓰고, 그다음은 10 장씩 묶어서 대본을 작성하는 것과 비슷합니다.

하지만 AI 가 이 조각들을 이어 붙일 때, 경계선에서 문제가 생깁니다.

첫 장면은 아주 선명하게 그려지지만,
조각과 조각이 만나는 경계에서는 영상이 갑자기 흔들리거나, 사물의 모양이 뚝 바뀌는 등 어색한 끊김 현상이 발생합니다.

2. 발견: AI 의 '거대한 신호' (Massive Activations)

연구자들은 AI 의 뇌 (내부 작동) 를 들여다보다가 흥미로운 사실을 발견했습니다. AI 는 영상을 만들 때, 특정 숫자 (활성화 값) 가 평소보다 50 배 이상 크게 튀어 오르는 순간이 있다는 것입니다. 이를 **'거대한 신호 (Massive Activations, MAs)'**라고 부릅니다.

이 신호는 무작위로 튀는 게 아니라, 아주 규칙적인 패턴을 보였습니다.

비유: 마치 오케스트라 지휘자가 있습니다.
- 첫 번째 악장 (첫 장면): 지휘자가 가장 큰 박자를 칩니다. (가장 큰 신호)
- 악장 사이의 휴식 (조각 경계): 악장이 바뀌는 순간, 지휘자가 다시 큰 박자를 칩니다. (중간 크기의 신호)
- 악장 안쪽: 그 사이사이에는 조용히 연주합니다. (작은 신호)

즉, AI 는 첫 장면과 조각이 바뀌는 경계를 가장 중요하게 생각하며, 그 순간에 뇌의 전력을 집중시킨다는 것을 발견한 것입니다.

3. 해결책: STAS (구조화된 활성화 조종)

이제 연구자들은 이 '비밀 신호'를 이용해 영상을 더 잘 만들 수 있게 되었습니다. 이 방법을 STAS라고 이름 붙였습니다.

기존 방식의 문제: 만약 AI 의 모든 신호를 똑같이 크게 키우면 (모든 악기를 동시에 크게 틀면), 소리가 찢어지고 영상이 망가집니다.
STAS 의 방식: 오직 중요한 순간 (첫 장면과 경계) 에만 집중해서 신호를 키워줍니다.
- 첫 장면: 가장 선명하게 시작하도록 돕습니다.
- 경계선: 조각과 조각이 이어질 때, 끊기지 않고 자연스럽게 넘어가도록 돕습니다.

이것은 마치 비디오 편집자가 영상의 중요한 부분 (첫 화면과 장면 전환) 에만 고화질 필터를 살짝 입혀주는 것과 같습니다. AI 의 전체적인 구조를 바꾸지 않고, 아주 정교하게 '조종'하는 것입니다.

4. 결과: 무엇이 달라졌나요?

이 방법을 적용한 결과, 다음과 같은 변화가 있었습니다.

자연스러운 흐름: 영상이 끊기는 부분이 사라지고, 사물이 부드럽게 움직입니다. (예: 우산이 갑자기 색이 바뀌거나, 캐릭터가 갑자기 사라지는 현상 감소)
높은 화질: 첫 장면이 더 선명해지고, 전체적인 영상의 퀄리티가 올라갑니다.
무료 혜택: AI 를 다시 훈련시키지 않고, 기존 모델을 그대로 쓰면서 계산 비용은 거의 들지 않습니다. (약 0.1% 미만의 추가 시간)

요약

이 논문은 **"AI 가 영상을 만들 때, 첫 장면과 장면 전환 부분에서 뇌를 가장 많이 쓴다는 사실을 발견했고, 그 부분만 살짝 도와주니 영상이 훨씬 자연스러워졌다"**는 내용입니다.

마치 자동차의 엔진을 고치기 위해 전체를 분해하는 대신, **가장 중요한 기어 (첫 장면과 전환점)**만 윤활유를 바르고 조여주니 차가 훨씬 매끄럽게 달리는 것과 같은 원리입니다. 이제 AI 가 만드는 영상도 영화처럼 더 자연스러워질 수 있게 되었습니다.

1. 문제 정의 (Problem)

최근 비디오 생성 모델은 확산 기반 (Diffusion-based) 및 흐름 기반 (Flow-based) 프레임워크에서 트랜스포머 아키텍처 (DiT) 로 빠르게 전환되고 있습니다. 그러나 이러한 모델들은 여전히 **시간적 일관성 **(Temporal Coherence)과 비디오 품질 측면에서 한계를 보입니다.
기존의 개선 방법들은 주로 다음과 같은 단점이 있습니다:

추가 학습 필요: 추가 데이터나 선호도 최적화 (Preference Optimization) 를 요구하여 비용이 큽니다.
추론 비용 증가: 보조 모델을 사용하거나 추가적인 전파 (forward pass) 를 수행하여 추론 시간이 늘어납니다.
내부 신호 활용 부족: 모델이 생성 과정에서 스스로 내뿜는 내부 신호 (Internal Signals) 를 최소한의 오버헤드로 활용하는 방법은 거의 연구되지 않았습니다.

이 논문은 비디오 DiT 의 내부 활성화 (Activations) 에서 발견된 **대규모 활성화 **(Massive Activations, MAs)의 구조적 패턴을 발견하고, 이를 제어하여 위 문제들을 해결하고자 합니다.

2. 핵심 관찰 (Key Observations)

저자들은 비디오 DiT 에서 발생하는 MAs(평균 활성화 값의 50 배 이상인 드문 고강도 히든 상태 스파이크) 가 이미지 DiT 와는 다른 독특한 **위치적 구조 **(Positional Structure)를 가진다는 것을 발견했습니다.

첫 번째 프레임의 우세: 모든 토큰 중 **첫 번째 프레임 **(First-frame)에 해당하는 토큰이 가장 큰 MA 크기를 보입니다. 이는 전역적인 시간적 앵커 (Global Temporal Anchor) 역할을 합니다.
잠재 프레임 경계의 주기적 스파이크: VAE 의 시간적 압축 (Temporal Compression) 구조에 따라, 잠재 공간의 프레임 경계 (Latent-frame boundaries, 즉 시간적 청크의 시작과 끝) 에서 MA 값이 주기적으로 급증합니다. 이는 시간적으로 압축된 세그먼트 간의 매끄러운 전환을 돕는 암시적 경계 신호로 작용합니다.
시간적 감쇠: 이 패턴은 디노이징 (Denoising) 과정의 초기 단계에서 가장 뚜렷하게 나타나며, 시간이 지남에 따라 점차 약해집니다.

이러한 관찰을 통해, 첫 번째 프레임 토큰은 시각적 품질에, 경계 토큰은 시간적 일관성에 결정적인 역할을 한다는 두 가지 통찰을 얻었습니다.

3. 방법론: STAS (Structured Activation Steering)

위 관찰을 바탕으로 제안된 STAS는 학습이 필요 없는 자기 유도 (Self-guidance) 방식의 방법론입니다. 모델 파라미터를 변경하지 않고, 추론 과정 중 특정 시점에 특정 토큰의 활성화 값만을 조정합니다.

**어디서 **(Where) 구조적으로 중요한 토큰 위치인 첫 번째 프레임 토큰과 **잠재 프레임 경계 토큰 **(Head/Tail)을 대상으로 합니다.
**무엇을 **(What) 대규모 활성화 (MA) 가 발생하는 특정 차원 (Feature Dimensions) 만을 대상으로 합니다.
**언제 **(When) 디노이징 과정의 **초기 단계 **(Early denoising steps)에서만 적용합니다. (이 시기에 MA 패턴이 가장 뚜렷하기 때문)
**어떻게 **(How) 선택된 토큰의 MA 차원 값을 **전역 최대값 **(Global Maximum)에 비례하도록 스케일링하여 증폭시킵니다.
- 수식적으로, 선택된 위치의 활성화 값을 $g(i, d) = \alpha \cdot \max_j |D_{\theta, m, j, d}| \cdot \text{sign}(D_{\theta, m, i, d})$ 형태로 재설정합니다.
- 이는 모델이 이미 가지고 있는 강력한 신호를 강화하여 시간적 앵커링과 경계 일관성을 보강합니다.

장점:

학습 불필요: 기존 모델을 수정하지 않고 플러그인 형태로 적용 가능합니다.
초저비용: 추가적인 전파 없이 단일 전파 (Single forward pass) 내에서 마스크 및 교체 (Mask-and-replace) 연산만 수행하므로, 계산 오버헤드가 0.1% 미만입니다.

4. 실험 결과 (Results)

저자들은 Wan2.1-1.3B, Wan2.2-5B, CogVideoX-5B 등 다양한 최신 비디오 생성 모델에서 STAS 를 평가했습니다.

**정량적 평가 **(VBench)
- 시간적 일관성: 프레임 간 유사도 (DINO, CLIP) 가 향상되었으며, 특히 잠재 프레임 경계 (Cross-chunk) 에서 발생하는 불연속성이 크게 감소했습니다.
- 전체 점수: 모든 모델에서 VBench 의 총점 (Total Score), 품질 점수 (Quality Score), 시맨틱 점수 (Semantic Score) 가 일관되게 향상되었습니다.
- 객체 - 속성 결합: T2V-CompBench 에서 객체와 속성의 시간적 안정성이 개선되었습니다.
정성적 평가:
- 첫 번째 프레임의 화질 저하 현상이 개선되었고, 장면 전환 시 발생하는 갑작스러운 객체 변화 (예: 우산 색상 변경, 물체 소멸 등) 가 완화되었습니다.
- 사용자 선호도 조사 (User Study) 에서도 베이스라인 대비 55~58% 의 높은 선호도를 보였습니다.
호환성: STAS 는 CFG-Zero, FlowMo 등 다른 학습 불필요 방법론과 결합하여 추가적인 성능 향상을 이끌어냅니다.

5. 주요 기여 (Contributions)

최초의 체계적 분석: 비디오 DiT 에서 MAs 가 가지는 구조적 위계 (첫 번째 프레임 피크, 잠재 프레임 경계 스파이크) 를 최초로 발견하고 분석했습니다.
STAS 방법론 제안: 이 구조적 패턴을 활용하여, 추가 계산 비용 없이 시간적 일관성과 비디오 품질을 동시에 향상시키는 학습 불필요 (Training-free) 방법을 제안했습니다.
광범위한 검증: 다양한 아키텍처와 모델 규모에서 일관된 성능 향상을 입증했으며, 기존 방법론과의 결합 가능성을 보여주었습니다.

6. 의의 및 결론 (Significance)

이 연구는 비디오 생성 모델의 내부 메커니즘에 대한 깊은 이해가 어떻게 고품질 생성으로 이어질 수 있는지를 보여줍니다. STAS 는 모델의 "생각"을 방해하지 않으면서, 모델이 이미 암시적으로 가지고 있는 강력한 시간적 신호 (첫 프레임과 경계 신호) 를 의도적으로 증폭시킴으로써, 추가적인 학습이나 비용 없이 비디오 생성의 핵심 문제인 시간적 불일치를 해결합니다. 이는 효율적이고 실용적인 비디오 생성 기술의 새로운 패러다임을 제시합니다.