기술 요약: TeDiO – 훈련 없는 일관된 비디오 확산을 위한 시간적 대각선 최적화

1. 문제 제기

텍스트-비디오 확산 트랜스포머 (예: Wan2.1, CogVideoX) 의 급속한 발전에도 불구하고, 현재 최첨단 모델들은 시간적 일관성에서 어려움을 겪고 있습니다. 개별 프레임은 종종 시각적으로 매력적이지만, 생성된 비디오는 다음과 같은 문제들을 자주 겪습니다:

• 깜빡임과 이동: 텍스처와 객체가 프레임 간에 예측 불가능하게 이동합니다.
• 불일치하는 운동: 전역 운동이 연속성을欠여 물리적으로 불가능한 역학을 초래합니다.
• 아티팩트: 주제 중복, 객체 병합, "떨리는" 운동과 같은 문제들이 사실주의의 환상을 깨뜨립니다.

이러한 문제들에 대한 기존 해결책들은 일반적으로 다음을 포함합니다:

1. 재훈련: 명시적인 운동 일관성 감독으로 아키텍처를 수정하거나 모델을 훈련시키는 것으로, 대규모 데이터셋이 필요하며 계산 비용이 많이 듭니다.
2. 외부 감독: 추론 중에 광학 흐름 네트워크나 멀티 GPU 파이프라인과 같은 보조 구성 요소를 사용하는 것으로, 실용성과 일반성을 저하시킵니다.

이 논문은 근본적인 질문을 제기합니다: 재훈련, 외부 감독, 또는 아키텍처 변경 없이 확산 모델의 내부 신호만을 사용하여 시간적 일관성을 효율적으로 개선할 수 있는가?

2. 주요 관찰

저자들은 모델의 내부 **시간적 자기-주의 (temporal self-attention)**와 생성된 운동의 질 사이에 직접적이고 측정 가능한 연결을 확인했습니다:

• 비일관된 운동: 주의 맵의 시간적 대각선에서 불규칙하고 단편적이며 날카로운 패턴을 생성합니다.
• 일관된 운동: 이러한 맵에서 매끄럽고 깨끗한 밴드-대각선 패턴에 해당하며, 안정적인 프레임 간 정렬을 나타냅니다.

이 관찰은 운동 안정성이 트랜스포머의 주의 메커니즘 내부에 "발자국"을 남긴다는 것을 보여주며, 추론 중에 활용할 수 있는 자기 진단 신호를 제공합니다.

3. 방법론: TeDiO (시간적 대각선 최적화)

TeDiO 는 자기-주의 맵의 시간적 대각선을 정규화하여 운동 일관성을 향상시키는 훈련 없는, 추론 시간 방법입니다. 이는 기존 비디오 확산 트랜스포머를 위한 플러그 앤 플레이 향상 기능으로 작동합니다.

핵심 메커니즘

1. 재매개변수화: 샘플링 과정에서 고정된 확산 트랜스포머 (DiT) 의 특정 블록에서 쿼리 ($Q$) 와 키 ($K$) 를 재구성하여 시간적 상호작용을 분리합니다. 평탄화된 시공간 축 대신, 이 방법은 시간 차원 ($F$) 을 명시적으로 유지하면서 공간 위치와 주의 헤드를 그룹화합니다.
2. 대각선 분석: 각 공간-헤드 패치에 대해 시간적 주의 맵이 계산됩니다. 이 방법은 자기 일관성과 연속 프레임을 사이의 운동 연속성을 나타내는 주 대각선 ($b=0$) 과 즉각적인 이웃 ($b=\pm1$) 에 초점을 맞춥니다.
3. 변동성 점수 매기기: 각 패치에 대해 대각선 변동성 점수 ($S(p)$) 가 계산됩니다. 이 점수는 대각선 밴드를 따라 국소적 변동 (기울기) 을 측정합니다. 높은 점수는 "거친" 시간적 행동 (급격한 주의 전환) 을 나타내고, 낮은 점수는 안정적인 운동을 나타냅니다.
4. 선택적 최적화:
   • TeDiO 는 변동성 점수가 가장 높은 상위-$k$개의 패치 (가장 불안정한 영역) 를 식별합니다.
   • 이 점수들의 합을 기반으로 손실 함수 ($L_{TeDiO}$) 를 정의합니다.
   • 초기 확산 시간 단계 (전역 운동 궤적이 형성되는 단계) 에서 잠재 표현 ($z_t$) 이 몇 단계의 기울기 업데이트를 통해 갱신됩니다: $z_t \leftarrow z_t - \eta \nabla_{z_t} L_{TeDiO}$.
   • 이 업데이트는 주의 맵이 더 매끄럽고 밴드-대각선 패턴을 채택하도록 장려합니다.

운영 특성

• 훈련 불필요: 모델 가중치 ($\theta$) 수정이 필요하지 않습니다.
• 외부 감독 불필요: 광학 흐름 추정기, 판별자, 또는 기타 외부 모델에 의존하지 않습니다.
• 효율성: 단일 GPU 에서 작동하며 계산 오버헤드가 무시할 수 있을 정도로 낮습니다 (기선 대비 약 1.1 배 실행 시간).
• 타이밍: 생성 과정을 통해 전파되는 일관성을 씨앗으로 삼기 위해 처음 몇 단계의 확산 단계 ($\tau_1, \dots, \tau_\ell$) 에서만 적용됩니다.

4. 실험 결과

이 방법은 두 가지 최첨단 오픈소스 모델인 Wan2.1-1.3B(Flow Matching) 와 CogVideoX-5B(Denoising) 에서 평가되었습니다.

벤치마크

• VBench: 표준 프롬프트에 대한 지각적 및 시간적 품질을 평가합니다.
• VideoJAM-Bench: 시간적 불안정성과 복잡한 상호작용을 드러내도록 설계된 128 개의 도전적인 프롬프트를 사용합니다.

정량적 발견

TeDiO 는 두 모델과 벤치마크 전반에 걸쳐 주요 지표를 일관되게 향상시켰습니다:

• 운동 매끄러움: 유의미한 증가 (예: Wan2.1 은 VBench 에서 98.32 에서 98.78 로 향상).
• 시간적 깜빡임: 정적 프롬프트에서의 깜빡임 감소.
• 주제 및 배경 일관성: 연속 프레임 간의 유사성 향상.
• 지각적 품질: 미적 및 이미지 품질 점수 향상.
• 동적 정도: 약간의 감소가 관찰되었는데, 저자들은 이를 의도된 운동의 손실이 아니라 고주파 시간적 노이즈 (떨림) 제거에 기인한다고 설명합니다. 결과적인 운동 프로파일은 WebVid, UCF-101 과 같은 실제 비디오 데이터셋과 밀접하게 일치합니다.

최첨단 (SOTA) 비교

관련 추론 시간 최적화 방법인 FlowMo [42] 와 비교했을 때:

• 성능: TeDiO 는 운동 매끄러움 (+0.62 대 +0.06) 과 주제 일관성 (+1.68 대 -0.69) 에서 더 큰 개선을 달성했습니다.
• 효율성: TeDiO 는 1 개의 GPU에서 1.1 배의 실행 시간 오버헤드로 실행되는 반면, FlowMo 는 전체 역전파로 인해 2 개의 GPU가 필요하며 2.39 배의 실행 시간 오버헤드가 발생합니다.

사용자 연구

VideoJAM-Bench 프롬프트를 사용한 10 명의 참가자와의 지각 연구에서, TeDiO 로 생성된 비디오는 우수한 시간적 일관성으로 인해 기본 모델보다 강력하게 선호되었습니다.

5. 주요 기여

1. 구조적 연결의 발견: 이 논문은 시간적 주의 대각선과 운동 안정성 사이의 정량화 가능한 관계를 밝혀내어 비디오 확산 트랜스포머를 분석하는 새로운 관점을 제공합니다.
2. TeDiO 프레임워크: 시간적 주의의 대각선 변동성을 정규화하여 입력 잠재 변수를 최적화하는 훈련 없는, 추론 시간 접근법을 소개합니다. 가중치 업데이트나 외부 감독이 필요하지 않습니다.
3. 실증적 검증: 여러 확산 백본 (Wan2.1, CogVideoX) 과 벤치마크 전반에 걸쳐 시간적 매끄러움, 지각적 안정성, 비디오 사실주의에서 일관된 개선을 입증합니다.

6. 중요성과 주장

이 논문은 동적 사실주의에서의 상당한 향상이 반드시 모델 크기나 훈련 데이터의 확장화를 필요로 하지 않는다고 주장합니다. 대신, 확산 트랜스포머 내부에 이미 인코딩된 시간적 구조를 활용하는 것이 효율적인 진전 경로입니다.

TeDiO 는 다음과 같은 추론 시간 최적화로의 전환을 나타냅니다:

• 모델-중립적: 다양한 아키텍처 (Flow Matching 또는 Denoising) 와 규모에 적용 가능합니다.
• 실용적: 비용이 많이 드는 재훈련이나 복잡한 멀티 GPU 설정의 필요성을 제거합니다.
• 해석 가능: 내부 주의 신호를 직접적인 진단 및 최적화 도구로 사용합니다.

한계점

저자들은 TeDiO 가 다음과 같은 점을 겸손하게 지적합니다:

• 기본 모델에 내재된 의미적 오류나 프롬프트 정렬 문제를 수정하지는 않습니다.
• 매우 긴 비디오나 복잡한 장면 전환의 경우 체감 수익이 감소할 수 있습니다.
• 기저 모델에서 잘 표현되지 않는 정밀한 장거리 조정이 필요한 본질적으로 어려운 운동 (예: 아크로바틱) 에 대해서는 효과가 덜합니다.
• 중간 주의 맵에 대한 접근이 필요하며, 이는 폐쇄형 구현에서는 노출되지 않을 수 있습니다.