기술 요약: TokenTrim

문제 정의

자기회귀적(Autoregressive) 비디오 생성은 이전에 생성된 콘텐츠를 바탕으로 새로운 프레치 배치를 반복적으로 조건화함으로써 긴 영상을 합성하는 지배적인 패러다임으로 부상했습니다. 그러나 이 방식은 초기 프레임에서 발생한 미세한 오류와 불일치가 긴 시간 지평에 걸쳐 축적되고 증폭되는 시간적 드리프트(temporal drift) 현상을 겪습니다. 이러한 축적은 정체성 변화, 구조적 저하, 전역적 일관성 상실, 그리고 의미론적 붕괴를 초래합니다.

드리프트를 완화하려는 최근의 시도들은 장기적 조건화 강화(예: 시간적 Key-Value 캐싱, 앵커 토큰)나 훈련 절차 수정(예: 확률적 그래디언트 절단을 이용한 self-forcing)에 집중해 왔습니다. 저자들은 이러한 방법들이 추론 시점의 오류 전파의 근본 원인인 부패된 잠재 조건 토큰(corrupted latent conditioning tokens)의 통제되지 않은 재사용을 해결하지 못하기 때문에 여전히 취약하다고 가설을 세웠습니다. 일단 잠재 상태의 특정 영역이 부패하면, 해당 영역은 이후의 자기회귀 단계에서 반복적으로 재사용되어 어텐션을 지배하고 오류를 앞으로 전파하게 됩니다. 현재 시스템에는 어떤 캐시된 잠재 토큰이 신뢰할 수 있는지 평가할 메커니즘이 부족합니다.

방법론: TokenTrim

저자들은 불안정한 잠재 토큰을 식별하고 이를 재사용하기 전에 제거하도록 설계된 완전한 추론 시점 방법인 TokenTrim을 제안합니다. TokenTrim은 잠재 공간 내에서 완전히 작동하며, 아키텍처 변경이나 재학습을 요구하지 않으며, 계산 오버헤드가 미미합니다.

이 방법은 다음과 같은 핵심 구성 요소로 이루어집니다:

1. 모션 안정화 초기화 (Motion-Stabilized Initialization)

초기 단계의 부패를 줄이기 위해, 첫 번째 프레치 배치는 모션 인식 분산 가이던스를 도입하는 추론 시점 정규화 기술인 FlowMo를 사용하여 생성됩니다. 이는 안정적인 잠재 앵커를 생성합니다. 후속 배치들은 기본 자기회귀 모델을 사용하여 생성됩니다.

2. 잠재 요약 구축 (Latent Summary Construction)

각 자기회귀 단계 $t$에서, 이 방법은 이전에 생성된 배치($X_{t-1}$)와 후보 현재 배치($X_t$)를 잠재 토큰으로 인코딩합니다. 직접적인 비교를 가능하게 하기 위해, 각 배치의 프레임(temporal dimension)에 대해 공간적 잠재 토큰을 평균 내어 잠재 요약(latent summary, $Z_{t-1}$ 및 $Z_t$)을 구축합니다.

3. 토큰별 드리프트 추정 (Per-Token Drift Estimation)

이 방법은 현재 및 이전 요약 간의 유클리드 거리를 측정하여 각 공간적 토큰 인덱스 $i$에 대한 드리프트 점수($d_i$)를 계산합니다:
$$d_i = \|Z_t(i) - Z_{t-1}(i)\|_2$$
높은 드리프트 점수는 특정 토큰 위치에서의 잠재적 부패 또는 의미론적 편차를 나타냅니다.

4. 적응형 트리거 및 심각도 평가 (Adaptive Trigger and Severity Assessment)

무조건적으로 프루닝(pruning)하는 대신, TokenTrim은 현재 배치가 비정상적인 드리프트를 보이는지 평가합니다.

• 상위 $p \cdot N$개의 가장 높은 드리프트 점수를 가진 토큰들을 식별합니다 (여기서 $p$는 프루닝 비율, $N$은 전체 토큰 수).
• 이 상위 토큰들의 평균 드리프트로서 드리프트 심각도 점수($D_t$)를 계산합니다.
• 이전에 수용된 배치들로부터의 드리프트 심각도에 대한 실행 통계량(평균 $\mu_t$ 및 표준 편차 $\sigma_t$)을 유지합니다.
• 프루닝 개입은 $D_t > \mu_t + \lambda\sigma_t$인 경우에만 트리거되며, 여기서 $\lambda$는 민감도 하이퍼파라미터입니다. 신뢰할 수 있는 통계량을 축적하기 위해 초기에는 웜업 기간($T_{warm}$)을 사용합니다.

5. 하드 프루닝 및 재생성 (Hard Pruning and Regeneration)

드리프트 기준이 초과되면:

• 공간적 프루닝 마스크가 시간적 Key-Value(KV) 캐시에 적용되어, 불안정한 토큰 위치에 해당하는 키와 값을 제거합니다.
• 현재 배치는 이 프루닝된 캐시를 조건으로 하여 단 한 번 재생성됩니다.
• 만약 재생성된 배치가 여전히 드리프트 기준을 위반한다면, 무한 루프를 방지하기 위해 있는 그대로 수용됩니다.
• 만약 드리프트 기준이 초과되지 않는다면, 수정 없이 배치를 수용합니다.

TokenTrim은 Self Forcing 및 Rolling Forcing에서 입증된 바와 같이, 셀프 어텐션과 KV 캐싱을 사용하는 자기회귀 프레임워크와 호환됩니다.

주요 기여

1. 추론 시점 드리프트 탐지: 이 논문은 추론 중에 불안정한 잠재 토큰을 명시적으로 탐지하는 메커즘을 도입하여, 초점을 모델 용량에서 정보 전파 제어로 전환합니다.
2. 잠재 토큰의 하드 프루닝: 전체 공간 영역이나 모델 파라미터를 수정하는 방식과 달리, TokenTrim은 부패된 특정 토큰을 선택적으로 제거하여 신뢰할 수 없는 정보가 미래 단계에 영향을 미치는 것을 방지합니다.
3. 학습이 필요 없는 통합: 이 방법은 모델 가중치, 훈련 절차를 수정하거나 잠재 공간을 벗어나지 않고 작동하므로 기존의 최첨단 비디오 생성 프레임워크와 호환됩니다.
4. 모션 안정화 초기화: 초기 배치를 위한 FlowMo의 통합은 안정적인 앵커를 제공하여 프루닝 메커니즘을 보완합니다.

실험 결과

저자들은 Wan2.1-1.3B 텍스트-비디오 모델에 대해 Rolling Forcing 및 Self Forcing 전략을 사용하여 TokenTrim을 평가했습니다.

• 정량적 성능 (VBench):
  • Rolling Forcing의 경우, TokenTrim은 최종 점수를 75.12%에서 79.67%(+4.55%)로 향상시켰으며, 품질(Quality, +5.58%) 및 의미(Semantic, +3.53%) 점수에서 유의미한 이득을 보였습니다.
  • Self Forcing의 경우, 최종 점수가 75.93%에서 81.84%(+5.91%)로 증가했습니다.
  • TokenTrim은 모든 집계된 지표에서 FlowMo(추론 시점 모션 가이던스 방법) 및 베이스라인 자기회귀 방법들을 일관되게 능가했습니다.
• 인간 선호도 조사 (VideoJAM-Bench):
  • 헤드 투 헤드 비교에서, TokenTrim은 시간적 드리프트 감소 측면에서 베이스라인 및 FlowMo보다 유의미하게 선호되었습니다 (Rolling Forcing 베이스라인의 경우 41.7% vs 15.2%; Self Forcing의 경우 49.7% vs 10.2% vs FlowMo).
  • 또한 모션 일관성과 미적 품질을 유지하면서 텍스트-비디오 정렬 성능에서도 우수한 모습을 보였습니다.
• 효율성: TokenTrim은 베이스라인 대비 실제 실행 시간(wall-clock runtime)을 단 1.08배만 증가시킨 반면, FlowMo가 적용된 설정은 2.18배의 속도 저하를 유발했습니다.
• 절제 연구 (Ablation Studies):
  • 공격적인 프루닝(20%)은 성능을 심각하게 저하시킨 반면, 완만한 프루닝(10%)이 최적의 결과를 냈습니다.
  • FlowMo 초기화를 제거하면 성능이 감소하여, 안정적인 시작이 주는 상호 보완적 이득을 확인했습니다.

의의 및 주장

이 논문은 시간적 드리프트가 단순히 모델링이나 데이터의 문제가 아니라, 추론 시점의 정보 전파 문제라고 주장합니다. KV 캐시를 수동적인 이력 로그가 아닌 능동적이고 자기 교정적인 메모리 메커니즘으로 다룸으로써, TokenTrim은 추론 시점에 조건화 컨텍스트를 제어하는 것만으로도 시간적 드리프트를 실질적으로 줄일 수 있음을 보여줍니다.

저자들은 미래의 무한 비디오 합성은 모델이 얼마나 많은 컨텍스트를 기억할 수 있는가뿐만 아니라, 현실을 왜곡할 위협이 되는 노이즈를 선택적으로 버리는 능력에 달려 있다고 결론짓습니다. 그들은 TokenTrim을 모델 재학습이나 아키텍처 수정의 비용 없이 장기적 시간 일관성을 개선하는 독특하고 아직 충분히 탐구되지 않은 메커니즘으로 포지셔닝합니다.