기술 요약: TempAct

문제 정의

자기회귀(Autoregressive, AR) 비디오 확산 모델은 캐시된 시각적 컨텍스트를 사용하여 비디오를 순차적으로 합성함으로써 저지연 뱅크 단위(chunk-wise) 스트리밍 생성을 가능하게 합니다. 그러나 이러한 정식화는 시간적 지시 이행(temporal instruction following) 측면에서 상당한 과제를 제기합니다:

1. 시간적 혼동(Temporal Confusion): 단일 글로벌 프롬프트에 조건화될 때, 모델은 어떤 하위 이벤트가 현재 청크에 해당하는지 결정하는 데 실패하는 경우가 많습니다. 이는 "붕괴"되거나 흐릿해진 이벤트 순서(예: 개가 공을 덮치기도 전에 이미 공을 잡고 있는 모습)로 이어집니다.
2. 단계별 프롬프트 전환 실패(Step-Prompt Transition Failures): 각 청크마다 특정 하위 프롬프트를 사용하는 단계별 프롬프트로 나이브하게 전환하면, 프롬프트 전환을 처리하는 문제로 어려움이 옮겨갑니다. AR 실행기(executor)는 종종 반응이 지연되거나, 인접한 단계의 의미를 혼합하거나, 이전 청크의 오류를 이후의 청크로 전파하는 경향이 있습니다.
3. 기존 학습의 한계: 지도 미세 조정(SFT)은 노출 편향(clean teacher-forced history로 학습하지만 불완전한 rollout 상에서 추론함) 문제를 겪습니다. 롤아웃 기반 증류(distillation) 방법(예: DMD)은 저수준의 디노이징이나 교사 분포 매칭을 최적화할 뿐, 명시적으로 동작 순서나 프롬프트 전환의 정확성을 강제하지는 못합니다.

방법론: TempAct

저자들은 시간적 분해와 단계별 조건부 실행을 공동으로 최적화하도록 설계된 플래너-실행기 강화 학습(Planner-Executor Reinforcement Learning, RL) 프레임-워크인 TempAct를 제안합니다.

1. 계층적 플래너-실행기 파이프라인

• LLM 플래너 ($\pi_\phi$): 고정된 전처리 모듈 대신, 플래너는 **스팬 인식 시간적 분해(span-aware temporal decompositions)**를 탐색하는 LLM입니다. 글로벌 지침이 주어지면, 플래너는 각 플랜이 특정 시간적 범위(예: $L$ 잠재 프레임)를 가진 단계별 프롬프트로 지침을 나누는 후보 플랜 그룹을 샘플링합니다. 또한 플래너는 명시적인 객체, 동작, 상태 제약 조건을 포함하여 하위 목표(subgoals)를 재작성합니다.
• AR 확산 실행기 ($p_\theta$): 실행기는 비디오 청크를 자기회귀적으로 생성합니다. 결정적으로, 실행기는 **매끄러운 프롬프트($\tilde{s}_j = \text{Smooth}(s_j, s_{j+1}$)**를 사용하여 모델이 현재 및 다가올 하위 목표 모두에 노출되도록 함으로써, 전환 중 급격한 의미론적 변화를 줄입니다.

2. 계층적 그룹 탐색

효과적인 크레딧 할당(credit assignment)을 위해, TempAct는 중첩된 그룹 구조를 채택합니다.

• 플래닝 그룹(Planning Groups): 글로벌 프롬프트에 대해, 플래너는 $M$개의 후보 플랜을 샘플링합니다.
• 실행 그룹(Execution Groups): 각 후보 플랜에 대해, 실행기는 전환 지점까지의 **공유 컨텍스트(shared context)**를 생성한 후, 해당 공유 컨텍스트로부터 $N$개의 서로 다른 연속된 결과물(continuations)을 샘플링합니다.
• 크레딧 할당:
  • 플랜 수준: $M$개의 플래닝 그룹 간의 비교를 통해 더 긴 호흡의 시간적 결과를 이끌어내는 분해 방식에 보상을 부여합니다.
  • 실행기 수준: 동일한 컨텍스트를 공유하는 $N$개의 실행 그룹 내에서의 비교를 통해, 이전 히스토리의 변동으로부터 프롬프트 전환 동작의 품질을 격리하여 평가합니다.

3. 공동 강화 학습 목적 함수

본 프레임워크는 GRPO 변형 알고리즘을 사용하여 두 구성 요소를 모두 최적화합니다:

• 플래너 최적화: **GSPO(Group Sequence Policy Optimization)**를 통해 업데이트됩니다. 어드밴티지는 플랜 수준의 보상(품질 및 실행 가능성)과 비디오 수준의 시간적 추종 점수를 기준으로 계산됩니다.
• 실행기 최적화: Flow-GRPO를 통해 업데이트됩니다. 이 업데이트는 특히 프롬프트 전환 직후의 첫 번째 청크(전환 스팬)에 적용됩니다. 이는 학습 신호를 전체 미래 궤적이 아닌, 불완전한 자기회귀적 컨텍스트 하에서 새로운 하위 목표를 즉각적으로 실행하는 것에 집중시킵니다.

4. 다층적 보상 설계

• 플래너 보상:
  • 플랜 품질: 충실도, 커버리지, 시간적 일관성, 환각 방지 측면에서 LLM(Qwen3-8B)에 의해 평가됩니다.
  • 시간적 추종(Temporal-Following): 생성된 비디오에 대해 VLM(Qwen3-VL-8B)이 물리적 일관성, 시각적 일관성, 이벤트 순서를 평가합니다.
• 실행기 보상:
  • 로컬 단계 추종(Local Step-Following): VLM이 첫 번째 전환 청크를 평가하여 특정 하위 목표(주체, 움직임, 역학)가 올바르게 구현되었는지 검증합니다.
  • 미적 규제화(Aesthetic Regularization): PickScore를 통해 의미론적 최적화가 시각적 품질을 저하시키지 않음을 보장합니다.

주요 기여

1. 플래너-실행기 프레임워크: 시간적 계획(이벤트 순서)과 실행(시각적 실현)을 분리하여, 시스템이 어떤 시간적 플랜이 비디오 모델에 의해 실행 가능한지를 학습할 수 있게 하는 새로운 아키텍처를 제공합니다.
2. 계층적 그룹 탐색: 실행 그룹을 플래닝 그룹 아래에 중첩시키는 메커니즘을 통해, 긴 호흡의 시간적 결과와 로컬 프롬프트 전환 동작 모두에 정렬된 크레딧 할당을 가능하게 합니다.
3. 타겟형 RL 최적화: 플래너를 위한 GSPO와 실행기를 위한 Flow-GRPO(특히 전환 청크에 집중)의 사용은, 단순한 증류에만 의존하지 않고 노출 편향과 프롬프트 전환 오류를 직접적으로 해결합니다.
4. 스팬 인식 프롬프팅: 하드 프롬프트 전환에서 흔히 발견되는 의미론적 불연속성을 완화하는 매끄러운 스팬 인식 단계 프롬프트를 도입했습니다.

실험 결과

본 논문은 5,000개의 시간적으로 구조화된 지침이 포함된 데이터셋을 사용하여 Self-Forcing 및 LongLive 자기회귀 백본에 대해 TempAct를 평가합니다.

• 지표: 주요 지표는 의도된 이벤트 시퀀스 준수 여부를 측정하는 **시간적 추종 점수(Temporal-Following Score)**입니다.
• 성능: TempAct는 도메인 내 및 도메인 외(VLM 및 인간 심사로 평가) 모두에서 단일 프롬프트 베이스라인 및 단계별 프롬프트 베이스라인에 비해 시간적 일관성 면에서 일관된 개선을 보여줍니다.
• 시각적 품질: 방법론이 전반적인 시각적 품질과 미적 점수를 유지함을 보여주며, 이는 RL 최적화가 생성 충실도를 저해하지 않음을 나타냅니다.
• 학습 역학: 보상 곡선은 계층적 최적화가 시간적 타당성을 위한 효과적인 학습 신호를 제공함을 보여줍니다.

의의 및 주장

본 논문은 TempAct가 자기회귀 비디오 생성에서 **장기적 시간적 타당성(long-horizon temporal plausibility)**에 대한 새로운 관점을 제공한다고 주장합니다. 저수준의 디노이징 최적화나 단순한 분포 매칭을 넘어, TempAct는 동작 순서와 프롬프트 전환의 정확성을 명시적으로 강제합니다. 저자들은 이를 저지연 스트리밍이 복잡하고 다단계적인 시간적 지침을 엄격히 준수해야 하는 인터랙티브 애플리케이션에 AR 비디오 모델을 배포하기 위한 필수적인 단계로 포지셔닝합니다. 본 연구는 "무엇을(what)"(계획)과 "어떻게(how)"(실행)를 계층적 RL을 통해 공동으로 최적화하는 것이 기존의 SFT 또는 증류 전용 접근 방식보다 시간적 혼동에 대한 더 강력한 솔루션임을 시사합니다.