기술 요약: 추론 시 안내를 통한 구성적 비디오 생성 (CVG)

문제 제기

텍스트-비디오 (T2V) 확산 모델은 시각적 충실도와 시간적 일관성 측면에서 상당한 진전을 이루었습니다. 그러나 구체적인 공간 관계 (예: "뒤에", "사이"), 운동 방향 (예: "왼쪽으로 회전"), 수치적 개수, 그리고 여러 개체 간의 복잡한 상호작용과 같은 정교한 구성적 이해가 필요한 프롬프트에서는 자주 실패합니다. 표준 텍스트 조건부 및 분류기 없는 안내 (classifier-free guidance) 는 전역적 프롬프트 신호를 제공하지만, 이러한 정교한 제약을 충족시키기 위해 필요한 명시적 검증을 종종 결여하고 있습니다. 구성적 제어를 개선하기 위한 기존 솔루션들은 일반적으로 보조 입력 (예: 바운딩 박스, 레이아웃) 을 통한 생성기 재학습, 보상 모델을 통한 미세 조정 (fine-tuning), 또는 비용이 많이 드는 테스트 시간 탐색을 요구하며, 이 모두 추가 데이터, 계산 자원, 또는 사용자가 제공한 제어를 필요로 합니다.

방법론: CVG

저자들은 **CVG(Compositional Video Generation)**를 제안합니다. 이는 아키텍처나 가중치를 수정하지 않고 동결된 (frozen) T2V 모델에서 구성적 충실도를 향상시키는 추론 시 안내 프레임워크입니다. 핵심 가설은 사전 훈련된 모델의 내부 교차 주의 (cross-attention) 맵이 이미 구성적 정확성을 평가하는 데 필요한 시공간적 그라운딩 신호를 인코딩하고 있다는 것입니다.

1. 핵심 메커니즘

CVG 는 디노이징 과정에서 동결된 T2V 생성기로부터 주체 토큰 교차 주의 맵을 추출하여 작동합니다. 이러한 맵은 모델이 특정 개체 (예: "개", "공") 를 어디에 국소화하는지, 그리고 이러한 국소화가 시간에 따라 어떻게 진화하는지를 나타냅니다. 관계 토큰 자체를 사용하는 대신, 분류기는 구성에 관여하는 개체들의 주의 맵만을 받습니다.

2. 구성적 분류기

가벼운 분류기가 이러한 주의 맵을 기반으로 구성 레이블 (예: "왼쪽", "뒤") 을 예측하도록 훈련됩니다.

• 아키텍처: 분류기는 학습된 집계 모듈, 동결된 비전 - 언어 모델 (VLM) 백본 (Qwen2.5-VL-7B), 그리고 학습 가능한 분류 헤드로 구성됩니다.
• 훈련 데이터: 분류기는 비디오 인버전을 통해 획득한 실제 비디오와 합성 비디오의 혼합 데이터로 훈련됩니다.
• 누출 방지를 위한 이중 인버전: 분류기가 주의 맵에서 시각적 그라운딩 대신 관계 단어의 텍스트 흔적을 읽음으로써 "구성 누출 (composition leakage)"을 저지르는 것을 방지하기 위해, 저자들은 이중 인버전 전략을 사용합니다. 각 훈련 비디오는 올바른 구성 프롬프트로 한 번, 그리고 어휘에서 샘플링된 잘못된 프롬프트로 한 번, 총 두 번 인버전됩니다. 두 인버전 모두 동일한 실제 레이블로 감독됩니다. 이는 분류기가 개체들의 실제 시각적 시공간 배열에 의존하도록 강제합니다.
• 일반화: 분류기가 동결된 VLM 백본을 기반으로 구축되었기 때문에, 광범위한 의미적 사전 지식을 상속받아 훈련 중에 본 특정 세트 이상의 의미적으로 관련된 구성 레이블에도 일반화할 수 있습니다.

3. 추론 시 안내

비디오 생성 동안 분류기는 미분 가능한 제어기로 작용합니다:

1. 선택된 디노이징 단계에서, 시스템은 현재 잠재 변수 (latent) 로부터 주체 토큰 교차 주의 맵을 추출합니다.
2. 분류기는 구성 클래스에 대한 분포를 예측합니다.
3. 예측과 목표 구성 레이블 사이에 교차 엔트로피 손실이 계산됩니다.
4. 이 손실의 기울기가 역전파되어 잠재 비디오 변수를 업데이트하고, 궤적을 원하는 구성 방향으로 유도합니다.
5. 안내 일정: 기반 생성기의 시각적 품질과 외관 사전 지식을 보존하기 위해, 거친 운동과 장면 구조가 확립되는 첫 8 개의 디노이징 단계 동안에만 안내가 적용됩니다.

4. 확장

• 다중 구성 안내: CVG 는 비디오의 마스킹된 시간 세그먼트에 특정 구성 제약을 적용함으로써 시간적으로 구조화된 프롬프트 (예: "왼쪽으로 돌린 후 오른쪽으로 돌리기") 를 지원합니다.
• 자기회귀 생성: 이 방법은 시간적 연속성을 자기회귀 컨텍스트를 통해 유지하면서 개별 생성 배치에 목표 구성 레이블을 할당함으로써 장편 비디오 생성으로 확장됩니다.

주요 기여

1. 추론 시 제어 프레임워크: CVG 는 경량 구성 분류기로부터의 기울기를 사용하여 동결된 T2V 생성기를 유도하는 방법을 제공하며, 미세 조정, 보조 조건부, 또는 사용자가 제공한 레이아웃의 필요성을 제거합니다.
2. VLM 기반 분류기: 동결된 VLM 백본을 사용하여 주체 토큰 교차 주의 맵으로 훈련된 분류기의 도입으로, 보지 못했거나 희귀한 구성 구성에 대한 일반화를 가능하게 합니다.
3. 이중 인버전 훈련: 구성 누출을 완화하기 위해 이중 인버전을 사용하는 새로운 훈련 전략으로, 분류기가 텍스트적 아티팩트가 아닌 시각적 그라운딩에서 학습하도록 보장합니다.
4. 실증적 검증: 여러 백본 (Wan2.2, CogVideoX) 과 생성 regime(단편 및 장편 비디오) 에 걸쳐 시각적 품질을 유지하면서 향상된 구성적 충실도를 입증하는 포괄적인 평가.

실험 결과

저자들은 T2V-CompBench 벤치마크와 VBench(단편 비디오용) 및 VBench-Long(장편 비디오용) 에서 CVG 를 평가했으며, 기본 생성기 및 TTOM(강력한 레이아웃 안내 테스트 시간 최적화 기준선) 과 비교했습니다.

• 정량적 성능: CVG 는 모든 테스트된 백본에서 기본 모델과 TTOM 일관적으로 능가했습니다.
  • Wan2.2-14B에서 CVG 는 T2V-CompBench 평균 점수를 0.556(기본) 에서 0.594로 향상시켜 TTOM(0.579) 을 능가했습니다.
  • VBench에서 CVG 는 단편 비디오 (예: Wan2.2-14B 에서 86.3% 대 TTOM 의 85.0%) 와 장편 비디오 (69.62% 대 TTOM 의 68.08%) 모두에서 최종 점수에서 가장 높은 성적을 거두었습니다.
  • 향상은 구성에 민감한 차원인 운동, 공간 관계, 콘텐츠 속성, 동적 속성에서 가장 두드러졌습니다.
• 정성적 개선: 시각적 예시들은 CVG 가 "거북이 위에 있는 토끼", "떠다니는 나무 아래에서 기어가는 게"와 같은 복잡한 제약을 올바르게 실현하는 것을 보여주었으며, 기준선과 TTOM 은 잘못된 공간 관계나 운동 방향으로 실패했습니다.
• 사용자 연구: 100 개의 프롬프트에 대한 인간 선호도 연구에서, 참가자들은 구성성(Wan2.2-14B 에서 39.6% 대 TTOM 의 20.7%) 과 텍스트 정렬 측면에서 TTOM 보다 CVG 를 선호했으며, 품질은 대부분의 경우 (54.6% "둘 다") 동등하다고 평가했습니다.

중요성과 주장

이 논문은 T2V 생성의 구성적 실패가 생성기를 재학습함으로써 해결될 필요가 없다고 주장합니다. 대신, 모델 자체의 내부 그라운딩 신호 (교차 주의 맵) 를 경량 동결-VLM 기반 분류기를 통해 활용하여 추론 시 생성을 유도할 수 있습니다.

저자들은 CVG 가 다음 없이 이러한 개선을 달성한다고 강조합니다:

• 모델 아키텍처 수정.
• 생성기 미세 조정.
• 사용자가 제공한 레이아웃, 바운딩 박스, 또는 공간 제어 요구.

이 연구는 비디오 확산 모델의 내부 표현이 복잡한 구성 프롬프트와 생성된 비디오를 정렬하기 위한 실행 가능한 제어 메커니즘으로 작용할 수 있음을 시사하며, 훈련이 필요 없고 효율적인 경로를 통해 더 높은 구성적 충실도를 달성할 수 있음을 보여줍니다.

한계

저자들은 CVG 의 효과성이 모델의 내부 그라운딩 신호의 품질에 의존한다고 지적합니다. VLM 백본이 일반화를 돕지만, 이 방법은 주체 중심의 구성 (운동 방향, 공간 레이아웃) 에 가장 강력하며, 모호한 프롬프트, 미묘한 구성, 또는 여러 고도로 상호작용하는 주체가 있는 장면에서는 덜 신뢰할 수 있을 수 있습니다. 이 접근법은 새로운 생성 능력을 학습하는 것이 아니라 디노이징 궤적을 유도하는 것이므로, 기본 모델의 근본적인 생성적 결함을 해결할 수는 없습니다.