기술 요약: Proprio: 물리적 타당성을 갖춘 비디오 생성을 위한 잠재적 자기-점수화 및 추론 시간 정제

1. 문제 제기

현대 비디오 생성 모델, 특히 확산 기반 아키텍처는 놀라운 시각적 충실도를 달성했습니다. 그러나 이러한 모델들은 종종 기본적인 물리 법칙을 위반하여 비현실적인 충돌, 불가능한 객체 상호작용, 또는 일관되지 않은 역학을 가진 비디오를 생성합니다. 이러한 실패는 로봇공학과 시뮬레이션과 같은 하위 응용 분야에서 신뢰할 수 있는 세계 모델로서의 활용도를 제한합니다.

이 문제에 대한 기존 해결책들은 일반적으로 외부 피드백 메커니즘에 의존합니다:

• 학습 시간 개입: 물리적 사전 지식을 주입하거나 큐레이션된 데이터셋을 사용합니다 (예: [35, 24]).
• 추론 시간 외부 평가자: 비전 - 언어 모델 (VLM) 또는 사전 훈련된 잠재 세계 모델 (예: V-JEPA [37, 41]) 을 사용하여 생성을 점수화하거나 안내합니다.

저자들은 외부 피드백 패러다임에서 두 가지 중요한 한계를 식별합니다:

1. 편향과 불일치: VLM 은 종종 물리적 타당성을 텍스트 - 이미지 정합성이나 시각적 미학과 혼동합니다. 사전 훈련된 세계 모델은 자체 표현 공간에서 작동하여 생성기의 잠재 공간과 불일치를 초래합니다.
2. 내재적 일관성 부재: 외부 평가자는 다른 목적 함수로 훈련되어 생성기의 특정 잡음 제거 역학과 정렬되지 않으므로, 샘플링 단계 전반에 걸쳐 생성기 특유의 불일치를 놓칠 수 있습니다.

이 논문은 다음과 같은 중심 질문을 제기합니다: 비디오 생성기가 자신의 잡음 제거 역학을 물리적 타당성을 평가하고 개선하기 위한 자체 완결 신호로 활용할 수 있을까요?

2. 방법론: Proprio

저자들은 고정된 비디오 생성기가 자신의 출력을 평가하고 정제할 수 있게 하는 훈련이 필요 없는 추론 시간 프레임워크인 Proprio를 제안합니다. 생물학적 고유수용감각 (자신의 움직임을 감지하는 감각) 에서 영감을 받은 이 방법은 통제된 교란 하에서 모델의 내부 **흐름 잔차 (flow residual)**를 자기-점수화 신호로 취급합니다.

2.1 핵심 개념: 자기-점수화로서의 흐름 잔차

이 방법은 생성기가 학습한 분포 (즉, 자연스러운 역학) 와 일치하는 샘플은 교란 시 더 작고 안정적인 잔차를 유발한다는 관찰에 기반합니다.

• 교란: 생성된 잠재 비디오 $z_0$에 대해, 제어된 잡음 $\epsilon$을 사용하여 다양한 스케줄러 시간 단계 $t$에서 교란된 잠재 $z_t$를 구성합니다.
• 잔차 계산: 모델은 흐름장 $\hat{v}_\theta(z_t, t, c)$를 예측합니다. 목표 수송은 $v^*(z_0, \epsilon) \approx \epsilon - z_0$입니다. 흐름 잔차는 다음과 같은 불일치입니다:
  $$r(z_0, \epsilon, t; c) = \hat{v}_\theta(z_t, t, c) - v^*(z_0, \epsilon)$$
• 점수화: 이 잔차의 제곱 노름이 지역 점수로 작용합니다. 잔차가 낮을수록 모델이 교란 하에서 샘플을 더 잘 "설명"할 수 있음을 의미하며, 이는 더 높은 물리적 타당성을 시사합니다.

2.2 신호 집계 및 정제

강건한 점수를 만들기 위해 Proprio 는 여러 차원에 걸쳐 잔차를 집계합니다:

1. 다중 교란 및 다중 시간 단계: 점수는 특정 잡음 인스턴스에 대한 민감도를 줄이기 위해 여러 잡음 실현과 시간 단계에 걸쳐 평균화됩니다.
2. 역분산 가중치: 잔차의 분산이 높은 시간 단계 (불안정한 추정치) 는 가중치가 낮아지고, 안정적인 시간 단계는 우선순위가 부여됩니다.
3. 동적 시공간 마스킹: 물리적 타당성에 덜 정보적인 정적 배경 잡음을 필터링하기 위해 운동 관련 영역에 점수를 집중시키는 마스크 $\mathcal{M}$이 적용됩니다. 세 가지 마스킹 전략이 탐구됩니다:
   • 운동 마스크: 디코딩된 프레임의 시간적 차이에 기반합니다.
   • 텍스트 인식 마스크: 잠재와 프롬프트 토큰 간의 교차 주의 변화에 기반합니다.
   • 주의 기반 마스크: 자기 주의 특징 변화에 기반합니다.

2.3 추론 시간 전략

Proprio 는 계산된 점수 $S(z_0)$를 두 가지 주요 모드로 활용합니다:

1. Best-of-N 검색: $N$개의 후보 잠재를 생성하고 자기-점수가 가장 낮은 것을 선택합니다.
2. 자기 정제: 생성기를 재훈련하는 대신, 이 방법은 초기 샘플링 잡음을 최적화합니다. 잡음을 $\zeta = \mu + \sigma \odot \zeta_0$ (여기서 $\zeta_0$는 기본 잡음) 로 매개변수화하고, Proprio 점수를 최소화하기 위해 $\mu$와 $\sigma$를 업데이트하기 위해 경사 하강법을 사용합니다. KL-발산 정규화자는 최적화된 잡음이 원래 가우시안 사전에 가깝게 유지되도록 보장합니다.

3. 주요 기여

1. 생성기 네이티브 자기-점수화: 외부 보상 모델의 필요성을 제거하고 물리적 타당성을 위한 내재적 대리자로 고정된 생성기의 잡음 제거 잔차를 재사용하는 훈련이 필요 없는 프레임워크의 도입.
2. 추론 시간 자기 정렬: 이 자기-점수를 최적화 목적 함수로 전환하여 생성기 가중치는 고정된 채 초기 잡음 매개변수만 업데이트함으로써 출력을 정제하는 메커니즘.
3. 실증적 검증: 단일 고정된 생성기가 샘플러이자 자기 평가자로서 작동할 수 있음을 보여주는 텍스트 - 비디오 (T2V) 및 이미지 - 비디오 (I2V) 벤치마크에서의 일관된 개선 증명.

4. 실험 결과

저자들은 VideoPhy2(T2V) 와 Physics-IQ(I2V) 벤치마크에서 Proprio 를 평가하며, 무작위 선택, VLM 기반 점수화기 (Qwen-7B), 그리고 외부 세계 모델 베이스라인 (WMReward) 과 비교했습니다.

• 성능 향상:

  • TurboWan2.2에서 Proprio 는 Physics-IQ 를 32.2 에서 37.5 로 (+16.5%), VideoPhy2-hard 물리적 상식 점수를 45.6 에서 55.0 으로 (+20.6%) 향상시켰습니다.
  • Proprio 는 VLM 기반 점수화보다 일관되게 우위를 점하며, 특히 물리적 상식 (PC) 지표에서 종종 WMReward 를 능가합니다.
  • 하이브리드 점수화 접근 방식 (전역 및 운동 인식 점수를 결합) 은 의미적 준수와 물리적 일관성 사이의 가장 견고한 균형을 제공합니다.

• 인간 평가:

  • 쌍별 비교에서 인간 평가자들은 약 **67%**의 경우 물리적 타당성 측면에서 Proprio 가 선택하거나 정제한 비디오를 선호했습니다.
  • 시각적 품질은 대부분 유지되었으며, 평가자들은 많은 경우 베이스라인에 대해 강한 선호도를 보이지 않아 개선 사항이 미적 가치를 희생하지 않았음을 시사합니다.

• 절대 실험 (Ablation) 통찰:

  • 잡음 수준: 가장 정보적인 점수 신호는 중간 수준의 잡음(샘플링 단계의 0.3–0.6)에서 나옵니다. 낮은 잡음은 너무 국소적이고, 높은 잡음은 샘플 특유의 구조를 잃습니다.
  • 분산 가중치: 역분산 가중치는 안정적인 시간 단계를 우선시함으로써 증류되지 않은 모델에서 성능을 크게 향상시킵니다.
  • 검색 vs 정제: 검색 (Best-of-N) 은 장면 다양성이 높은 T2V 에 매우 효과적입니다. 동일한 이미지에 고정된 후보를 다루는 I2V 의 경우, 정제가 더 지배적인 역할을 합니다.

5. 중요성 및 주장

이 논문은 고정된 비디오 생성기가 물리적 타당성을 평가하고 개선하기 위한 실행 가능한 내부 신호를 포함하고 있다고 주장합니다. 모델의 자체 흐름 잔차를 확률 - 선호 신호로 재해석함으로써, Proprio 는 다음을 증명합니다:

• 물리적 정렬을 위해 외부 평가자가 반드시 필요한 것은 아니며, 생성기의 내부 역학만으로도 충분합니다.
• 추론 시간 확장 (검색 및 정제) 은 재훈련 없이 상당한 이득을 가져올 수 있습니다.
• 이 방법은 관점의 전환을 제시합니다: 미래 시스템은 외부 감독이나 보조 보상 모델에만 의존하기보다 생성기 내부 신호를 자기 평가에 점점 더 활용할 것입니다.

인정된 한계:

• Proprio 는 기본 생성기에 인코딩된 지식에 의해 제한되며, 모델이 학습하지 않은 역학을 복구할 수 없습니다.
• 여러 후보 점수화 및 정제 단계가 필요하므로 추론 비용이 증가합니다.
• 경사 기반 정제는 현재 계산적 실현 가능성을 위해 증류된 모델에 의존하며, 대규모 모델에서 긴 잡음 제거 궤적을 통해 역전파하는 것은 여전히 비용이 많이 듭니다.