기술 요약: YoCausal

문제 제기

비디오 확산 모델 (VDMs) 이'세계 모델'이 되려는 목표를 향해 발전함에 따라, 중요한 질문이 남아 있습니다: 이러한 모델이 인과성을 진정으로 이해하는 것일까, 아니면 단순히 통계적 시간 패턴에 과적합하는 것일까? 생성 모델의'세계 지식'을 평가하는 기존 벤치마크는 물리적 변수를 분리하기 위해 주로 합성 데이터나 통제된 실험실 녹화에 의존합니다. 이러한 의존성은 상당한'시뮬레이션에서 현실 (sim-to-real)'격차를 만들어내어, 실제 세계의 일반화 능력을 평가하는 데 한계를 초래합니다. 또한, 현재의 평가는 시간의 화살 (시간의 고유한 방향성) 에 대한 지각과 진정한 인과적 추론 (사건 A 가 사건 B 를 유발한다는 이해) 을 종종 혼동합니다. VDM 이 학습된 사전 지식의 일부로서 인과 구조를 내면화했는지 평가할 수 있는, 확장 가능하고 현실 세계 기반의 벤치마크가 부족하며, 이를 통해 이 두 개념을 분리할 필요가 있습니다.

방법론

저자들은 인지과학의'기대 위반 (VoE)'패러다임에서 영감을 받은 2 단계 벤치마크인 YoCausal을 제안합니다. 핵심 가설은 인과성을 인식하는 모델이 정방향 비디오에 비해 역방향 비디오와 같은 반사실적 자극을 제시받을 때'놀람 (낮은 확률/높은 손실)'을 보여야 한다는 것입니다.

1. 데이터셋 구축

이전 연구들이 합성 렌더링을 요구한 것과 달리, YoCausal 은 Moments in Time, Physics IQ, Kinetics, Animal Kingdom 과 같은 기존 데이터셋에서 제공된 다양한 분야 (일반, 물리, 인간 행동, 동물 행동) 의 실제 세계 비디오를 활용합니다.

• 무비용 반사실적 데이터: 이 벤치마크는 실제 세계 비디오를 시간적으로 역전시켜 자연스러운 반사실적 샘플을 생성합니다. 이를 통해 sim-to-real 격차 없이 임의로 확장 가능한 데이터셋을 구축할 수 있습니다.
• 규모: 초기 평가는 4 개의 주제 하위 집합에 걸쳐 1,232 개의 비디오를 포함합니다.

2. 평가 프레임워크

이 프레임워크는 시간 지각과 인과적 인식을 분리하기 위해 2 단계로 운영됩니다:

• 1 단계: 역전 놀람 지수 (RSI)

  • 메커니즘: 각 비디오에 대해 모델은 동일한 시간 단계에서 동일한 샘플링된 노이즈를 사용하여 정방향 시퀀스 ($x_f$) 와 역방향 시퀀스 ($x_r$) 에 대한 탈노이즈 손실을 계산합니다.
  • 지표: RSI 는 모델이 역방향 시퀀스보다 정방향 시퀀스에 더 낮은 탈노이즈 손실을 할당하는 비디오의 비율 ($L(x_f) < L(x_r)$) 을 측정합니다.
  • 해석: 높은 RSI 는 모델이 시간의 화살을 지각함을 나타냅니다. 그러나 이는 통계적 시간 편향에서 비롯된 것일 수 있으므로, 이것만으로는 인과적 이해를 확인하지 못합니다.

• 2 단계: 인과성 인지 지수 (CCI)

  • 분리: 진정한 인과적 추론을 분리하기 위해 데이터셋은 명시적인 인과 관계 상호작용이 있는 **인과 하위 집합 ($D_c$)**과 그러한 상호작용이 없는 (예: 주행 중인 자동차) **비인과 하위 집합 ($D_{nc}$)**으로 분할됩니다.
  • 메커니즘: 시각 - 언어 모델 (VLM) 이 관찰 가능한 인과 메커니즘의 존재 여부에 따라 이러한 분할을 자동화합니다.
  • 지표: $CCI = RSI(D_c) - RSI(D_{nc})$.
  • 해석: 인과성을 인식하는 모델은 역전된 비인과 비디오보다 역전된 인과 비디오에 대해 훨씬 더 크게'놀라야'합니다. 높은 CCI 는 모델이 통계적 시간 패턴을 넘어선 인과적 단서를 포착했음을 나타냅니다.

3. 검증

• VLM 신뢰도: VLM 기반 분할은 인간 주석 (Kendall's $\tau = 0.7613$) 과 광학 흐름 분석에 대해 검증되어, 분할이 저수준 운동 단서가 아닌 고수준 의미론에 기반함을 확인했습니다.
• 엔트로피 제어: 엔트로피 대칭 하위 집합에 대한 실험은 RSI 가 저수준 엔트로피 역학이 아닌 이벤트 수준의 시간 구조를 반영함을 확인했습니다.

주요 결과

이 벤치마크는 인간 기준선과 비교하여 13 개의 최첨단 오픈소스 VDM(Wan, CogVideoX, HunyuanVideo, LTX-Video 계열 포함) 을 평가했습니다.

1. 시간 vs 인과성: 시간의 화살을 지각하는 것과 인과성을 이해하는 것 사이에는 상당한 격차가 존재합니다. 여러 모델은 높은 RSI(시간 방향 지각) 를 달성했으나 낮거나 음수인 CCI 를 보여, 인과적 논리 대신 시간 통계에 의존하고 있음을 나타냅니다.
2. 인간 - 모델 격차: 최상위 성능을 보이는 모델조차 인간 수준의 인과적 인식에 비해 상당한 격차를 보입니다. 인간은 모든 하위 집합에서 가장 높은 RSI 와 CCI 를 달성했습니다.
3. 확장 법칙: 인과적 인지는 모델 파라미터 및 출시 연도와 유의미하게 상관관계가 있습니다 ($\tau \approx 0.69$ 및 $0.60$). 더 큰 모델과 새로운 아키텍처 (예: DiT 기반) 는 향상된 인과 이해를 보여주며, 이는 확장 법칙이 이러한 고차원 추론까지 확장됨을 시사합니다.
4. 미적 요소와의 독립성: 이 벤치마크는 미적 품질 지표와 0 의 상관관계를 보여, 인과적 이해가 시각적 충실도에 혼동되지 않는 별개의 능력임을 확인했습니다.
5. 물리 법칙과의 상관관계: 직관적 물리 벤치마크 (LikePhys) 와는 중간 정도의 양의 상관관계가 있어, 물리 법칙이 객체 상호작용을 제약함을 시사하지만, 인과적 인지는 물리 법칙만으로 환원되지 않습니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

• VDM 을 위한 최초의 인과성 벤치마크: YoCausal 은 sim-to-real 격차 없이 확장 가능한 실제 세계 데이터셋을 활용하여 비디오 생성 모델의 인과적 인식을 평가하도록 특별히 설계된 최초의 벤치마크입니다.
• 인지과학 기반 프레임워크: 이는 기존 물리 기반 벤치마크의 한계를 해결하여'시간의 화살'지각과 진정한'인과적 인지'를 성공적으로 분리하는 2 단계 프레임워크를 도입합니다.
• 진단적 증거: 평가 결과, 현재의 오픈소스 VDM 들은 견고한 인과적 이해가 부족하며, 이는 현재 생성 모델과 이상적인'세계 모델'사이의 중요한 격차를 드러냅니다.
• 미래 연구를 위한 지침: 확장 및 아키텍처 진화가 인과적 인식을 향상시킨다는 것을 입증함으로써, 이 연구는 미래 세계 모델 개발을 지시하기 위한 정량적 기반을 제공하며, 인과적 추론을 별도의 목표로 강조합니다.

저자들은 시간적으로 대칭적인 사건 (정방향과 역방향 비디오가 시각적으로 동일한 경우) 을 평가하는 어려움과 탈노이즈 손실 계산을 위한 모델 가중치에 대한 의존성으로 인해 폐쇄형 소스 모델 평가가 제한된다는 한계를 지적합니다. 그러나 이 벤치마크는 로봇 시뮬레이션, 게임 엔진, 자율 주행과 관련된 시각적으로 명시적인 인과성의 지배적인 영역을 효과적으로 포괄한다고 주장합니다.