기술 요약: 비디오 생성에서 비가역적 과정의 발달 미흡 진단

1. 문제 정의

비디오 생성 모델은 시간적 역동성을 암묵적으로 모델링하지만, 단방향으로 진행되는 비가역적 과정(예: 녹는 현상, 부식, 노화, 연소)을 렌더링하는 데 어려움을 겪는다. 현재의 텍-투-비디오(T2V) 시스템은 시간적으로 일관된 방향성 상태 전이를 생성하는 데 크게 실패하고 있다. 핵심 과제는 두 가지이다:

1. 측정: 기존의 "역전(reversal)" 또는 "단조성(monotonicity)" 측정 지표들은 통계적으로 결함이 있다. 이들은 실제적인 진전이 아닌 노이즈나 보상 정체(아무것도 하지 않음)에 의해 퇴화되는 경향이 있다.
2. 교정: 고정된 판독기(frozen readout)를 이용한 사후 최적화(예: 분류기 가이던스)를 통해 비가역성을 강제하려는 시도는 모델이 실제 시각적 속성을 생성하지 않고도 지표만을 만족시키는 적대적 게임(adversarial gaming)에 취약하다.

본 논문은 지배적인 실패 모드가 체계적인 시간 역전이 아니라, **발달 미흡(under-development)**이라고 주장한다. 즉, 생성기가 비가역적 속성을 진전시키지 못하여, 명시적으로 비가가역성을 위반하지는 않지만 전혀 진전이 없는 정적인 출력을 내놓는다는 것이다.

2. 방법론

A. Null-Robust 평가 프로토콜

저자들은 "null 테스트"(순수 노이즈 및 랜덤 워크에 대한 테스트)에서도 살아남는 새로운 비가역성 측정 프로토콜을 제안한다. 이들은 기존의 클립당 위반율($V$)이나 분산 정규화 역전 잔차(variance-normalized reversal residuals)와 같은 지표들이 순수 노이즈에서 약 0.50의 점수를 기록하며 "null-degenerate"해짐을 보여주며, 이를 거부한다.

대신, 프로토콜은 다음 두 가지 생존 지표에 의존한다:

1. 진전(Progress, $\rho$): 속성이 시간에 따라 진전되는 정도를 측정하는 방향성 속성 상관관계.
2. 정체율(Stasis Rate): 속성이 미미한 변화만을 보이는 프레임의 비율.

이 프로토콜은 속성 특화 판독기(예: "부식"에 대한 CLIP 방향성 축)를 사용하며, 결정적으로 최적화 신호와 혼동되지 않도록 판독기 독립적 프로브(물리적 통계 또는 홀드아웃 추정기)를 사용하여 측정의 신뢰성을 확보한다.

B. 현재 모델의 진단

프로토콜은 다음 대상에 적용되었다:

• 실제 참조 영상: ChronoMagic-Bench의 108개 클립.
• 생성된 비디오: 7개의 T2V 모델(Cog всегоX-2b, ModelScopeT2V, ZeroScope, MagicTime, MCM-MSLAION, OpenSora-1.2, OpenSoraPlan-1.2)에서 추출한 560개 이상의 클립.
• 인간 검증: 9명의 주석가가 진행 과정을 0–4 척도로 평가함.

C. 사후 가이던스(Post-Hoc Guidance) 분석

본 논문은 단조성을 강제하기 위해 미분 가능한 판독기(예: "녹슨 금속"에 대한 CLIP 유사도)를 사용하여 샘플링을 유도하는 흔한 기법인 "사후 고정 판독기 최적화"를 조사한다.

• 게임 메커니즘: 저자들은 이 최적화가 물리적 속성을 변경하지 않으면서 판독기 점수를 극대화하는, 인지할 수 없거나 매니폴드 밖의 변화를 찾아낸다는 것을 입증한다.
• 검증: 역전이 주입된 제어 실험을 통해, 판독기 점수는 목표치에 도달하지만 독립적인 물리적 프로브(예: 색상 채도)와 시각적 검사는 속성이 변하지 않았음을 확인한다.

D. 얽힘 해제를 통한 구조적 강제(Structural Enforcement via Disentanglement)

외부 가이던스의 대안으로, 저자들은 분리된 잠재 공간(disentangled latent space) 내에서 단조성을 구조적으로 강제하는 방법을 제안한다.

• 아키텍처: 인코더-디코더가 잠재 변수 $z$를 비가역적 속성 스칼라 $z_a$와 노이즈 요인 $z_c$(정체성, 포즈, 배경)로 분리한다.
• 제약 조건: $z_a$의 궤적은 생성 과정 중 비감소하도록(isotonic projection 또는 softplus dynamics를 통해) 제약된다.
• 메커니즘: 디코더가 $z_a$를 시각적 속성으로 렌더링하도록 학습되므로, $z_a$를 구조적으로 제약하는 것은 게임 가능한 외부 판독기에 의존하지 않고도 출력이 단조성을 유지하도록 보장한다.

3. 주요 결과

A. 진단: 발달 미흡

7개 모델 전체에 걸쳐, 생성된 비디오는 발달의 부재로 인해 실제 영상과 명확히 구분된다:

• 실제 영상: 상당한 진전($\rho = +0.40$)과 35%의 정체를 보인다.
• 생성된 영상: 거의 제로에 가까운 진전($\rho \in [-0.12, +0.13]$)과 92–100%의 정체를 보인다.
• 인간 검증: 주석가들은 실제 영상을 생성 영상(0.99/4.0)보다 유의미하게 높은 점수(2.75/4.0)로 평가했다.
• 결론: 모델은 체계적으로 시간을 역전시키는 것이 아니라, 단순히 속성을 진전시키지 못하는 것이다.

B. 가이던스의 실패

• 사후 최적화: 단조 판독기를 위해 최적화할 때, 판독기 점수는 개선되지만(격차의 62%를 좁힘), 독립적인 물리적 프로브는 거의 움직이지 않는다(격차의 3%만 좁힘). 시각적 결과는 물리적 속성이 변하지 않은 채 단지 해당 지표에서 높은 점수를 받는 "깨끗한" 객체로 남는다.
• 인-루프 가이던스(In-loop Guidance): 더 강력한 인-루프 가이던스를 사용하더라도, 높은 속성 회복을 달ert하려면 큰 지각적 편차(이미지 충실도 파괴)가 필요하며, 정체성 보존이 모호해진다.

C. 구조적 강제의 성공

• 제어된 도메인: 기지(known)의 그라운드 트루스가 있는 합성 렌더러에서, 분리된 잠재 변수 $z_a$에 단조성을 강제함으로써 주입된 역전을 성공적으로 복구했다. 독립적 프로브는 정체성(identity)을 유지하면서도 실제적인 속성 회복(격차의 42–53% 해결)을 보여주었다.
• Stable Diffusion 전이: 이 메커니즘은 Stable Diffusion 콘텐츠로 전이되어, 위반을 제거하고 진정한 복구를 제공했으나, 오토인코더 병목 현상으로 인한 일부 충실도 저하가 발생했다.
• 벡터 부분 순서(Vector Partial Orders): 이 접근법은 소프트플러스 역학을 사용하여 벡터 값 속성(예: 녹, 침식, 탄화)으로 확장되었으며, 노이즈 하에서도 구조적으로 위반율을 0으로 유지했다.

4. 의의 및 주장

본 논문은 세 가지 주요 기여를 한다:

1. 강력한 프로토콜: 표준적인 역전 지표가 비디오 생성에 부적합함을 입증한다. 제안된 진전-정체(Progress-Stasis) 프로토콜은 실제 비가역적 과정과 생성된 것을 신뢰성 있게 구별하는 최초의 null-robust 방법이다.
2. 인간 검증된 진단: 현재의 T2V 모델이 시간 역전이 아닌 발달 미흡 문제를 겪고 있다는 경험적 증거를 제공한다. 이는 초점을 "역전 방지"에서 "진전 가능하게 함"으로 전환시킨다.
3. 구조적 솔루션: 사후 판독기 가이던스는 적대적으로 게임이 가능한 반면, 분리된 속성 잠재 공간 내에서 단조성을 강제하는 것은 게임 가능한 판독기를 제거하고 실제적인 속성 변화를 만들어낸다는 것을 입증한다.

완곡한 주장(Modest Claims):

• 저자들은 구조적 강제 방법이 제어된 환경 및 준-합성 설정에서 검증되었음을 명시한다. 실제 세계의 비디오에서는 분리가 "누설(leaky)"될 수 있으며, 오토인코더가 충실도 비용(흐림, 깜빡임 억제)을 초래한다는 점을 인정한다.
• 모든 실세계 비디오 생성 문제를 해결했다고 주장하는 것이 아니라, 현재의 가이던스 방법이 가진 "게임" 취약성을 제거하는 메커니즘을 제공한다.
• 모든 판독기가 불충실하다고 주장하는 것이 아니라, 특정 고정 판독기 최적화 전략이 신뢰할 수 있는 충실성 없이 수행될 때 본질적으로 실패하기 쉽다는 점을 지적한다.

논문은 비가역성을 측정하는 것이 말하는 것보다 더 어렵다고 결론지으며, 신뢰할 수 있는 발견은 현재의 생성기들이 "시간을 역전하기보다는 비가역적 속성을 거의 진전시키지 못한다"는 것이다.