기술 요약: 파리 2.0 – 비디오 생성을 위한 탈중앙화 확산 모델

1. 문제 제기

현재의 비디오 생성 모델은 고대역폭의 동거형 GPU 클러스터를 사용하여 광범위한 비디오 데이터셋의 혼합으로 단일 모델을 학습시키는 단일 구조 (monolithic) 학습 패러다임에 의존합니다. 이 접근법은 매개변수 업데이트가 긴밀하게 결합된 하드웨어 간 동기화를 필요로 하므로 상당한 인프라 제약을 초래합니다. **탈중앙화 확산 모델 (DDM)**이 단일 구조 클러스터 없이 이미지 생성 학습이 가능함을 성공적으로 입증 (Paris 1.0 [2] 참조) 했음에도 불구하고, 이를 시간적으로 일관된 비디오 생성으로 확장하는 것은 여전히 해결되지 않은 문제였습니다. 비디오 생성은 운동 모델링, 더 긴 시간적 컨텍스트, 그리고 훨씬 더 큰 잠재 공간 (latent spaces) 을 포함하여 전문가들에게 더 큰 부담을 부과하므로, 탈중앙화 비동기 학습이 고품질의 일관된 비디오를 생성할 수 있는지 여부가 의문시되었습니다.

2. 방법론

핵심 아키텍처

파리 2.0 은 추론 시 학습된 라우터에 의해 결합되는 독립적인 확산 전문가들의 앙상블입니다. 이 시스템은 세 가지 주요 구성 요소로 이루어져 있습니다:

• 공유 전처리 스택: 비디오는 캐시된 인과적 HunyuanVAE 잠재 공간으로 인코딩됩니다. 프롬프트는 T5-v1.1-XXL과 CLIP-ViT-L/14를 사용하여 인코딩됩니다. 이 스택은 계산 오버헤드를 줄이기 위해 학습 순전파 경로와 분리되어 있습니다.
• 전문가 풀: 이 모델은 110 억 파라미터 FLUX 스타일 MM-DiT(다중 모드 확산 트랜스포머) 전문가 세 명을 활용합니다. 각 전문가는 유동 매칭 속도 (flow-matching velocity) 목적 함수를 사용하여 고유한 데이터 클러스터에서 처음부터 학습됩니다. 핵심적으로, 전문가들은 학습 중 그라디언트, 파라미터, 또는 활성화 값을 교환하지 않으며; 스팟 인스턴스와 소비자 하드웨어를 포함한 이기종 하드웨어에서 격리되어 최적화됩니다.
• 라우터: 경량의 DiT-B 모델 (~1 억 파라미터) 은 모든 노이즈 제거 단계에서 라우팅을 수행합니다. 이는 현재 노이즈가 있는 잠재 공간, 확산 시간 단계, 풀링된 CLIP 텍스트 벡터, 그리고 선택적 DINOv2 첫 프레임 특징을 입력으로 받습니다. 라우터는 상위-$K$개의 전문가를 선택하기 위한 라우팅 가중치를 출력합니다. 전문가들과 달리 라우터는 전체 T5 임베딩에 접근하지 않고 풀링된 CLIP 벡터에 의존합니다.

학습 및 추론

• 학습: 각 전문가는 고유한 데이터 클러스터에 국한됩니다. 라우터는 노이즈가 있는 잠재 공간과 해당 CLIP 텍스트 특징이 짝지어진 소스 클러스터 레이블을 예측하는 지도식 클러스터 분류기로 독립적으로 학습됩니다.
• 추론: 각 노이즈 제거 단계에서 라우터는 현재 상태를 읽고 비디오 속도장을 평가할 전문가들을 선택합니다. 이러한 전문가들의 속도장의 가중합은 다음 잠재 공간으로의 ODE 솔버를 구동합니다. 이 설계는 샘플당 계산량이 단일 백본의 규모로 유지되도록 보장하는 반면, 전체 용량은 더 많은 전문가를 추가함으로써 수평적으로 확장됩니다.

3. 주요 기여

• 최초의 탈중앙화 비디오 모델: 파리 2.0 은 완전히 탈중앙화 계산을 통해 사전 학습된 최초의 비디오 생성 모델로, 단일 구조 GPU 클러스터 없이 시간적으로 일관된 비디오를 생성할 수 있음을 입증했습니다.
• 비디오를 위한 분리된 계산: 이 논문은 이미지에서 비디오로 분리된 계산 레시피를 확장하여, 서로 다른 운동 패턴과 장면 역학을 보이는 서로 다른 데이터 클러스터가 모든 샘플이 모든 전문가에 대한 비용을 치르도록 강제하지 않고 전문화된 전문가들에 의해 활용될 수 있음을 입증했습니다.
• 전문가 전문화: 이 연구는 격리되어 학습된 전문가들이 실제 할당된 데이터 클러스터에 전문화되며, 효과적인 라우팅의 전제 조건인 경계 분포로 수렴하지 않음을 입증하는 증거를 제공합니다.
• 라우팅 대 앙상블: 제거 실험을 통해 저자들은 성능 향상이 단순한 앙상블이나 파라미터 수 증가가 아니라 전문화된 전문가 간의 라우팅 메커니즘에서 비롯됨을 입증했습니다.

4. 실험 결과

저자들은 파리 2.0(1 단계, 3 전문가 DDM) 을 동일한 데이터 클러스터의 합집합으로 학습된 단일 구조 110 억 파라미터 MM-DiT 와 동일한 FLOP 및 동일한 데이터 예산 하에 비교 평가했습니다 (각 전문가는 단일 구조 모델의 1/3 의 데이터와 계산을 확인함).

정량적 개선 (저해상도 256×256 텍스트-비디오):

• 프레치 비디오 거리 (FVD): 561.04(단일 구조) 에서 279.01(DDM) 로 감소하여 분포적 사실성에서 약 2.0 배 개선을 보였습니다.
• CLIP 텍스트-비디오 유사도: 0.2032에서 0.2178로 증가했습니다.
• 미적 점수: 3.7950에서 3.9036으로 향상되었습니다.
• 운동: DDM 은 더 높은 프레임당 변위 크기 (0.712 대 0.555) 를 보였으나, 저자들은 이것이 시간적 일관성이 아닌 크기에 대한 기술적 측정치라고 지적했습니다.

제거 실험 결과:

• 전환 스케줄: 두 전문가 간에 교대로 수행되는 수동 스케줄은 모든 지표에서 단일 전문가보다 우수한 성능을 보였으며, 이는 노이즈 제거 시간 전반에 걸친 방향적 전문화 (예: 한 전문가는 고노이즈 단계를 선호하고 다른 전문가는 저노이즈 단계를 선호함) 를 시사합니다.
• 전문화 격차: 특정 클러스터에서 학습된 전문가는 해당 클러스터의 프롬프트에서 0.2175의 CLIP 점수를 달성한 반면, 일반 세트에서는 0.1781을 기록하여 진정한 전문화를 확인했습니다.

5. 중요성과 주장

이 논문은 파리 2.0 이 탈중앙화 학습이 시간적으로 일관된 비디오를 생성할 수 있는지에 대한 미해결 질문을 해결했다고 주장합니다. 주요 중요성은 격리되어 학습된 전문가 용량이 비디오로의 전환을 생존할 뿐만 아니라 동일한 데이터로 학습된 단일 백본보다 더 우수한 성능을 발휘한다는 점을 입증하는 데 있습니다.

저자들은 이 작업을 물리적 AI 세계 모델을 향한 한 걸음으로 위치시킵니다. 그들은 기초 세계 모델이 단일 학습 클러스터의 용량을 훨씬 초과하는 환경을 다뤄야 한다고 주장합니다. 환경별로 전문가를 전문화하고 이를 라우팅함으로써 파리 2.0 은 소수의 실험실만 접근할 수 있는 단일 구조 클러스터에 의존하는 대신, 세상이 이미 보유한 분산 컴퓨팅을 통해 세계 모델을 학습할 수 있는 경로를 제시합니다. 결과는 DDM 레시피가 이미지에서 복잡하고 운동량이 많은 비디오 생성으로 확장하기에 충분히 견고함을 시사합니다.