DiReCT: 물리 정제 비디오 생성을 위한 해리된 대비적 궤적 정규화 (Disentangled Regularization of Contrastive Trajectories for Physics-Refined Video Generation)

이 논문은 흐름 매칭 (Flow-matching) 기반 비디오 생성 모델이 시각적 품질은 우수하지만 물리 법칙을 위반하는 경우가 많다는 문제를 해결하기 위해 제안된 DiReCT 프레임워크에 대해 다룹니다. 텍스트 조건부 비디오 생성에서 발생하는 '의미 - 물리 (Semantic-Physics) 얽힘' 문제를 해결하고, 대비적 학습 (Contrastive Learning) 을 통해 물리적 상식 (Physical Commonsense) 을 강화하는 방법을 제시합니다.

1. 문제 정의 (Problem Statement)

• 물리 법칙 위반: 기존 흐름 매칭 (Flow-matching) 비디오 생성 모델은 프레임별 재구성 손실 (Reconstruction Loss) 을 최소화하는 데 집중합니다. 이로 인해 시각적으로 그럴듯하지만, 중력, 관성, 충돌, 유체 역학 등 기본 물리 법칙을 위반하는 비디오를 생성하는 경우가 빈번합니다.
• 의미 - 물리 얽힘 (Semantic-Physics Entanglement): 텍스트 기반 비디오 생성에서 자연어 프롬프트는 장면의 내용 (Semantic) 과 물리적 행동 (Physics) 이 밀접하게 결합되어 있습니다.
  • 기존 대비적 학습 (Contrastive Learning) 은 서로 다른 조건의 속도장 (Velocity Field) 을 분리하려 하지만, 텍스트 프롬프트가 유사할 경우 (예: "공이 튀는 것" vs "공이 부서지는 것") 의미적 내용이 비슷하여 속도장 구조도 겹치게 됩니다.
  • 이로 인해 그라디언트 충돌 (Gradient Conflict) 이 발생합니다. 즉, 재구성을 위한 흐름 매칭 그라디언트와 대비적 학습을 위한 그라디언트가 서로 반대 방향으로 작용하여 학습 성능이 저하되거나 오히려 물리 법칙 위반이 심화되는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 DiReCT 를 통해 이 그라디언트 충돌 문제를 해결하고, 대비적 학습을 물리 법칙 개선에 효과적으로 활용하기 위해 해리된 (Disentangled) 다중 스케일 대비적 학습을 제안합니다.

A. 그라디언트 충돌의 이론적 분석

• 양 (Positive) 과 음 (Negative) 샘플의 속도장 차이가 작을 때 (의미적으로 유사할 때), 대비적 그라디언트는 흐름 매칭 그라디언트를 방해하여 학습을 악화시킵니다.
• 이를 해결하기 위해 음 (Negative) 샘플을 선택할 때 의미적 거리와 물리적 차이를 고려한 2 단계 (Macro/Micro) 전략을 도입합니다.

B. DiReCT 의 핵심 구성 요소

1. 매크로 대비적 학습 (Macro-Contrastive Learning, MaNS):

   • 목적: 전역적인 궤적 분리 (Global Trajectory Separation).
   • 방식: 텍스트 인코더 임베딩을 기반으로 프롬프트를 $K$개의 의미적 군집 (Semantic Clusters) 으로 나눕니다.
   • 음 샘플 생성: 양 샘플이 속한 군집을 제외한 다른 군집에서 무작위로 음 샘플을 선택합니다.
   • 효과: 의미적으로 멀리 떨어진 샘플을 사용하여 속도장 구조가 겹치지 않도록 하여, 그라디언트 충돌 없이 전역적인 구조를 명확히 분리합니다.

2. 마이크로 대비적 학습 (Micro-Contrastive Learning, MiNS):

   • 목적: 미세한 물리적 차이 구분 (Fine-grained Physics Distinction).
   • 방식: 양 샘플과 장면 의미는 동일하지만 물리적 행동만 한 가지 차원에서 변형된 '하드 네거티브 (Hard Negative)'를 생성합니다.
   • 물리 차원: LLM(Qwen2.5-7B) 을 활용하여 다음 5 가지 물리 축 중 하나만 변형합니다.
     • 운동학 (Kinematics): 속도/가속도 프로파일
     • 힘 (Forces): 중력/부력 등 힘의 방향
     • 재료 (Material): 점성, 탄성, 마찰 등
     • 상호작용 (Interaction): 반동, 파손, 접착 등
     • 크기 (Magnitude): 물리량의 강도
   • 효과: 의미적 겹침이 있더라도 물리적으로만 다른 '하드 네거티브'를 통해 모델이 미세한 물리 법칙을 학습하도록 유도합니다.

3. 분포 앵커링 (Distributional Anchoring):

   • 대비적 학습으로 인해 사전 학습된 모델의 시각적 품질이나 일관성이 망가질 수 있는 파괴적 망각 (Catastrophic Forgetting) 을 방지합니다.
   • 사전 학습된 모델의 속도장 분포에서 너무 멀어지지 않도록 KL 발산 (또는 L2 거리) 페널티를 추가하여 학습을 정규화합니다.

C. 최종 목적 함수

재구성 손실 (Flow Matching), 매크로 대비 손실, 마이크로 대비 손실, 분포 앵커링 손실을 가중치 합으로 결합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 그라디언트 충돌의 공식화: 텍스트 조건부 대비적 흐름 매칭에서 의미 - 물리 얽힘이 왜 그라디언트 충돌을 일으키며 학습을 해치는지에 대한 이론적 조건을 도출했습니다.
2. DiReCT 프레임워크 제안: 전처리 없이도 적용 가능한 경량 (Lightweight) 포스트-트레이닝 프레임워크로, MaNS 와 MiNS 를 결합하여 전역 및 국소적 물리 법칙을 동시에 개선합니다.
3. 효율성과 성능: 추가적인 학습 시간이나 대규모 파라미터 없이, 기존 모델 (Wan 2.1-1.3B) 에 적용하여 물리 상식 점수를 획기적으로 개선했습니다.

4. 실험 결과 (Results)

• 벤치마크: VideoPhy(물리 상식 평가) 와 WorldModelBench(물리 법칙 준수 평가) 에서 평가 수행.
• 성능 향상:
  • VideoPhy: 베이스라인 대비 16.7% 향상, SFT (Supervised Fine-Tuning) 대비 11.3% 향상.
  • WorldModelBench: 총점 5.68을 기록하여, 파라미터가 3.8 배 더 큰 CogVideoX-5B(5.33) 와 7.7 배 더 큰 Mochi(4.91) 를 모두 능가했습니다.
• 비교: 1.3B 파라미터 모델임에도 불구하고, 더 큰 모델들보다 물리 법칙 준수와 지시 따르기 (Instruction Following) 능력에서 최상위 성능을 보였습니다.
• 학습 동향: 기존 SFT 는 학습 초기에 수렴하지만 DiReCT 는 학습이 진행될수록 물리 상식 점수가 지속적으로 향상되어 그 차이가 벌어지는 것을 확인했습니다.

5. 의의 (Significance)

• 효율적인 물리 학습: 거대한 물리 시뮬레이션 데이터나 복잡한 보상 모델을 구축하지 않고도, 텍스트 프롬프트의 구조를 이해하고 대비적 학습을 정교하게 설계함으로써 비디오 생성 모델의 물리 법칙 준수 능력을 획기적으로 개선할 수 있음을 증명했습니다.
• 차세대 월드 모델: 물리 법칙을 위반하지 않는 비디오 생성은 자율 주행, 로봇 제어 등 예측 가능한 '월드 모델 (World Model)' 구축에 필수적입니다. DiReCT 는 이러한 응용 분야에서 신뢰할 수 있는 생성 모델을 만드는 데 중요한 기여를 합니다.
• 일반화 가능성: 특정 물리 현상 (예: 유체만) 에 국한되지 않고, 운동학, 힘, 재료 등 다양한 물리 영역에 걸쳐 일반화된 물리 상식을 학습할 수 있음을 보였습니다.

요약하자면, DiReCT는 텍스트와 물리가 얽힌 복잡한 환경에서 대비적 학습의 한계를 극복하고, 매크로 (전역 분리) 와 마이크로 (세부 물리 변형) 전략을 통해 비디오 생성 모델이 "보이는 것"뿐만 아니라 "행동하는 것"에서도 물리 법칙을 따르도록 만드는 혁신적인 방법론입니다.