PhyCo: Learning Controllable Physical Priors for Generative Motion

"PhyCo: Learning Controllable Physical Priors for Generative Motion" 논문의 상세 기술 요약입니다.

1. 문제 제기

현대 비디오 확산 모델은 사실적인 질감, 조명, 운동 연속성을 합성하는 데 있어 놀라운 성과를 거두었습니다. 그러나 물리적 일관성 측면에서는 심각한 어려움을 겪고 있습니다. 일반적인 실패 사례는 다음과 같습니다.

• 중력 하에서 비현실적인 속도로 물체가 표류하거나 떨어지는 현상.
• 탄성 반발 (restitution) 이 비현실적인 충돌.
• 재료 특성에 따라 변형되지 않는 연체 (soft) 물체.
• 조절 불가능성: 기초 모델이 방대한 데이터셋으로 훈련되었음에도 불구하고, 재훈련이나 복잡한 외부 안내 없이 마찰력이나 힘의 크기 등 물리적 속성의 특정 변형을 생성하기 위해 조절 가능하게 조작할 수 없습니다.

기존 솔루션은 두 가지 범주로 나뉘며, 모두 한계가 있습니다.

1. 명시적 시뮬레이션: 확산 모델과 물리 솔버 (예: 강체 역학, MPM) 를 결합하는 방법은 추론 시 3D 기하학적 재구성이나 사전 정의된 재료가 필요하여 확장성과 일반화를 제한합니다.
2. 암시적 사전 지식: 언어 또는 궤적 프롬프트를 사용하는 방법은 의미적 일관성을 개선하지만, 변형, 탄성 반발, 마찰력과 같은 다양한 물리적 속성에 대한 연속적이고 세밀한 제어가 부족합니다.

2. 방법론

PhyCo 는 추론 시 시뮬레이터나 기하학적 재구성이 필요 없이 비디오 생성에 대한 연속적이고 해석 가능하며 물리적으로 근거된 제어를 가능하게 하는 프레임워크를 도입합니다. 이 접근법은 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. 대규모 물리 기반 데이터셋

• 규모 및 다양성: 저자들은 Kubric 프레임워크, PyBullet(물리), Blender(렌더링) 를 사용하여 100,000 개 이상의 사진 같은 시뮬레이션 비디오로 구성된 데이터셋을 구축했습니다.
• 시나리오: 이 데이터셋은 강체 충돌부터 변형 가능한 역학까지 spanning 하는 6 가지 제어된 시나리오 (예: 미끄러지는 벽돌, 튕기는 공, 연체 충돌) 를 다룹니다.
• 주석: 이전 데이터셋과 달리 PhyCo 는 네 가지 주요 속성에 대한 픽셀 정렬 물리 속성 맵을 제공합니다.
  1. 마찰력 ($\mu_f$)
  2. 탄성 반발 ($e$)
  3. 변형 (Neo-Hookean 매개변수: $\mu, \lambda, \gamma$)
  4. 적용된 힘 (크기와 방향)
• 설계: 시뮬레이션은 시각적으로 깔끔하지만 물리적으로 풍부하여, 모델이 시각적 외관을 기저 역학으로부터 분리해 낼 수 있도록 합니다.

B. 물리 감독 미세 조정 (1 단계)

• 아키텍처: 저자들은 ControlNet 아키텍처를 사용하여 사전 훈련된 확산 백본 (Cosmos-Predict2-2B) 을 미세 조정합니다.
• 조건부: 노이즈 제거 과정은 공간적으로 정렬된 물리 속성 맵 ($p$) 을 기반으로 조건부 설정됩니다. 이러한 맵은 토큰화되어 어댑터 네트워크를 통해 DiT(확산 트랜스포머) 백본과 일치하도록 투영됩니다.
• 훈련 전략: ControlNet 레이어만 미세 조정되며, 사전 훈련된 표현을 보존하기 위해 기본 모델 및 토크나이저 가중치는 고정된 상태로 유지됩니다. 모델은 특정 물리적 속성이 역학에 나타나는 데이터셋의 하위 집합으로 훈련됩니다.

C. VLM 기반 보상 최적화 (2 단계)

• 동기: 감독 미세 조정만으로는 강력한 제어 충실도를 보장하지 못할 수 있습니다. 이를 극복하기 위해 **시각 - 언어 모델 (VLM)**이 미분 가능한 보상 신호로 사용됩니다.
• 과정:
  1. 롤아웃: 노이즈가 있는 중간 단계를 평가하는 대신, 모델은 예측된 비디오 $\hat{x}_0$를 생성하기 위해 $N$-단계 노이즈 제거 롤아웃을 수행합니다.
  2. 평가: 미세 조정된 VLM(Qwen2.5-VL-3B) 은 큐레이션된 "물리 질문 은행"을 사용하여 생성된 비디오를 분석합니다. 쿼리는 이진 (예/아니오) 이거나 회귀 기반 (예: "힘의 크기가 0.2 와 0.4 사이인가?" 또는 "운동이 파란 섹터 내에 있는가?") 입니다.
  3. 보상 신호: VLM 의 정답과 오답에 대한 로지트 (logits) 는 미분 가능한 보상 손실 ($L_{VLM}$) 로 변환됩니다.
  4. 최적화: ControlNet 은 의도된 물리적 속성과 생성된 역학을 정렬하기 위해 이 보상 손실을 사용하여 추가로 미세 조정됩니다.

3. 주요 기여

1. PhyCo 데이터셋: 시각적 외관을 물리적 역학으로부터 분리하도록 설계된 마찰력, 탄성 반발, 변형, 힘에 대한 연속적 주석이 포함된 새로운 대규모 (10 만 개 이상의 비디오) 데이터셋.
2. 제어된 물리 조건부: ControlNet 을 통해 공간적으로 정렬된 물리 속성 맵을 확산 모델에 주입하여 여러 물리적 속성을 동시에 연속적으로 제어할 수 있는 방법.
3. VLM 기반 정렬: 미세 조정된 VLM 이 추론 시 명시적 물리 솔버 없이도 물리적 일관성에 대한 미분 가능한 피드백을 제공하여 제어 충실도를 크게 향상시키는 새로운 훈련 단계.
4. 일반화: 이 프레임워크는 합성 데이터만으로 훈련되었음에도 불구하고 스타일화된 장면이나 실제 장면 (예: 트램펄린에서 뛰어오르는 사람) 에서 물리적으로 일관된 운동을 생성하는 강력한 구성 일반화를 보여줍니다.

4. 실험 결과

저자들은 PhyCo 를 Physics-IQ 벤치마크와 인간 선호도 연구를 통해 평가했습니다.

• Physics-IQ 벤치마크:

  • PhyCo 는 고체 역학, 유체 역학, 광학, 자기학, 열역학 등 다섯 가지 영역에서 강력한 베이스라인 (SVD-XT, LTX-Video, CogVideoX, VLIPP) 보다 훨씬 우수한 성과를 거두었습니다.
  • 점수: 전체 PhyCo 모델 (ControlNet + VLM 손실) 은 IQ 점수 43.6을 달성했습니다 (VLIPP 는 34.6, SG-I2V 는 29.7).
  • 일반화: 57 프레임 훈련 데이터보다 긴 120 프레임 시퀀스로 테스트되었음에도 모델은 우수한 물리적 사실성을 유지했습니다.

• 사용자 연구 (2AFC):

  • 쌍별 비교에서 인간 평가자들은 물리적 사실성과 조절 가능성 측면에서 베이스라인보다 PhyCo 를 선호했습니다.
  • PhyCo 는 기본 Cosmos 모델 대비 마찰력에서 90.9%, 탄성 반발에서 93.2%, 변형에서 **91.3%**의 선호도를 보였습니다.

• 절대 실험 (Ablation Studies):

  • VLM 영향: VLM 보상 최적화를 추가하면 힘 방향의 각 편차가 ControlNet 만 사용 시 약 38°에서 **22.5°**로 감소했습니다.
  • 힘 방향: PhyCo 는 평균 방향 오차 **15.2°**를 달성하여 Force-Prompting(40.5°) 보다 훨씬 우수했습니다.
  • 구성 제어: 모델은 속성들의 조합 (예: 힘 + 마찰력) 을 성공적으로 처리하고 보지 못한 물체 및 시나리오로 일반화했습니다.

5. 의의

PhyCo 는 물리적으로 일관된 생성적 세계 모델을 향한 확장 가능한 경로를 제시합니다. 그 의의는 다음과 같습니다.

• 추론 효율성: 추론 중 명시적 물리 솔버나 3D 재구성이 필요 없으므로, 하이브리드 시뮬레이션 접근법보다 빠르고 유연합니다.
• 해석 가능성: 명시적 물리 속성 맵을 사용하여 제어가 해석 가능하며 표준 물리 시뮬레이션 매개변수와 정렬됩니다.
• 확장성: 이 방법은 합성 훈련 데이터에서 실제 시나리오 및 다양한 물체 범주로 일반화되어, 물리 법칙을 이해하는 지능형 시각 모델을 구축하기 위해 물리적 사전 지식을 임베딩하는 것이 유효한 전략임을 시사합니다.

요약하자면, PhyCo 는 시각적 사실성과 물리적 타당성 사이의 간극을 성공적으로 연결하여, 연속적 속성 조작을 통해 물리 법칙을 준수하는 비디오를 생성할 수 있는 제어 가능한 프레임워크를 제공합니다.