기술 요약: DeformMaster

문제 정의

변형 가능 객체에 대한 세계 모델은 기하학과 외관뿐만 아니라 근본적인 물리적 역학, 상호작용 기반, 그리고 재료 거동까지 복원해야 합니다. 이러한 모델을 실제 세계 비디오에서 학습하는 것은 변형 가능 객체 (선형, 평면, 부피형) 가 분산된 변형, 복잡한 재료 반응, 자기 접촉, 그리고 외부 힘에 의해 지배되는 고차원 상태 공간에서 진화하기 때문에 어렵습니다.

기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 물리 기반 재구성 (예: PhysTwin, Spring-Gaus) 은 종종 이상화된 물리 모델에 의존하며, 매개변수 식별이 모델 가정 너머의 실제 세계 현상을 설명하는 데 어려움을 겪습니다.
• 생성 모델 (예: 비디오 확산) 은 주로 시각적 결과를 상상하지만 행동 조건부 역학에 대한 신뢰할 수 있는 이해가 부족하여 명시적 상호작용을 통한 제어가 어렵고, 환각된 역학에 취약합니다.
• 순수 학습 역학 (예: 입자 - 그래프 네트워크) 은 무거운 데이터 의존성으로 고통받으며, 훈련 분포에 묶여 있고 새로운 행동 하에서 장기간 롤아웃 시 크게 이탈합니다.

핵심적인 과제는 시각적 관찰로부터 물리적 상태를 추론하고, 새로운 상호작용 하에서 이를 앞으로 진행하며, 안정적이고 일반화 가능하며 물리적으로 근거된 고충실도 역학을 렌더링하는 모델을 구축하는 것입니다.

방법론: DeformMaster

DeformMaster 는 역학과 외관을 단일 프레임워크 내에서 통합하는 비디오 기반 상호작용 물리 - 신경 세계 모델입니다. 이 모델은 실제 상호작용 비디오를 변환하여 새로운 행동 롤아웃, 재료 매개변수 변화, 그리고 동적 새로운 뷰 합성을 지원하는 온라인 및 쿼리 가능한 표현을 생성합니다. 시스템은 네 가지 핵심 구성 요소로 구성됩니다:

1. 물리 - 신경 입자 - 그리드 역학 (PNPGD)

물리 사전 지식의 안정성과 실제 세계 불일치를 모델링할 수 있는 유연성 사이의 균형을 맞추기 위해, DeformMaster 는 역학 연산자 $F_{\theta,\phi}$를 물리 블록 $P_\theta$와 신경 잔차 $R_\phi$로 분해합니다:
$$F_{\theta,\phi} = P_\theta \oplus R_\phi$$

• 물리 블록 ($P_\theta$): 재료 매개변수 $\theta$를 기반으로 한 프레임 동안 상태를 전진시키기 위해 미분 가능한 재료 점 방법 (MPM) 을 사용합니다. 이는 구조화되고 안정적인 사전 지식을 제공합니다.
• 신경 잔차 ($R_\phi$): MPM 후 상태와 짧은 운동학적 역사를 기반으로 경계된 속도 보정 $\Delta v_p$를 예측하는 입자 - 그리드 신경 네트워크입니다. 이 잔차는 자유 상태 예측기로 작용하지 않고 마찰, 복잡한 접촉과 같은 모델링되지 않은 효과를 흡수하여 모델이 물리 시뮬레이션의 완전한 대체가 아닌 교란으로 남도록 보장합니다.

2. 분산 순응형 액추에이터 (DCA)

비전에서 유도된 실제 손 추적 데이터는 노이즈가 많고 희소합니다. 경성 점 제약은 종종 속도 스파이크나 국소 변형을 초래하여 전체 운동을 구동하지 못합니다. DCA 는 이를 다음과 같이 해결합니다:

• 순응성: 고주파 노이즈를 흡수하기 위해 경성 제약을 강성 $k_p$와 감쇠 $k_d$를 사용하는 순응형 액추에이터 - 입자 결합으로 변환합니다.
• 분산: 단일 점이 아닌 유한한 접촉 패치 (국소 이웃) 에 걸쳐 액추에이션을 분산시켜 부드러운 연속체를 통한 효과적인 힘 전달을 가능하게 합니다.

3. 구성 전문 지식의 혼합 (MoCE)

실제 변형 가능 객체는 거의 단일 이상화된 구성 법칙을 따르지 않습니다. MoCE 는 첫 번째 Piola–Kirchhoff 응력을 네오 - 후크, 회전, 생 - 베낭 - 키르히호프와 같은 표준 전문 지식의 공간적으로 변하는 혼합으로 표현합니다:
$$P_{mix}(F_p) = \sum_k w_{k,p} P_k(F_p; E_p, \nu_p)$$
혼합 가중치 $w_{k,p}$는 공간적으로 변하여 모델이 분석적 구성 법칙에 근거한 채 객체의 서로 다른 영역에 걸쳐 이질적인 재료 반응을 포착할 수 있도록 합니다.

4. 물리 기반 4D 외관

매번 새로운 행동에 대해 동적 모델을 다시 최적화하지 않고 고충실도 외관을 렌더링하기 위해, DeformMaster 는 예측된 재료 입자 궤적을 사용하여 가우스 스플래팅 표현을 구동합니다. 브리지 함수 $B_\psi$는 입자 운동에 기반하여 선형 블렌드 스키닝 (LBS) 을 사용하여 가우스를 점진적으로 변형시킵니다. 이는 렌더링된 외관이 근본적인 물리적 진화와 일관되게 유지되도록 보장합니다.

훈련 체계

모델은 역학 오차 (추적 정렬, 모양 챔퍼 거리, 국소 길이 보존) 와 외관 오차 (RGB 광도 손실) 를 최소화하는 결합된 목적 함수로 훈련됩니다. 훈련은 단계별로 진행됩니다:

1. 단계 1–2: 역학 훈련 (재료 필드 및 신경 잔차 학습) 과 CMA-ES 를 사용한 분산 순응형 액추에이터 (DCA) 이득 선택 간의 교대 최적화.
2. 단계 3: 가우스 스플래트 최적화 다음에 RGB 가이드 역학 분기 정제. 여기서 광도 기울기가 입자 운동과 신경 잔차로 역류합니다.

주요 기여

1. PNPGD: 미분 가능한 물리에 신경 잔차를 보강하여 물리 유도 롤아웃을 유지하면서 모델링되지 않은 실제 세계 효과를 보상하는 하이브리드 전이 모델.
2. DCA: 노이즈가 많고 희소한 손 추적 데이터를 순응적이고 공간적으로 분산된 액추에이션으로 변환하여 손 - 연속체 상호작용을 안정화하는 메커니즘.
3. MoCE: 이질적인 재료 반응을 포착하기 위해 공간적으로 변하는 가중치와 표준 재료 법칙을 혼합하는 구성 모델링 접근법.
4. DeformMaster 시스템: 온라인 상호작용을 지원하며 상호작용 물리 - 신경 역학과 물리 기반 고충실도 4D 외관을 짝짓는 통합된 비디오 기반 세계 모델.

실험 결과

DeformMaster 는 PhysTwin 데이터셋의 20 개 실제 세계 변형 가능 객체 시퀀스 (선형 (로프), 평면 (천/패키지), 부피형 (소프트 장난감) 객체 포함) 에서 평가되었습니다.

• 전체 성능: DeformMaster 는 미래 역학 (IoU, 챔퍼 거리) 과 렌더링된 외관 (PSNR, SSIM, LPIPS) 모두에서 베이스라인 (PhysTwin, Spring-Gaus, GS-Dynamics) 을 능가하는 가장 강력한 전체 성능을 달성했습니다.
• PhysTwin 과의 비교: 추적 오차는 유사하게 유지하면서 챔퍼 거리 (0.011 대 0.012) 와 IoU(0.748 대 0.734) 를 개선했습니다.
• 학습된 역학과의 비교: 순수 학습 가우스 역학 베이스라인에 비해 챔퍼 거리 (>3 배) 와 추적 오차 (>2.9 배) 를 크게 감소시켰습니다.
• 일반화: 이 모델은 새로운 행동, 재료 매개변수 변화 (예: 파열을 유도하기 위해 재료 필드 확장), 그리고 새로운 뷰 합성 하에서 성공적으로 롤아웃을 지원했습니다.
• 어블레이션 연구:
  • 신경 잔차를 제거하면 성능이 저하되어 이상화된 물리와 실제 관찰 사이의 연결 필요성을 확인했습니다.
  • DCA 를 경성 제약 또는 단일 점 액추에이터로 대체하면 발산하거나 정확도가 감소하여 순응성과 분산의 필요성을 검증했습니다.
  • MoCE 를 단일 전문가로 대체하면 결과가 악화되어 공간적으로 변하는 재료 모델링의 필요성을 입증했습니다.
  • 단계 3 의 RGB 가이드 정제는 역학 및 외관 지표 모두에서 일관된 개선을 제공했습니다.

중요성 및 주장

이 논문은 DeformMaster 가 변형 가능 객체를 위한 견고하고 상호작용적인 세계 모델로 나아가는 중요한 단계라고 주장합니다. 물리적 역학, 상호작용 기반, 그리고 재료 거동을 공동으로 복원함으로써, 이 모델은 행동 제어 가능성이 부족한 순수 생성적 접근법과 실제 세계의 복잡성에 직면하는 순수 물리 기반 접근법의 한계를 극복합니다.

저자들은 DeformMaster 가 다음을 가능하게 한다고 강조합니다:

• 새로운 행동 하에서의 안정적인 장기간 롤아웃.
• 노이즈가 많은 시각적 관찰에도 불구하고 견고한 상호작용.
• 단일 전역 구성 법칙을 가정하지 않는 이질적인 재료 모델링.
• 물리적 진화에 직접적으로 구동되는 고충실도 4D 외관.

이 연구는 모델 예측 제어 기반 로봇 조작 및 합성 데이터 생성과 같은 다운스트림 임베디드 응용 프로그램의 기반으로서 자신을 위치시키면서, 매우 얇은 평면 객체 (여기서 스프링 - 질량 시스템이 여전히 귀납적 편향을 가질 수 있음) 와 실행 시간 시뮬레이션 하위 단계에 대한 의존성과 관련된 한계를 인정합니다.