DiffWind: Physics-Informed Differentiable Modeling of Wind-Driven Object Dynamics

이 논문은 비디오 관측을 통해 바람과 물체의 상호작용을 물리 법칙에 기반한 미분 가능한 프레임워크인 DiffWind 로 모델링하여, 3D 가우스 스플래팅과 MPM, LBM 을 활용하여 바람의 힘장을 재구성하고 새로운 바람 조건에서의 시뮬레이션 및 바람 리타게팅을 가능하게 하는 WD-Objects 데이터셋을 포함해 기존 방법보다 뛰어난 정확도와 충실도를 달성함을 제시합니다.

핵심

바람을 보는 눈: DiffWind 이야기

이 논문은 **"보이지 않는 바람이 어떻게 물체를 움직이게 하는지"**를 비디오 영상만으로 완벽하게 재현하고, 심지어 그 바람을 다른 물체에게도 옮겨 붙일 수 있는 새로운 기술인 DiffWind를 소개합니다.

마치 마법처럼 보일 수 있지만, 이는 물리 법칙과 최신 AI 기술을 결합한 과학의 결과입니다. 쉽게 풀어서 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (문제 상황)

상상해 보세요. 나뭇잎이 흔들리거나, 깃발이 펄럭이거나, 천이 바람에 날리는 모습을 보세요. 우리는 눈으로만 봐도 "아, 저기서 바람이 불고 있구나"라고 직감적으로 알 수 있습니다.

하지만 컴퓨터는 이걸 이해하기가 매우 어렵습니다.

• 바람은 보이지 않습니다. (투명하죠)
• 바람은 everywhere(어디서나) 다릅니다. (한곳은 강하고, 한곳은 약합니다)
• 물체는 구부러지고 찌그러집니다. (복잡한 변형이 일어납니다)

기존의 AI 기술들은 물체가 어떻게 움직이는지 '표면'만 흉내 낼 뿐, 그 이면에 있는 '바람'이라는 원인을 파악하지 못했습니다. 마치 바람의 세기를 모른 채 나무만 흔들리게 하는 것과 같죠.

2. DiffWind 는 어떻게 해결하나요? (해결책)

DiffWind 는 세 가지 핵심 아이디어를 섞어서 이 문제를 해결합니다.

🌪️ 바람은 '그물망'으로, 물체는 '구슬'로

• 바람 (Grid Field): 바람은 보이지 않으므로, 보이지 않는 '그물망 (Grid)' 위에 숨어 있는 힘으로 표현합니다. 마치 공기 중에 보이지 않는 그물망이 있어, 그 그물망의 구멍마다 바람의 세기와 방향이 적혀 있다고 생각하세요.
• 물체 (Particle System): 나뭇잎이나 천 같은 물체는 수천 개의 작은 '구슬 (입자)'로 이루어진다고 봅니다. 이 구슬들이 서로 붙어있다가 바람을 만나면 움직입니다.

🤝 두 세계의 만남: 물리 시뮬레이션

이제 이 '바람 그물망'과 '물체 구슬'을 만납니다. DiffWind 는 **MPM(물질점법)**이라는 기술을 써서, 그물망의 바람이 구슬을 밀어내는 과정을 수학적으로 계산합니다.

• 비유: 바람 그물망이 거대한 손처럼 구슬 (물체) 을 밀어내면, 구슬들은 서로 밀고 당기며 자연스럽게 휘어지거나 펄럭입니다.

🔍 역추적: "무엇이 움직였을까?"

여기서 가장 놀라운 점은 거꾸로 생각한다는 것입니다.

• 보통은 "바람을 주면 물체가 어떻게 움직일까?"를 계산합니다.
• DiffWind 는 **"물체가 이렇게 움직였으니, 어떤 바람이 불었을까?"**를 찾아냅니다.
• 카메라로 찍힌 영상을 보고, AI 가 "아, 저 나뭇잎이 저렇게 흔들리려면 저기서 저런 바람이 불어야겠구나"라고 추측하며, 그 바람의 세기와 방향을 계속 수정해 나갑니다.

3. 물리 법칙을 지키는 '안전벨트' (LBM)

AI 가 임의로 바람을 만들어내면, 물리 법칙을 무시한 엉뚱한 바람이 나올 수 있습니다. (예: 바람이 물체 안으로 통과한다거나, 갑자기 방향이 뒤집히는 등)

이를 방지하기 위해 DiffWind 는 **LBM(격자 볼츠만 방법)**이라는 물리 법칙을 '안전벨트'처럼 사용합니다.

• 비유: AI 가 바람을 설계할 때, "이건 물리 법칙에 어긋나니까 다시 해!"라고 끊임없이 지적하는 엄격한 물리 선생님이 옆에 있는 셈입니다. 덕분에 생성된 바람은 현실에서 일어날 법한 자연스러운 흐름을 따릅니다.

4. 이 기술로 무엇을 할 수 있나요? (응용)

이 기술은 단순히 영상을 분석하는 것을 넘어, 새로운 창작을 가능하게 합니다.

• 바람 리타게팅 (Wind Retargeting):

  • 상황: A 라는 나무가 바람에 흔들리는 영상을 분석해서 '바람 패턴'을 추출했습니다.
  • 활용: 이제 그 '바람 패턴'을 B 라는 다른 나무나, 아예 다른 천에 적용해 봅니다.
  • 결과: A 나무가 흔들렸던 동일한 바람이 B 물체에게 불어와, B 물체도 자연스럽게 흔들리는 영상을 만들 수 있습니다. 마치 바람을 다른 물체에게 '옮겨 붙이는' 마법 같습니다.

• 미래의 바람 시뮬레이션:

  • "만약 태풍이 불면 이 건물이 어떻게 될까?"를 미리 시뮬레이션해 볼 수 있습니다.

5. 요약

DiffWind는 **"보이지 않는 바람"**과 "보이는 물체의 움직임" 사이의 관계를 AI 가 물리 법칙을 배우면서 찾아내는 기술입니다.

• 기존: 물체가 어떻게 움직이는지만 봅니다. (표면만)
• DiffWind: 물체가 움직인 원인이 되는 바람의 힘까지 찾아내고, 그 바람을 다른 곳에 적용할 수도 있습니다. (원인과 결과 모두 이해)

이 기술은 영화 특수효과, 가상 현실 (VR), 그리고 기후 변화에 따른 구조물 안전 분석 등 다양한 분야에서 혁신을 가져올 것으로 기대됩니다. 마치 보이지 않는 바람을 눈으로 볼 수 있게 해주는 '투명 안경'을 개발한 것과 같습니다.

기술 요약

DiffWind: 물리 기반 미분 가능 풍력-객체 동역학 모델링 (기술 요약)

이 논문은 DiffWind라는 새로운 프레임워크를 제안합니다. 이는 비디오 관측을 통해 보이지 않는 바람 (Wind) 과 가시적인 객체 (Object) 의 상호작용을 물리 법칙에 기반하여 미분 가능 (Differentiable) 하게 모델링하는 방법론입니다. ICLR 2026 에 발표된 이 연구는 바람에 의해 움직이는 객체의 동역학을 재구성하고, 새로운 바람 조건에서의 시뮬레이션, 그리고 바람 리타게팅 (Wind Retargeting) 을 가능하게 합니다.

---

1. 문제 정의 (Problem)

바람에 의해 흔들리는 나뭇잎, 펄럭이는 깃발, 휘날리는 천과 같은 현상은 시각적으로 뚜렷하지만 물리적으로 매우 복잡합니다. 이러한 현상을 컴퓨터 비전으로 복원하는 데는 다음과 같은 주요 난제가 존재합니다.

• 비가시성: 바람은 직접 관찰할 수 없으며, 공간과 시간에 따라 불균일하게 분포합니다.
• 복잡한 변형: 객체의 변형은 질량, 탄성, 기하학적 구조 등 알려지지 않은 물리 매개변수에 의존합니다.
• 기존 방법의 한계:
  • 기존 동적 신경 표현 (Deformable NeRF, 3DGS 등) 은 가시적인 운동만 모델링할 뿐, 바람장 (Wind Field) 과 같은 물리적 원인을 고려하지 않습니다.
  • 기존 물리 시뮬레이션은 단순한 운동 패턴 (예: 중력, 일정한 힘) 에만 제한되며 복잡한 유체 - 객체 상호작용을 처리하지 못합니다.
  • 기존 비디오 기반 바람 추정은 풍속만 추정하거나 특정 시나리오 (천의 변형 등) 에 국한되어 일반성이 부족합니다.

2. 방법론 (Methodology)

DiffWind 는 물리 기반 미분 가능 프레임워크로, 바람과 객체를 분리하여 모델링하되 상호작용을 통합합니다.

2.1. 표현 방식 (Representation)

• 바람 (Wind): 유체의 특성을 반영하기 위해 **격자 기반 물리 장 (Grid-based Physical Field)**으로 표현됩니다. 각 격자 노드는 밀도, 속도, 힘 등의 물리량을 저장합니다.
• 객체 (Object): 3D 가우시안 스플래팅 (3D Gaussian Splatting, 3DGS) 에서 파생된 **입자 시스템 (Particle System)**으로 표현됩니다. 3D 가우시안은 외관과 운동을 표현하며, 물리 시뮬레이션을 위해 내부 점 (Internal Points) 을 밀집화 (Densification) 하여 기하학적 지지를 확보합니다.

2.2. 상호작용 모델링 (Interaction Modeling)

• MPM (Material Point Method): 바람 (오일러 격자) 과 객체 (라그랑지 입자) 간의 상호작용을 모델링하기 위해 MPM 을 사용합니다. 바람 장의 힘 속성이 MPM 격자에 적용되어 객체 입자의 운동과 변형을 유도합니다.
• 물리 에이전트: 객체의 물리적 속성 (재료명, 밀도, 푸아송 비, 영률 등) 은 멀티모달 대형 언어 모델 (MLLM) 을 사용하여 추론하고, 이를 시뮬레이션의 초기값으로 사용합니다.

2.3. 재구성 프레임워크 (Reconstruction Framework)

• 미분 가능 최적화: 희소 뷰 (Sparse-view) RGB 비디오를 입력으로 받아, 렌더링된 이미지와 입력 이미지 간의 광도 손실 (Photometric Loss) 을 최소화하도록 **바람 힘 장 (Wind Force Field)**을 최적화합니다.
• 물리 정보 기반 제약 (Physics-Informed Constraint): 단순히 이미지 손실만으로는 물리 법칙을 준수한다는 보장이 없습니다. 이를 해결하기 위해 **격자 볼츠만 방법 (Lattice Boltzmann Method, LBM)**을 도입합니다.
  • LBM 을 사용하여 바람장의 방향성을 시뮬레이션하고, 이를 **물리 정보 손실 (Physics-Informed Loss)**로 활용하여 재구성된 바람 힘이 유체 역학 법칙 (Navier-Stokes 방정식) 을 따르도록 제약합니다.
  • 바람의 방향은 Video Depth Anything 과 MLLM 을 통해 추론된 바람원 (Wind Source) 정보를 기반으로 설정됩니다.

2.4. 응용 기능

• 전진 시뮬레이션 (Forward Simulation): 재구성된 바람 장을 사용하여 새로운 바람 조건에서 객체의 운동을 시뮬레이션할 수 있습니다.
• 바람 리타게팅 (Wind Retargeting): 한 객체에서 추론된 바람 장을 다른 객체에 적용하여 새로운 상호작용을 생성할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. DiffWind 프레임워크: 바람을 격자 기반 물리 장으로, 객체를 입자 기반 가변 기하학으로 표현하는 새로운 미분 가능 모델링 프레임워크를 제안했습니다.
2. 미분 가능 역문제 해결: 희소 뷰 비디오에서 가시적인 객체 운동과 보이지 않는 바람 힘 장을 동시에 재구성하는 역문제 (Inverse Problem) 해결 방법을 제시했습니다.
3. 물리 법칙 준수: LBM 을 물리 정보 제약으로 활용하여 재구성된 바람장이 유체 역학 법칙을 준수하도록 보장하고, 이를 통해 전진 시뮬레이션과 리타게팅을 가능하게 했습니다.
4. WD-Objects 데이터셋: 합성 및 실제 세계의 바람에 의해 움직이는 객체 장면을 포함하는 새로운 데이터셋을 구축했습니다.

4. 실험 결과 (Results)

• 데이터셋: 합성 데이터 (NeRF, ShapeNet 등 기반) 와 실제 데이터 (GoPro 로 촬영한 식물, 모자, 꽃 등) 로 구성된 WD-Objects 를 사용했습니다.
• 성능 비교:
  • 신규 뷰 합성 (Novel View Synthesis): Deformable-GS, Efficient-GS, 4D-GS 등 최신 동적 장면 재구성 방법들과 비교했습니다. DiffWind 는 PSNR, SSIM, LPIPS 지표에서 모든 항목에서 압도적으로 우수한 성능을 보였습니다 (예: 합성 데이터 평균 PSNR 47.15 vs 기존 방법들 30~36).
  • 시각적 품질: 사용자 연구 (User Study) 에서 DiffWind 는 SVD, CogVideoX, DynamiCrafter 등 최신 비디오 생성 모델들보다 운동의 사실성과 물리적 일관성 측면에서 훨씬 높은 점수를 받았습니다.
• Ablation Study:
  • 물리 정보 손실 (Lphys) 을 제거할 경우 재구성 품질이 저하됨을 확인했습니다.
  • MLLM 을 통한 물성 추정이 사전 정의된 값보다 더 나은 결과를 제공했습니다.
  • 보이지 않는 내부 점 밀집화 (Densification) 가 기하학적 모델링의 정확도에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

DiffWind 는 비디오 기반 바람 - 객체 상호작용 모델링의 새로운 지평을 열었습니다.

• 물리 일관성: 단순히 외관을 학습하는 것을 넘어, 유체 역학 법칙을 준수하는 물리적으로 타당한 시뮬레이션을 가능하게 합니다.
• 응용 가능성: 증강/가상 현실 (AR/VR), 시각 효과 (VFX), 과학적 분석, 시뮬레이션 기반 편집 등 다양한 분야에 활용 가능합니다.
• 일반화: 학습된 바람 장을 새로운 객체나 조건에 적용할 수 있어 (리타게팅), 기존 방법론이 가지지 못한 유연성을 제공합니다.

이 연구는 가시적인 운동 데이터로부터 보이지 않는 물리적 원인 (바람) 을 복원하고, 이를 기반으로 미래의 운동을 정확하게 예측하는 데 있어 중요한 진전을 이루었습니다.