🤖 AI

Scene-Level Heterogeneous Physics Simulation with 3D Gaussian Splats

이 논문은 다양한 자산을 통일된 입자 집합으로 추상화함으로써 3D 가우시안 스플래팅과 프로덕션급 물리 엔진 사이의 표현 격차를 메우는 새로운 프레임워크를 소개하며, 이를 통해 변형 가능한 3DGS 자산, 표준 CG 객체, 그리고 캡처된 정적 환경 간의 복잡한 양방향 상호작용을 포함하는 현실적인 장면 수준의 이종 시뮬레이션을 가능하게 한다.

원저자: Xiaoyang Liu, Shangzhe Wu, Kai Han

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaoyang Liu, Shangzhe Wu, Kai Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

서로 다른 언어를 사용하는 두 개의 서로 다른 세계가 있다고 상상해 보세요.

월드 A는 포토 리얼리스틱 사진 스튜디오입니다. 이곳에서는 실제 사물(테디 베어 또는 정원 조각상 같은)을 가져와서 실제 모습과 똑같이 보이는 디지털 3D 모델로 바꿀 수 있습니다. 이 기술은 **3D 가우시안 스플래팅(3DGS)**이라고 불립니다. 무언가를 관찰하기에는 놀랍지만, 이들은 "죽어" 있습니다. 만약 당신이 디지털 테디 베어를 밀려고 한다면, 그것은 움직이지 않습니다. 만약 물을 붓는다면, 물은 그냥 그 위를 통과해 지나가 버릴 것입니다. 이들에게는 물리적인 몸이 없습니다.

월드 B는 물리 엔진 놀이터입니다. 이곳은 비디오 게임 엔진과 영화 특수 효과가 살아 숨 쉬는 곳입니다. 여기서는 물체들이 무게를 가지고, 튀어 오르고, 찌그러지며, 액체가 출렁거립니다. 하지만 이것이 작동하려면, 물체들은 보통 물리 엔진이 이해할 수 있는 단순하고 각진 형태(메쉬와 같은)로 만들어져야 합니다. 문제는, 이러한 각진 형태들은 실제 모습에 비해 가짜 같거나 흐릿해 보인다는 점입니다.

문제점: 언어의 장벽

지금까지 이 두 세계는 서로 대화할 수 없었습니다.

만약 당신이 사실적인 곰 인형이 사실적인 물에 젖는 장면을 만들고 싶다면, 문제가 발생합니다. "사진 스튜디오"의 곰은 물을 느낄 수 없고, "놀이터"의 물은 곰을 볼 수 없습니다.
이를 해결하려는 이전의 시도들은 마치 작고 고립된 모래 상자를 만드는 것과 같았습니다. 그들은 곰이 평평하고 빈 바닥 위에서 튀어 오르게 할 수는 있었지만, 곰이 복잡한 정원, 가상의 그릇, 또는 로봇 팔과 동시에 상호작용하게 할 수는 없었습니다.

해결책: "만능 번역기"

이 논문의 저자들은 만능 번역기(그들은 이를 표현 추상화 프레임워크라고 부릅니다)를 구축했습니다.

이렇게 생각해 보세요:

번역기: 시스템은 "사진 스튜디오"의 곰(3DGS), 가상의 메쉬 그릇, 그리고 유체 시뮬레이션을 가져온 뒤 이렇게 말합니다. "자, 모두 잠시 동안 멋진 외형은 잊으세요. 우리 모두 투명한 입자의 구름으로 변합시다."
물리 엔진: 모두가 입자의 구름이 되면, 강력한 물리 엔진(놀이터)이 제 역할을 수행할 수 있습니다. 엔진은 물이 곰에 어떻게 부딪히는지, 곰이 테이블 위에서 어떻게 미끄러지는지, 그리고 로봇 팔이 곰을 어떻게 미는지를 계산합니다. 엔진은 서로 다른 것들에 대해 각기 다른 "규칙"(예를 들어 물이 흐르는 방식과 천이 늘어지는 방식의 차이)을 사용하지만, 이 모든 것을 하나의 거대한 시뮬레이션 안에서 함께 처리합니다.
재-번역기: 물리 엔진이 수학적 계산을 마친 후, 시스템은 이 투명한 입자들을 보고 다시 명령합니다. "자, 이제 원래 모습으로 돌아가세요!"
- 물 입자들은 다시 물보라가 됩니다.
- 곰 입자들은 물에 의해 변형된, 사실적이고 말랑말랑한 곰의 모습으로 돌아옵니다.
- 그릇은 다시 반짝이는 가상의 물체로 돌아갑니다.

이것이 실제로 하는 일

이 논문은 이전에 불가능했던 장면들을 구현함으로써 이를 증명합니다:

실제와 가짜의 혼합: 그들은 정원(정적인 배경)의 실제 사진을 찍은 뒤, 그 안에 가상의 물 그릇을 떨어뜨렸습니다. 물은 실제 정원 테이블 위로 사실적으로 튀어 오릅니다.
부드러운 물체와 액체: 그들은 도넛(부드러운 물체)을 촬영한 뒤, 그 위에 가상의 소스를 부었습니다. 소스는 출렁거리며, 도넛은 소스의 무게에 의해 찌그러지고 변형됩니다.
실제 세계 속의 로봇: 그들은 로봇 팔(가상 물체)이 실제 과일 바구니를 집어 들어 실제 정원 장면 속에서 옮기는 모습을 만들었습니다.

이것이 왜 중요한가

이전에는 만약 영화 장면에서 사실적인 곰이 물에 젖는 모습을 보고 싶다면, 둘 중 하나를 선택해야 했습니다. 곰이 아주 멋져 보이되 물에 젖을 수는 없거나, 혹은 곰이 물에 젖긴 하지만 저품질 비디오 게임 캐릭터처럼 보이거나 말입니다.

이 논문은 그 간극을 메워줍니다. 이는 당신이 실제 세상의 사진을 가져와서, 그것을 상호작용이 가능한 물리적 물체로 바꾸고, 이를 다시 다른 가상 물체(액체나 로봇 등)와 함께 하나의 고품질 장면으로 섞을 수 있게 해줍니다. 최종 결과물은 전문 게임 엔진(Unreal Engine 5)에서 렌더링되어, 사실적인 조명과 그림자를 갖춘 고예산 영화와 같은 모습으로 보여집니다.

요약하자면: 그들은 "죽어 있는" 사진에 생명력을 불어넣어 가상의 물리 법칙과 상호작용하게 만들면서도, 원래 사진의 아름답고 사실적인 외형을 그대로 유지하는 다리를 건설했습니다.

기술 요약: 3D 가우시안 스플래팅을 이용한 장면 단위 이종 물리 시뮬레이션

1. 문제 정의

3D 가우시안 스플래팅(3DGS)의 최첨단(SOTA) 사실적 렌더링 능력에도 불구하고, 이러한 에셋들은 물리적 상호작용 측면에서는 여전히 "죽어 있는(dead)" 상태로 남아 있습니다. 근본적인 **표현의 격차(representation gap)**가 존재합니다:

3DGS 표현: 공분산( $\Sigma$ ), 구면 조화 함수( $C$ ), 그리고 불투명도( $\sigma$ )로 정의되며, 이는 렌더링에는 최적화되어 있으나 프로덕션급 물리 엔진과는 호환되지 않습니다.
물리 엔진의 한에: 산업용 엔진(예: Unreal Engine, Houdini)은 입자, 메쉬, 강체를 사용하여 이종 솔버(MPM, SPH, PBD)를 통해 작동합니다. 이들은 3DGS를 네이티브하게 이해할 수 없습니다.

이 격차를 메우려는 이전의 시도들은 3DGS만을 위한 전용 물리 솔버를 만드는 "고립된(siloed)" 패러다임을 따랐습니다. 이러한 접근 방식은 두 가지 결정적인 결함을 가집니다:

동질성(Homogeneity): GS 입자만 존재하는 폐쇄형 시스템을 만들어, 일반적인 컴퓨터 그래픽스(CG) 에셋(메쉬, 유체, 강체 등)과의 상호작용을 방해합니다.
고립성(Isolation): 빈 공간이나 이상적인 평면 위에서만 작동하며, 실제 세계 캡처로부터 유도된 복잡하고 기존의 3D 정적 충돌 기하 구조를 지원하지 못합니다.

결과적으로, 이전 방법들은 "장난감(toy)" 수준의 시나리오에 국한되어 장면 단위의 규모 있는 이종 물리 시뮬레이션을 달-성할 수 없었습니다.

2. 방법론: 표현 추상화 프레임워크 (RAF)

저자들은 다양한 에셋을 물리 시뮬레이션 컨텍스트로 통합하는 브리지 역할을 하는 새로운 **표현 추상화 프레임워크(Representation Abstraction Framework, RAF)**를 제안합니다. 이 파이프라인은 세 단계로 구성됩니다:

1단계: 에셋 준비 및 추상화

이 단계의 목표는 이종 입력값을 두 가지 통합된 구성 요소인 정적 충돌 메쉬( $M_{static}$ )와 통합 입자 리스트로 변환하는 것입니다.

정적 세계 ( $M_{static}$ ): 캡처된 실제 데이터(가우시안 세그멘테이션, 객체-장면 복원, 표면 재구성 과정을 거침)와 선택적으로 임포트된 에셋들로 구성된 합성 메쉬입니다. 이는 움직이지 않는 충돌 경계를 정의합니다.
동적 세계 (통합 입자 리스트): 모든 동적 에셋은 단일 입자 집합( $X$ $X$ )으로 추상화됩니다:
- 캡처된 3DGS: 연속적인 불투명도 필드를 샘플링하여 물리 입자( $X_{gs}$ )로 변환됩니다. 각 입자 $p_j$ 는 운동학적 상태( $x, v, m$ ), 모델 유형, 그리고 구성 매개변수(예: 영률)를 저장합니다. 시각적 데이터( $\Sigma_{rest}, C, \sigma$ )는 별도로 캐싱됩니다.
- 가상 메쉬: 포아송 디스크 샘플링(Poisson disk sampling)을 통해 "입자화"됩니다. 템플릿 메쉬를 입자에 바인딩하기 위해 무게 중심(Barycentric) 가중치가 사전 계산됩니다.
- 외부 입자/유체: 할당된 솔버 유형(예: SPH)과 함께 초기 위치로 직접 로드됩니다.
- 운동학적 에셋: 사용자 정의 변환이 적용된 강체로 취급됩니다. 이들은 일방향 충돌체 역할을 합니다.

2단계: 통합 시뮬레이션 커널

모듈형이며 솔버에 독립적인(solver-agnostic) 커널이 통합 입자 리스트와 $M_{static}$ 을 처리합니다.

이종 솔버: 커널은 특화된 솔버들(연성체를 위한 MPM, 유체를 위한 SPH, 천을 위한 PBD, 강체 및 관절형 바디 역학)과 인터페이스합니다.
결합 메커니즘(Coupling Mechanism): 핵심 역량은 서로 다른 솔버와 정적 기하 구조 간의 상호작용을 견고하게 관리하는 것입니다.
- 연속 결합(Continuous Coupling): 힘의 교환(예: 연성체에 작용하는 유체 압력)을 처리합니다.
- 이산 결합(Discrete Coupling): 반발 계수( $e$ )와 쿨롱 마찰( $\mu$ )을 사용하여 모든 엔티티(입자-메쉬, 강체-강체 등) 간의 충돌과 마찰을 해결하기 위해 통합된 충격 기반 메커니즘을 사용합니다.
실행: 솔버들은 특정 순서(Rigid/Articulated $\to$ MPM $\to$ SPH $\to$ PBD)로 반복 실행되며, 단일 타임 스텝 내에서 제약 조건을 해결하기 위해 업데이트된 상태를 솔버 간에 전파합니다.

3단계: 이종 재결합 및 렌더링

희소한 물리적 결과는 고충실도의 시각적 에셋으로 다시 "역번역"됩니다.

3DGS 에셋: 새로운 입자 위치 $x'_j$ 가 가우시안 중심을 업데이트합니다. 물리적 변형 구배(deformation gradient) $F'$ 가 캐싱된 휴지 상태 공분산( $\Sigma_{rest}$ )에 적용되어 새로운 공분산( $\Sigma' = F' \Sigma_{rest} F'^T$ )을 계산합니다. $F'$ 로부터 얻은 회전은 구면 조화 계수를 업데이트합니다.
메쉬 에셋: 업데이트된 입자 위치에 사전 계산된 무게 중심 가중치를 적용하여 새로운 정점 위치를 계산합니다.
렌더링: 직렬화된 에셋(.splat, .abc, .pbd)이 Unreal Engine 5로 로드됩니다. 프레임워크는 Lumen 전역 조명 및 레이 트레이싱 그림자를 포함한 UE5의 네이티브 기능을 활용하여 공동 시뮬레이션된 장면을 렌더링합니다.

3. 주요 기여

최초의 장면 단위 이종 프레임워크: 3DGS 에셋이 표준 CG 에셋과 함께 장면 단위의 다중 솔버 물리 시뮬레이션에 참여할 수 있도록 하는 최초의 시스템입니다.
표현 추상화 계층: 다양한 동적 에셋(3DGS, 메쉬, 유체)과 복잡한 정적 장면을 단일 물리 입자 컨텍스트로 변환하여 양방향 상호작용을 가능하게 하는 새로운 계층을 제공합니다.
엔드 투 엔드 파이프라인: Unreal Engine 5에서 사실적인 시각적 충실도를 가지고 복잡한 상호작용(예: 연성 3DGS에 튀는 유체, 캡처된 조각상 위에 드리워지는 천)을 시연하는 완전한 파이프라인을 구축했습니다.
"고립된" 한계 극려: 프레임워크는 고립된 이상적 평면 시뮬레이션을 넘어, 복잡한 기존 3D 정적 기하 구조와 이종 에셋 결합을 지원합니다.

4. 결과 및 평가

본 프레임워크는 기존의 "고립된" 방법으로는 불가능했던 다섯 가지 복잡한 시나리오를 통해 검증되었습니다:

가상 메쉬 위의 유체: 임포트된 메쉬 그릇과 정적 3DGS 정원 장면과 상호작용하는 SPH 유체.
GS 연성체 위의 유체: 캡처된 3DGS 연성 도넛(MPM)과 결합하여 양방향 변형을 보여주는 고점도 SPH 유체.
관절 역학: 테이블 위의 강체를 조작하는 운동학적으로 구동되는 로봇 팔.
복잡한 기하 구조 상호작용: 캡처된 3DGS 조각상의 비볼록(non-convex) 기하 구조 위로 사실적으로 드리워지고 미끄러지는 PBD 천.
3DGS 컨테이너 내부의 강체: 캡처된 3DGS 바구니 안에서 상호작용하는 강체.

어블레이션 연구(Ablation Studies):

통합 커널: 결합 메커니즘을 제거하면 유체와 연성체가 서로 통과하게 되어, 이종 솔버 인터페이스의 필요성을 확인했습니다.
장면 단위 기하 구조: 정적 충돌 메쉬( $M_{static}$ )를 제거하면 천 시뮬레이션이 "이상적인 평면"으로 기본 설정되어 캡처된 객체를 통과하게 되었습니다.
표현 추상화: 재결합 단계를 제거하면 희소한 시뮬레이션 입자만 보이고 사실적인 외형이 결여되었습니다.

포토그래메트리(Photogrammetry)와의 비교:
메쉬 추출을 위한 표준 포토그래메트리(KiriEngine)와 비교했을 때, 저자들의 3DGS 기반 파이프라인은 물리 시뮬레이션을 가능하게 하면서도 메쉬 베이스라인에서 손실되거나 뭉툭해졌던 날카로운 기하학적 세부 사항(예: 불도저 궤도, 테이블 살)을 보존했습니다.

5. 의의 및 주장

본 논문은 3DGS를 "수동적인 렌더링 대상"에서 "능동적인 참여자"로 근본적으로 변화시킨다고 주장합니다. 표현의 격차를 메움으로써 이 작업은 다음을 가능하게 합니다:

이중 충실도(Dual Fidelity): 통합된 환경에서 고충실도 시각 렌더링(3DGS 및 UE5를 통해)과 복잡한 물리 시뮬레이션(산업용 솔버를 통해)을 모두 달성합니다.
확장성(Scalability): 고립된 "장난감" 환경을 넘어 복잡한 실제 세계 장면 구성으로 나아갑니다.
프로덕션 준비성(Production Readiness): 시뮬레이션 정확도와 시각적 충실도가 우선시되는 오프라인 시네마틱 품질의 프로덕션을 목표로 합니다.

저자들은 현재 시스템이 아직 실시간이 아니며 오프라인 렌더링에 집중하고 있음을 인정합니다. 향elle 실시간 상호작용 시나리오와 복잡한 캡처 장면에서의 객체 단위 분리 개선을 위한 향후 연구 과제를 제시했습니다. 본 연구는 모든 물리적 문제를 해결한다고 주장하는 것이 아니라, 특히 3DGS를 강력한 기존 이종 물리 생태계에 통합하는 문제를 다룹니다.