💻 computer science

Grassmannian Splatting I: Moving rank-2 Spacetime Surfels for Dynamic Scene Rendering

이 논문은 표준 3D 가우시안 스플래팅 래스터라이저와 호환되는 폐형(closed-form) 모션 모델을 채택하여, $\mathbb{R}^4$ 내의 3-평면으로 정의되는 랭크-2 시공간 서펠(surfel)을 사용하여 최첨단 렌더링 품질을 달이어내는 동시에 현저히 빠른 학습 속도를 달성하는 동적 장면 표현 방식인 그라스만 스플래팅(Grassmannian Splatting)을 소개한다.

원저자: Aaron Maurice Berman, Shantanu Dave

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aaron Maurice Berman, Shantanu Dave

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자동차들이 쌩쌩 지나가고, 사람들이 손을 흔들며, 풍선이 위로 떠오르는 바쁜 거리의 장면을 촬영한다고 상상해 보세요. 이 장면을 컴퓨터로 재현하기 위해, 대부분의 방법은 모든 물체의 3D 모델을 구축한 다음 그것이 어떻게 흔들리고, 늘어나고, 변형되는지 가르치려고 노력합니다. 이는 마치 매 프레임마다 점토 조각을 수동으로 찌그러뜨리고 잡아당기며 애니메이션을 만드는 것과 같습니다.

하지만 이 논문의 저자인 Aaron Maurice Berman과 Shantanu Dave는 다른 아이디어를 제안합니다. 그들은 점토를 찌그러뜨리는 것을 멈추고 "시공간 시트(spacetime sheets)"에 대해 생각하기 시작하자고 제안합니다.

핵심 아이디어: 움직이는 종이 시트

3D 덩어리를 만들어 모양을 바꾸는 대신, 저자들은 4차원 세계를 떠다니는 3차원의 평평한 시트 위에 존재하는 가우시안(Gaussian, 색을 가진 부드럽고 솜털 같은 구름 같은 것)을 사용하는 것을 제안합니다. 이 4차원 세계는 공간을 위한 3개의 차원(위/아래, 좌/우, 앞/뒤)과 시간을 위한 1개의 차원을 가지고 있다고 생각하면 됩니다.

이 시스템에서, 모든 작은 "스플랫(splat, 색이 있는 솜털 같은 점)"은 특정 평평한 시트에 붙어 있습니다. 이 시트는 평평하고 시공간에 존재하기 때문에 매우 특별한 성질을 가집니다. 바로 일정한 속도로 직선을 따라 움직인다는 것입니다.

여기 마법 같은 트릭이 있습니다:

시트(The Sheet): 공중에 떠 있는 종이 한 장을 상상해 보세요. 이 4차원 세계에서 그 종이는 그냥 가만히 있는 것이 아니라, 시간을 가로질러 미끄러져 갑니다.
슬라이스(The Slice): 특정 순간(예: 오후 2시)에 장면을 보고 싶다면, 그 시간대의 4차원 세계를 "슬라이스(자르기)" 합니다.
결과(The Result): 그 움직이는 4차원 시트를 슬라이스하면, 당신의 3D 뷰에는 완벽하고 평평한 2D 디스크(서펠, surfel)가 나타납니다. 시간이 앞으로 흐름에 따라, 그 디스크는 시트가 그러하듯 화면을 가로질러 일정한 속도로 미끄러져 이동합니다.

이 논문은 이를 **그라سم마니안 스플래팅(Grassmannian splatting)**이라고 부릅니다. 이는 단순한 개념에 붙여진 멋진 이름입니다: 만약 당신이 물체를 시간 속을 움직이는 평평한 시트로 정의한다면, 물체가 어떻게 움직이는지 가르칠 필요가 없습니다. 움직임이 시트 자체의 기하학적 구조 안에 내장되어 있기 때문입니다.

그들이 "아니오"라고 말하는 것들

저자들은 자신들이 무엇을 하지 않는지를 매우 명확하게 밝히고 있습니다.

변형 필드(Deformation Fields) 없음: 그들은 복잡한 "변형 필드"(모든 점이 어떻게 뒤틀리고 휘어지는지 알려주는 수학적 지도)를 사용하는 아이디어를 명시적으로 거부합니다. 그들의 방식은 굽히거나 늘어나는 법을 배우지 않습니다. 오직 미끄러지는 법만을 배웁니다.
커스텀 코드 없음: 그들은 이 작업을 수행하기 위해 특수하고 복잡한 컴퓨터 코드(커스텀 CUDA 커널)를 작성할 필요가 없습니다. 그들은 정적인 3D 장면을 위해 누구나 사용하는 표준 "래스터라이저(rasterizer, 3D 데이터를 2D 이미지로 변환하는 엔진)"를 그대로 사용합니다. 단지 약간 다른 종류의 데이터를 입력할 뿐입니다.
"Rank-4" 덩어리 없음: 다른 방법들은 4D 가우시안(4D 달걀처럼 생겨서 3D 달걀로 잘리는 형태)을 사용합니다. 저자들은 역동적인 장면을 위해서는 3D 달걀이 아니라 "rank-2" 디스크(평평한 팬케이크)를 원한다고 주장합니다. 그들의 수학은 그들의 특정 4D 시트를 자르면 항상 이러한 평평한 팬케이크가 나온다는 것을 증명합니다.

얼마나 확신하는가?

저자들은 자신들의 수학과 결과에 상당히 자신감이 있지만, 주장하는 바에 대해서는 신중합니다.

수학적 증명 완료: 그들은 자신들의 4D 시트를 자르면 일정한 속도로 움직이는 평평한 2D 디스크가 나온다는 것을 수학적으로 증명했습니다. 그들은 기하학과 선형 대수(구체적으로 "슈어 보충(Schur complement)"이라 불리는 것)를 사용하여 이를 증명했습니다.
속도 측정 완료: 그들은 17개의 서로 다른 비디오 장면(MonoDyGauBench라는 벤치마크)을 통해 테스트했습니다. 그들은 그들의 방법이 품질에 집중하는 기존의 최고 경쟁 방법들보다 학습 속도가 4.9배에서 5.6배 더 빠르다는 것을 발견했습니다. 그들은 약 1,814초(대략 30분) 만에 학습을 마친 반면, 그다음으로 좋은 방법은 8,000초 이상이 걸렸습니다.
품질은 높지만 완벽하지는 않음: 이미지 품질(PSNR, MS-SSIM, LPIPS로 측정) 측면에서, 그들의 방법은 테스트된 방법들 중 2위를 차지했습니다. 우승자(4DGS)와 매우 근소한 차이를 보였습니다.
- 그들은 특정 한계를 인정합니다: 그들의 방법은 물체가 회전하거나 조화롭게 도는 동작(예: 회전하는 팬이나 카트휠을 하는 사람)을 처리하는 데 어려움을 겪습니다. 그들의 시트는 직선으로만 미끄러지기 때문에, 회전을 흉내 내기 위해 수백 개의 작고 수명이 짧은 시트를 사용해야 합니다. 이것이 왜 그들이 특정 유형의 움직임에서 "변형(deformation)" 기반 방법들을 이기지 못했는지에 대한 이유입니다.

"비법(Secret Sauce)"의 세부 사항

"소프트 클램프(Soft Clamp)": 수학적으로 시트가 완전히 멈춰 있을 때(시간 속에서 움직이지 않을 때) 까다로운 순간이 있습니다. 이때 수학적 오류가 발생할 수 있습니다. 저자들은 움직이는 시트와 정지된 시트 사이의 간극을 부드럽게 연결하는 "소프트 클램프"(작은 수치적 안전망)를 추가하여 컴퓨터가 멈추지 않도록 했습니다.
"리프트(The Lift)": 그들의 디스크는 완벽하게 평평하기 때문에(수학적으로 "rank-2"), 기술적으로는 "특이(singular)"합니다(컴퓨터가 다루기 힘든 상태). 이를 해결하기 위해, 이미지를 그리기 직전에 아주 미세하고 보이지 않는 두께("rank-lift")를 추가합니다. 이렇게 하면 실제 이미지 모습은 바꾸지 않으면서도 수학적 계산이 가능해집니다.
결과: 17개의 테스트 장면에서, 그들의 방법은 25.05 dB의 PSNR을 달성했으며, 이는 최고 점수인 25.70 dB에 매우 근접한 수치입니다. 그들은 NVIDIA A10G에서 1,814초 만에 학습을 마쳤으며, 이는 최고 경쟁 모델인 4DGS가 RTX 3090에서 10,171초가 걸린 것과 대조적입니다.

결론

이 논문은 3D 물체를 생각하는 방식을 바꾸는 것—즉, 찌그러지는 덩어리가 아니라 시간 속을 미끄러지는 평평한 시트로 보는 것—을 통해 역동적인 장면 렌더링을 훨씬 더 빠르고 간단하게 만들 수 있음을 시사합니다. 이는 복잡한 변형을 학습하는 무거운 과정을 피하는 영리한 기하학적 지름길입니다. 비록 모든 종류의 움직임(특히 회전하는 것들)에서 최고는 아닐지라도, 이는 속도와 단순성 면에서 엄청난 승리이며, 때로는 장면을 움직이는 가장 좋은 방법이 그저 수학이 미끄러지도록 내버려 두는 것임을 증명합니다.

기술 요약: Grassmannian Splatting I

문제 정의
기존의 동적 장면 렌더링 방식들은 표현의 유연성과 계산 효율성 사이에서 트레이드오프(trade-off) 문제에 직면해 있다. 변형 기반 접근 방식(예: 4DGS, DeformableGS)은 정규(canonical) 프리미티브를 워핑(warp)하기 위해 복잡한 변형 필드를 학습하는 반면, 네이티브 4D 가우시안 스플래팅 방식(예: RTGS)은 시공간 상에 풀 랭크(full-rank) 4D 가우시안을 배치한다. 그러나 네이티브 방식은 근본적인 기하학적 불일치 문제를 겪는다. 즉, 4D 가우시안을 시간에 대해 조건화(conditioning)하면 3D 슬라이스에서 랭크-3 볼륨 橢ellipsoid(타원체)가 생성된다. 이러한 볼륨 특성은 얇은 표면을 표현하기에 비효율적이며 상당한 계산 오버헤드를 요구한다. 반대로, 명시적인 궤적이나 변형 필드를 사용하는 방식은 정적 3DGS의 폐쇄형(closed-form) 단순성을 결여한 커스텀 CUDA 커널과 학습된 모션 모델을 필요로 한다.

방법론
저자들은 프리미티브가 시공간 $\mathbb{R}^4$ 상의 3-평면(3-planes)에 의해 지지되는 가우시안인 Grassmannian Splatting을 제안한다. 이 3-평면은 법선 방향을 따라 균일하게 평행 이동하는 공간적 2-평면(디스크)에 대응한다.

기하학적 프리미티브: 각 프리미티브는 단위 법선 $n \in S^3/\{\pm 1\} \cong Gr(3, 4)$ 와 제약 없는 인자 $L \in \mathbb{R}^{4 \times 3}$ 로 정의된다. 4D 공분산은 다음과 같이 구성된다:
$\Sigma_{4D} = (P_n L)(P_n L)^T$
여기서 $P_n = I - nn^T$ 는 3-평면으로의 직교 투영(orthogonal projector)이다. 이 구성은 $\Sigma_{4D}$ 가 최대 랭크 3을 갖도록 보장하며, 커널 방향은 $n$ 과 일치한다.
시간 조건화: 특정 시간 $t_0$ 에 대해 조건화될 때, 4D 가우시안은 $\mathbb{R}^3$ 내의 랭크-2 서펠(surfel, 디스크)로 슬라이싱된다. 이 디스크의 법선과 법선 속도는 시공간 법선 $n$ 으로부터 직접 유도되며, 디스크의 형태와 접선 방향 드리프트(tangential drift)는 $L$ 에 의해 결정된다. 이는 학습된 변형 필드 없이 폐쇄형 모션 모델을 제공한다.
정적 방향 처리: 평면 법선이 정적 방향( $n = \pm e_0$ )에 접근할 때 특이점(singularity)이 발생하여 시간 분산이 소멸한다. 저자들은 슈어 분모( $\sqrt{(\Sigma_{tt}^{pure})^2 + \epsilon^2}$ )에 소프트 클램프(soft clamp)를 적용하여 이 특이점을 정규화한다. 이는 동적 랭크-2 동작과 정적 랭크-3 동작 사이의 연속적인 가교를 형성하여, 단일 프리미티브 패밀리 내에서 움직이는 객체와 정지된 객체를 모두 표현할 수 있게 한다.
렌더링 파이프라인: 조건화된 랭크-2 디스크는 표준 CUDA 커널을 위한 역행렬 계산 가능성을 보장하기 위해 작은 등방성 분산( $\sigma_{lift}^2 I_3$ )에 의해 리프트(lift)된다. 그 후, 사전 계산된 공분산 인터페이스를 통해 수정되지 않은 3DGS 래스터라이저로 전달된다. 시간적 불투명도(temporal opacity)는 시간 분산에서 유도된 가중치에 의해 조절되어, 명시적인 생성/파괴 로직 없이 프리미티브가 나타나거나 사라지게 한다.

주요 기여

랭크 결핍 네이티브 프리미티브: 본 논문은 시간 조건화된 슬라이스가 볼륨 타원체가 아닌 랭크-2 서펠이 되는 최초의 네이티브 시공간 가우시안 표현을 제시한다. 이는 프리미티브 기하 구조를 물리적 표면의 특성에 부합시킨다.
폐쇄형 모션 모델: 각 프리미티브의 운동은 순수하게 지지되는 3-평면의 기하 구조에 의해 유도된다. 변형 필드나 명시적인 궤적 곡선을 학습할 필요가 없으며, 등속도 운동은 평면의 고유한 속성이다.
표준 래스터라이저와의 호환성: 이 방법은 커스텀 CUDA 커널을 요구하지 않는다. 랭크-리프트(rank-lift)와 사전 계산된 공분산 인터페이스를 활용함으로써, 기존의 고도로 최적화된 3DGS 래스터라이제이션 코드를 그대로 사용할 수 있다.
통합 정적-동적 표현: 수치적 가교(soft clamp)를 통해, 이 방법은 정적(랭크-3) 및 동적(랭크-2) 영역 사이를 매끄럽게 보간하며, 별도의 정적/동적 컴포넌트를 구분할 필요가 없다.

결과
MonoDyGauBench 벤치마크의 17개 HyperNeRF 장면에 대해 평가한 결과:

학습 속도: Grassmannian Splatting은 비교된 모든 베이스라인 중 가장 빠른 속도를 기록했다. 가장 강력한 품질 베이스라인(예: 4DGS)보다 4.9배에서 5.6배 더 빠르며, 정적 3DGS보다 1.4배 빠르다.
품질: 이 방법은 PSNR, MS-SSIM, LPIPS에서 2위를 차지했다. 25.05 dB의 PSNR을 달성하여 DeformableGS보다는 0.47 dB 높았으나, 4DGS보다는 0.65 dB 낮았다.
효율성: 평균 196k개의 프리미티브를 사용하여 약 88 FPS(프레임당 11.3 ms)로 렌더링한다.

의의 및 한계
본 논문은 동적 장면 렌더링을 위한 계산 효율적인 폐쇄형 대안을 제공한다는 점에서 의의가 있다고 주장한다. 프리미티브를 등속도 평행 이동으로 제한함으로써 높은 속도와 단순성을 달-성했다.

그러나 저자들은 프리미티브 설계에 내재된 한계를 명시적으로 인정한다. 각 평면은 단 하나의 등속도 평행 이동만을 인코딩하므로, **확장된 객체의 협응된 회전(coordinated rotation)**을 단일 프리미티브로 표현할 수 없다. 대신, 이러한 운동은 많은 수의 짧은 수명을 가진 프리미티브를 조합하여 근사해야 한다. 저자들은 이러한 특정 유형의 운동이 자신들의 방법과 가장 강력한 변형 기반 베이스라인 사이의 남은 품질 격차를 설명한다고 언급했다. 그들은 모션을 대체하는 것이 아니라 프리미티브 간에 공유하는 것이 향-후 확장을 위한 자연스러운 방향임을 시사한다.

핵심 아이디어: 움직이는 종이 시트

그들이 "아니오"라고 말하는 것들

얼마나 확신하는가?

"비법(Secret Sauce)"의 세부 사항

결론

기술 요약: Grassmannian Splatting I

유사한 논문