Fourier Splatting: Generalized Fourier encoded primitives for scalable radiance fields

Each language version is independently generated for its own context, not a direct translation.

1. 문제점: "레고 블록"의 한계

지금까지 3D 장면을 실시간으로 보여주는 기술 (3D Gaussian Splatting 등) 은 **수백만 개의 작은 '레고 블록' (원시 도형)**을 쌓아서 장면을 만들었습니다.

기존 방식: 장면을 더 선명하게 하려면? → 더 많은 레고 블록을 추가해야 합니다.
단점: 화질을 낮추려면? → 레고 블록을 떼어내야 (삭제해야) 합니다.
결과: 화질과 데이터 양이 항상 비례합니다. "조금만 더 선명하게" 하고 싶어도, 블록을 하나 더 추가해야 하므로 데이터가 급격히 커지는 문제가 있었습니다.

2. 해결책: "변신하는 점토" (Fourier Splatting)

이 논문은 레고 블록 대신 **마법 같은 '점토'**를 사용합니다. 이 점토는 모양을 바꿀 수 있는 특별한 능력을 가지고 있습니다.

푸리에 (Fourier) 의 마법: 이 점토는 **수학적 파동 (푸리에 급수)**으로 모양을 정의합니다.
- 파동 1 개만 켜면: 그냥 둥근 원 (동전) 모양이 됩니다.
- 파동 2 개를 더 켜면: 둥근 모양에 살짝 구불거리는 무늬가 생깁니다.
- 파동을 계속 추가하면: 복잡한 별 모양, 나뭇잎 모양, 심지어 복잡한 캐릭터 얼굴까지 정교하게 변형됩니다.

3. 핵심 혁신: "화질 조절 다이얼"

이 기술의 가장 큰 장점은 하나의 점토로 모든 화질을 조절할 수 있다는 것입니다.

고화질 모드: 모든 파동 (수학적인 세부 정보) 을 켜서 복잡한 모양을 만듭니다. (데이터는 많지만 화질이 최고입니다.)
저화질 모드: 복잡한 파동은 끄고, 기본 파동만 켭니다. (데이터는 적지만 모양은 여전히 둥글고 깔끔합니다.)
비유: 마치 라디오 주파수를 조절하듯, "세부 정보"를 얼마나 많이 받을지 사용자가 실시간으로 조절할 수 있습니다. 장면을 다시 만들거나 (재학습) 데이터를 다시 보내지 않아도, 한 번에 모든 화질 레벨을 지원합니다.

4. 기술적 뒷받침 (어떻게 작동할까?)

이 점토가 잘 작동하도록 두 가지 중요한 장치를 달았습니다.

경계선 확장 (STE):
- 점토의 경계 밖에서는 그림자가 안 생기게 하려고 했는데, 그 때문에 점토가 자라지 못하는 문제가 생겼습니다.
- 해결: 점토가 조금 튀어나와도 "아, 여기까지 자라야 해"라고 알려주는 **가상의 신호 (Straight-Through Estimator)**를 보내서, 점토가 원하는 모양으로 자연스럽게 자라게 합니다.
HYDRA (분해 전략):
- 너무 복잡한 모양의 점토 하나만 있으면, 그걸로 모든 구석을 채우기 어렵습니다.
- 해결: 복잡한 점토를 작고 단순한 점토 여러 개로 잘게 쪼개는 (분해) 기술을 개발했습니다. 마치 복잡한 퍼즐을 작은 조각으로 나누어 더 정교하게 맞추는 것과 같습니다.

5. 결론: 왜 이것이 중요할까?

인터넷이 느린 곳에서도: 고화질 영상을 보다가 인터넷이 느려지면, 자동으로 "파동"을 줄여서 화질을 부드럽게 낮추고 끊김 없이 볼 수 있습니다.
화질은 그대로, 데이터는 줄임: 기존에는 화질을 낮추려면 3D 객체 수를 줄여서 화면이 뚫뚫해졌지만, 이 기술은 객체 수는 그대로 두고 모양의 정밀도만 낮추기 때문에 화면이 뭉개지지 않고 자연스럽게 흐려집니다.

한 줄 요약:

"레고 블록을 쌓는 방식에서, 원하는 대로 모양을 변형하고 화질을 조절할 수 있는 '스마트 점토'로 3D 장면을 표현하는 기술을 개발했습니다. 이제 인터넷 속도나 기기 성능에 따라 화질을 유연하게 조절하면서도 선명한 3D 경험을 즐길 수 있게 됩니다."

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

최근 3D 가우스 스플래팅 (3D Gaussian Splatting, 3DGS) 은 실시간 렌더링을 가능하게 하여 새로운 뷰 합성 (Novel View Synthesis) 분야에서 혁신을 일으켰습니다. 그러나 기존 방법론에는 다음과 같은 근본적인 한계가 존재합니다.

원시체 (Primitive) 수와 화질의 고정된 상관관계: 기존 3DGS 나 2DGS 와 같은 방법들은 시각적 충실도 (Visual Fidelity) 가 원시체 (가우스 또는 평면 스펠) 의 개수에 직접적으로 비례합니다.
확장성 (Scalability) 의 부재: 고해상도나 세부적인 디테일을 표현하려면 더 많은 원시체를 생성해야 하며, 화질을 낮추기 위해서는 원시체를 제거 (Pruning) 해야 합니다. 이는 단순히 원시체의 개수만 조절할 뿐, 개별 원시체 자체의 표현력을 동적으로 조절할 수 없음을 의미합니다.
기존 해결책의 한계: 현재 존재하는 레벨 오브 디테일 (LoD) 계층 구조나 프루닝 기반의 확장성 방법은 원시체 수를 줄이는 데만 초점을 맞추고 있어, 원시체 자체의 기하학적 복잡도를 조절하여 화질을 제어하는 '내재적 (Inherent) 확장성'을 제공하지 못합니다.

2. 제안 방법 (Methodology)

저자들은 Fourier Splatting을 제안하며, 이는 광선장 (Radiance Field) 렌더링을 위한 최초의 내재적으로 확장 가능한 원시체입니다.

2.1 푸리에 인코딩된 원시체 (Fourier Encoded Primitives)

개념: 기존의 고정된 원형 (Disc) 이나 타원 (Ellipsoid) 형태 대신, 평면 스펠 (Surfel) 의 경계를 **푸리에 급수 (Fourier Series)**로 파라미터화합니다.
수학적 표현: 각 원시체의 경계 $r_i(\theta)$ 는 주파수 성분을 가진 복소수 계수로 정의됩니다.
$r_i(\theta) = R_i \cdot \left| \sum_{k=0}^{K-1} c_{i,k} e^{i k \theta} \right|$
여기서 $K$ 는 푸리에 계수의 개수이며, $k=0$ 은 기본 원형, $k>0$ 은 점점 더 복잡한 형태를 표현합니다.
확장성: 학습된 모델은 런타임 시 푸리에 계수를 자르는 (Truncating) 방식으로만 화질을 조절할 수 있습니다. 즉, 계수 $K$ 를 줄이면 원시체의 모양이 단순해지고 (원형에 가까워짐), 계수를 늘리면 복잡한 기하학적 형태를 표현할 수 있습니다. 이는 추가적인 학습이나 재압축 없이 가능합니다.

2.2 미분 가능한 렌더링 (Differentiable Rendering)

하드 클램프 문제 해결: 원시체 경계 밖의 픽셀에 대한 그래디언트가 0 이 되는 문제 (Optimization Stalling) 를 해결하기 위해 **Straight-Through Estimator (STE)**를 도입했습니다.
작동 원리: 순전파 (Forward pass) 에서는 경계 밖의 픽셀을 잘라내지만 (Hard window), 역전파 (Backward pass) 에서는 경계 밖에서도 그래디언트가 흐르도록 부드러운 대칭 함수 (Smooth surrogate) 를 사용하여 푸리에 계수들이 경계를 확장하거나 수축하며 복잡한 형태를 학습하도록 유도합니다.

2.3 HYDRA: 밀도 증가 전략 (Densification Strategy)

MCMC 프레임워크 통합: 3DGS-MCMC 프레임워크를 기반으로 하되, 평면 원시체의 특성에 맞게 수정된 밀도 증가 전략을 제안합니다.
학습된 로브 분해 (Learned Lobe Decomposition): 기존 방법들이 단순히 원시체를 분할하는 것과 달리, 복잡한 다중 로브 (Multi-lobed) 형태를 가진 원시체를 분해할 때 **MLP(멀티레이어 퍼셉트론)**를 사용하여 각 세그먼트에 적합한 하위 원시체를 생성합니다. 이를 통해 복잡한 기하학을 더 효율적으로 표현합니다.

3. 주요 기여 (Key Contributions)

임의의 형태를 갖는 평면 원시체: 푸리에 기반의 경계 파라미터화를 통해 2D/3D 가우스보다 훨씬 정교하고 복잡한 기하학과 세부 디테일을 표현할 수 있는 새로운 원시체를 도입했습니다.
내재적 확장성 (Inherent Scalability): 원시체의 개수를 늘리거나 줄이는 것이 아니라, 원시체 자체의 표현력 (푸리에 계수 개수) 을 조절하여 런타임에서 LoD 를 제어할 수 있는 최초의 방법을 제시했습니다. 이는 비트레이트와 왜곡 (Rate-Distortion) 간의 균형을 직접적으로 제어할 수 있게 합니다.
HYDRA 및 STE: MCMC 프레임워크 내에서 안정적인 최적화를 가능하게 하는 그래디언트 확장 기법 (STE) 과 복잡한 원시체를 효율적으로 분해하는 HYDRA 전략을 제안했습니다.
최고 수준의 성능: 평면 원시체 기반 방법들 중 가장 높은 렌더링 품질을 달성했으며, 볼륨 기반 (Volumetric) 방법들과도 경쟁력 있는 성능을 보였습니다.

4. 실험 결과 (Results)

데이터셋: Mip-NeRF 360 (실내/실외), Tanks and Temples.
정량적 평가:
- Mip-NeRF 360: 평면 원시체 기반 방법들 (2DGS, Triangle Splatting 등) 중 모든 지표 (PSNR, SSIM, LPIPS) 에서 최고 (SOTA) 성능을 기록했습니다. (예: Triangle Splatting 대비 평균 0.67dB PSNR 향상).
- 볼륨 기반 방법 대비: 3DGS 및 DBS 와 같은 볼륨 기반 방법들과 비교했을 때, LPIPS(지각적 유사도) 에서 동급 또는 우위의 성능을 보였습니다.
정성적 평가: 얇은 구조물, 고주파 텍스처, 날카로운 윤곽선 등을 3DGS 보다 더 정확하게 복원하며, 삼각형 스플래팅 (Triangle Splatting) 에서 발생하는 아티팩트 현상이 적습니다.
확장성 분석: 푸리에 계수를 줄여가며 화질을 낮추는 과정에서, 원시체 수를 줄이는 기존 방법 (Octree-GS 등) 보다 훨씬 **부드럽고 균일한 화질 저하 (Graceful degradation)**를 보입니다.

5. 의의 및 결론 (Significance)

Fourier Splatting 은 광선장 렌더링의 패러다임을 '원시체의 수'에 의존하는 방식에서 **'원시체 자체의 표현력'**에 의존하는 방식으로 전환시켰습니다.

대역폭 제약 환경: 네트워크 대역폭이 제한된 환경에서, 전체 모델을 다시 전송하거나 압축하지 않고도 클라이언트 측에서 푸리에 계수만 조절하여 실시간으로 화질과 대역폭을 조절할 수 있는 강력한 솔루션을 제공합니다.
미래 지향성: 이 연구는 고정된 기하학적 형태를 가진 원시체의 한계를 넘어, 학습 가능한 파라미터를 통해 원시체의 형태를 동적으로 제어할 수 있는 새로운 가능성을 열었습니다. 이는 향후 실시간 렌더링, VR/AR, 그리고 대용량 3D 콘텐츠 전송 분야에서 중요한 기술적 토대가 될 것입니다.