One Setting, Any Scene: Tuning-Free Model-Size Control for 3D Gaussian Splatting

기술 요약: 하나의 설정으로 모든 장면을: 3D 가우시안 스플래팅을 위한 튜닝 프리 모델 크기 제어

문제 정의

자원 제한적인 환경(예: 모바일 기기, 웹 브라우저, 헤드셋)에 3D 가우시안 스플래팅(3DGS) 모델을 배포하려면 최종 모델의 프리미티브(가우시안) 개수를 엄격하게 제어해야 합니다. MaskGaussian과 같이 마스크 기반 프루닝(mask-based pruning)을 사용하는 현재의 학습 방법들은 이러한 제어 기능을 제공하지 못합니다. 이러한 방식들은 프리미티브 개수를 억제하기 위해 고정된 희소성 가중치($\lambda$)에 의존합니다. 그러나 $\lambda$는 프리미티브의 개수가 아니라 광도 오차(photometric error)와 프리미티브 개수 사이의 트레이드오프를 조절할 뿐입니다. 결과적으로, 최종 모델 크기는 장면의 텍스처 복잡도와 밀집화 스케줄(densification schedule)에 따라 결정되는 부수적인 결과물이 됩니다.

저자들은 13개의 표준 장면에서 단일한 고정 $\lambda$를 사용했을 때 최종 모델 크기가 최대 7.8배까지 차이 난다는 것을 입증했습니다. 이러한 예측 불가능성으로 인해 실무자들은 각 장면과 배포 예산에 맞춰 하이퍼파라미터를 수동으로 탐색하고 다시 학습시켜야 하며, 이는 비효식적이고 신뢰할 수 없는 과정입니다.

핵심 진단: 마스킹의 비가역성(Irreversibility of Masking)

본 연구의 핵심적인 발견은 소프트 마스킹(soft masking)의 이론적 정당성에 의문을 제기합니다. 마스크 기반 프루닝은 마스킹된 프리미티브가 학습 중에 계속 그래디언트를 전달받기 때문에 "복구 가능(recoverable)"하며, 희소성 압력이 완화되면 다시 활성화될 수 있다고 가정합니다.

저자들은 실험을 통해 이 가정이 틀렸음을 경험적으로 증명했습니다. 삭제(deletion)를 비활성화하고 과잉 프루닝 후 희소성 압력을 거의 제로에 가깝게 줄이는 실험을 수행한 결과, "살아있는(live)" 프리미티브 인구수가 회복되지 않는다는 것을 관찰했습니다. 대신, 인구수는 계속 감소하거나 정체됩니다. 완전히 투명해진(마스킹된) 프리미티브를 통해 전달되는 그래디언트는 수천 번의 최적화 단계 동안 음수 값으로 몰린 로짓(logit)을 되돌리기에는 너무 약합니다.

• 결과: 마스크 기반 프루닝은 **지연된 하드 프루닝(hard pruning with a delay)**처럼 동작합니다. 일단 프리미티브가 효과적으로 마스킹되면, 그것은 소실됩니다. 이는 근본적인 비대칭성을 만듭니다. 컨트롤러는 예산 위에서 인구수를 줄이는 것은 안전하게 수행할 수 있지만, 인구수가 예산 아래로 떨어지면 그 결손을 복구할 수 없습니다.

방법론

정밀하고 튜닝이 필요 없는 모델 크기 제어를 달성하기 위해, 저자들은 이러한 비가역성을 존중하는 컨트롤러를 제안합니다. 이 방법은 고정된 이차 희소성 페널티를 제약 조건이 있는 최적화 프레임워크로 대체합니다.

1. 제약 조건 공식화: 목표 예산 $B$를 하드 제약 조건($\sum m_i \leq B$)으로 취급합니다. 고정된 페널티는 현재 인구수 $N$이 아닌 $B$로 정규화된, 학습 가능한 승수 $\lambda_t$를 가진 라그랑주 항으로 대체됩니다. 이를 통해 그래디언트 크기가 모든 장면과 학습 단계에서 일관되게 유지되도록 합니다.
2. 비대칭 릴리스를 포함한 다중 곱법적 듀얼 어센트(Multiplicative Dual Ascent): 승수 $\lambda_t$는 라이브 인구수와 설정값(setpoint) 사이의 오차를 바탕으로 로그 도메인에서 업데이트됩니다. 결정적으로, 업데이트 규칙은 비대칭적입니다:
   • 인구수가 예산보다 높을 경우, 승수는 표준 속도로 증가하여 압력을 강화합니다.
   • 인구수가 예산보다 낮을 경우, 승수는 훨씬 더 빠른 속도($\rho > 1$)로 감소하여 압력을 해제합니다.
   • 이 비대칭성은 마스킹의 비가역성을 보완합니다. 즉, 컨트롤러는 복구가 불가능하다는 것을 알고 있기에, 언더슈트(undershoot)를 방지하기 위해 압력을 빠르게 해제합니다.
3. 복구 가능한 방향으로부터 접근: 인구수가 실수로 예산을 넘어 복구 불가능한 상태가 되는 것을 방지하기 위해, 컨트롤러는 설정값 $B^* = (1 + \mu)B$ (여기서 $\mu=0.15$)를 목표로 합니다. 이는 인구수가 타겟보다 약간 높은 상태에서 안착하게 하여, 여전히 프리미티브를 제거할 수 있는 상태를 유지하도록 합니다.
4. 삭제 하한선(Deletion Floor): 프루닝이 인구수를 너무 낮게 밀어내지 않도록 하한선을 설정하여, 가장 "있어야 할 법한" 프리미티브들을 보호합니다.
5. 터미널 프로젝션(Terminal Projection): 고정된 반복 횟수($T_{lock}$)에서 단 한 번의 하드 프로젝션을 수행합니다. 시스템은 포함 확률이 가장 높은 $B$개의 프리미티브만을 유지하고 나머지는 삭제합니다. 이 단계는 소프트 마스킹의 확률적 특성을 제거하여 최종 모델 크기를 정확히 $B$로 맞춥니다.
6. 결정론적 내보내기(Deterministic Export): 마스크의 무작위 샘플을 내보내는 대신, 모드(확률 $>0.5$인 프리미티브)를 내보내어 측정된 크기가 실제 배포되는 크기와 일치하도록 합니다.

주요 기여

• 제어 실패의 정량화: 고정된 희소성 가중치가 표준 장면에서 모델 크기를 7.8배 변화시키며, 변동 계수가 70.9%에 달함을 입양했습니다.
• 비가역성 발견: 3DGS의 소프트 마스킹이 사실상 복구 불가능하다는 경험적 증거를 제시하여, 기존의 "소프트 결정" 정당성을 무효화했습니다.
• 튜닝 프리 컨트롤러: 비대칭 릴리스, 세트포인트 마진, 터미널 프로젝션을 갖춘 듀얼 어센트 컨트롤러를 제안하여, 별도의 장면별 튜닝 없이도 요청된 정확한 수의 프리미티브를 전달합니다.
• 부정적 결과(Negative Results): 모델 크기가 제약되지 않은 경우에만 유익한 스크린 풋프린트(screen footprint) 가중치 및 가멜 온도(Gumbel temperature) 어닐링 전략을 식별했습니다.

결과

Mip-NeRF 360, Tanks and Temples, Deep Blending 데이터셋의 13개 장면에 대해 목표 예산 600,000 프리미티브로 평가했습니다:

• 정밀도: 이 방법은 모든 장면과 시드에 대해 요청된 예산으로부터 편차 0을 달s성했습니다. 반면, 베이스라인(3DGS 및 MaskGaussian)은 각각 5.6배 및 7.8배의 크기 변동을 보였습니다.
• 품질: 예산이 적용된 모델과 MaskGaussian 베이스라인 간의 품질 차이는 미미합니다. 시드 간 쌍 비교 결과 PSNR 차이는 $[-0.076, +0.085]$ dB 범위 내에 있었습니다.
• 효율성: 결과 모델은 MaskGaussian보다 2.2배 작고, 표준 3DGS보다 5.0배 작습니다. 렌더링 속도는 MaskGaussian보다 1.40배 빠르고, 3DGS보다 2.3배 빠릅니다.
• 재현성: 베이스라인 방법들이 서로 다른 랜덤 시드에 따라 상당한 변동성(최대 4.34%)을 보이는 것과 달리, 본 방법은 크기에 대해 완전히 결정론적입니다.

의의 및 주장

본 논문의 주요 기여는 단순히 컨트롤러 자체에 있는 것이 아니라, 소프트 마스킹에서의 비가역성 진단에 있다고 주장합니다. 저자들은 마스킹 결정을 "다시 검토"할 수 있는 능력에 의존하는 모든 방법은 이 발견에 비추어 검증되어야 한다고 강조합니다.

프루닝의 비대칭성(위에서는 제거 가능하지만 아래에서는 복구 불가능함)을 중심으로 최적화 루프를 설계함으로써, 저자들은 "하나의 설정으로 모든 장면을(one setting, any scene)" 처리하는 워크플로우를 구현했습니다. 이제 실무자들은 배포 예산(예: "60만 개의 프리미티브")을 지정하기만 하면, 수동적인 하이퍼파라미터 탐색이나 재학습 없이도 일관된 품질을 가진 정확한 크기의 모델을 얻을 수 있습니다. 본 연구는 제안된 방법이 모델 크기를 예측 불가능한 결과물이 아닌, 명시적인 입력값으로 만드는 첫 번째 사례라고 주장합니다.