기술 요약: LocusGS

문제 정의

최근의 피드포워드 3D 가우시안 스플래팅(3DGS) 방법론들은 비용이 많이 드는 장면별 최적화에서 입력 뷰로부터 직접 예측하는 방식으로 전환되었습니다. 이러한 흐리 중 쿼리 기반 접근 방식(예: TokenGS)은 고정된 학습 가능한 쿼리(토큰) 세트로 장면을 표현합니다. 각 토큰은 트랜스포머 디코더를 통해 다중 뷰 증거를 집계하고, 이는 하나의 가우시안 그룹으로 디코딩됩니다.

그러나 저자들은 기존 쿼리 기반 방법들의 결정적인 한계인 **약한 공간적 일관성(weak spatial coherence)**을 관찰했습니다. 이상적으로는 서로 다른 쿼리가 장면의 구별되는 일관된 국소 영역을 전문화해야 하지만, 단일 잠재 쿼리로부터 디코딩된 가우시안들이 서로 멀리 떨어진 무관한 장면 영역으로 흩어지는 현상이 발생합니다. 이는 공간적으로 분산된 분포를 초래하여 기저의 장면 구조와 제대로 정렬되지 않게 만듭니다. 저자들은 이러한 실패의 원인을 기존 가우시안 쿼리의 **순수 잠재 표현(purely latent representation)**에 있다고 봅니다. 즉, 쿼리가 3D 공간의 어디에서 작동하는지 또는 얼마나 큰 영역을 커버하는지에 대한 명시적인 개념이 결여되어 있습니다. 결과적으로, 쿼리에 의해 집계된 다중 뷰 증거와 그 결과물인 가우시안들은 일관된 국소 영역 내에 제약되지 못합니다.

방법론: LocusGS

이를 해결하기 위해 저자들은 각 가우시안 쿼리에 명시적인 **3D 앵커 상태(3D anchor state)**를 추가한 LocusGS(Spatially Grounded Tokens)를 제안합니다. 이 상태는 3D 중심($\mu$)과 서포트 반경($r$)으로 구성됩니다.

핵심 구성 요소

1. 명시적 3D 앵커 상태:
   쿼리를 단순히 잠재 특징 벡터로만 표현하는 대신, LocusGS는 디코더 레이어 $l$에서의 각 쿼리 $i$에 앵커 상태 $a^l_i = (\mu^l_i, r^l_i)$를 연관시킵니다.

   • 중심 ($\mu$): 쿼리의 현재 3D 참조 위치를 지정합니다.
   • 반경 ($r$): 쿼리의 국소 서포트 영역의 범위를 정의합니다. 반경은 양수성을 보장하기 위해 softplus 함수를 통과하는 제약 없는 변수 $\rho$를 통해 매개변수화됩니다.
   • 이러한 상태들은 학습 가능하며, 장면 간 공유되고, 디코더 레이어를 거치며 점진적으로 정교해집니다.

2. 앵커 가이드 디코더 (Anchor-Guided Decoder):
   디코더는 앵커 상태를 활용하여 자기 주의 집중(self-attention) 및 교차 주의 집중(cross-attention) 메커니즘을 가이드합니다.

   • 앵커 인식 자기 주의 집중 (Anchor-Aware Self-Attention): 앵커 중심 $\mu$로부터 유도된 위치 임베딩이 토큰 특징에 주입됩니다. 이를 통해 가우시안 토큰 간의 상호작용이 단순한 잠재 특징 유사성이 아닌, 상대적인 3D 위치에 의존하게 됩니다.
   • 앵커-레이 기하학적 바이어스 (Anchor-to-Ray Geometric Bias, Cross-Attention): 다중 뷰 증거를 집계하기 위해, 방법론은 이미지 토큰과 관련된 카메라 레이 $\ell_j$와 쿼리의 앵커 중심 $\mu^l_i$ 사이의 거리에 기반한 기하학적 바이어스를 도입합니다.
     • 바이어스는 $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$로 정의되며, 여기서 $D$는 점과 레이 사이의 유클리드 거리입니다.
     • 이 바이어스는 앵커에서 멀리 떨어진 레이를 가진 이미지 토큰에 페널티를 부여하여, 쿼리가 기하학적으로 관련 있는 관측값에 집중하도록 유도합니다. 반경 $r^l_i$는 이러한 공간적 선호도의 대역폭을 조절합니다.

3. 동적 앵커 정교화 (Dynamic Anchor Refinement):
   각 디코더 레이어 이후, 토큰 특징은 앵커 중심과 반경에 대한 잔차 업데이트($\Delta \mu, \Delta \rho$)를 예측합니다. 이를 통해 앵커 상태는 디코더가 진행됨에 따라 특정 입력 장면에 맞춰 3D 위치와 서포트 규모를 적응시키고 정교화할 수 있습니다.

4. 앵커 중심 가우시안 디코딩 (Anchor-Centered Gaussian Decoding):
   최종 디코딩 단계에서 가우시안은 완전히 제약 없이 예측되지 않습니다. 대신, 모델은 최종적으로 정교해진 앵커 중심에 대한 국소 오프셋($\delta$)을 예측합니다. 최종 가우시안 중심은 다음과 같이 계산됩니다:
   $$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$$
   여기서 앵커 중심은 글로벌 참조를 제공하고, 반경은 국소 오프셋을 스케일링합니다. 이 공식은 단일 토큰으로부터 디코딩된 가우시안들이 자유롭게 흩어지는 대신, 앵커 주변에 조밀한 국소 그룹을 형성하도록 강제합니다.

5. 다층 렌더링 감독 (Multi-layer Rendering Supervision):
   학습 목적 함수는 (최종 레이어 외에도) 중간 디코더 레이어에서의 렌더링 감독을 포함합니다. 손실 함수는 이미지 재구성(MSE + SSIM)과 함께 디코딩된 가우시안 중심 및 앵커 중심 모두에 적용되는 가시성 정규화를 결합하여, 디코딩 과정 전반에 걸쳐 일관된 공간적 조직을 장려합니다.

주요 기여

• 쿼리의 공간적 접지 (Spatial Grounding of Queries): 순수 잠재 표현을 넘어, 쿼리에 명시적인 3D 앵커 상태(중심 및 반경)를 도입하여 쿼리 기반 3DGS를 확장했습니다.
• 앵커 인식 메커니즘: 앵커 상태를 활용하여 공간적 일관성을 강제하는 교차 주의 집중을 위한 기하학적 바이어스(앵커-투-레이)와 자기 주의 집중을 위한 위치 임베딩을 설계했습니다.
• 구조화된 가우시안 생성: 앵커 반경에 의해 스케일링된 국소 오프셋을 예측하는 디코딩 전략을 통해, 토큰이 공간적으로 조밀한 가우시안 그룹을 생성하도록 보장합니다.
• 점진적 정교화: 앵커 위치와 서포트 반경을 디코더 레이어 전반에 걸쳐 반복적으로 정교화하는 메커니즘을 통해 모델이 장면 기하학에 적응할 수 있도록 합니다.

실험 결과

저자들은 RealEstate10K (RE10K) 및 DL3DV와 같은 새로운 시점 합성 벤치마크에서 LocusGS를 평가하고, TokenGS, MVSplat, DepthSplat과 같은 베이스라인과 비교했습니다.

• 렌더링 품질: 동일한 토큰 및 가우시안 예산 하에서, LocusGS는 PSNR, SSIM, LPIPS 측면에서 쿼리 기반 베이스라인(TokenGS)보다 일관되게 우수한 성능을 보였습니다. 예를 들어, 4개의 입력 뷰를 사용하는 DL3DV에서 LocusGS(4096 토큰)는 24.80의 PSNR을 달자, TokenGS의 23.44를 상회했습니다.
• 공간적 조직: 정성적 및 정량적 분석 결과, LocusGS는 훨씬 더 구조화된 가우시안 분포를 생성함을 보여줍니다.
  • 토큰 수준의 조밀함 (Token-Level Compactness): 논문은 토큰 내 가우시안의 분산을 측정하기 위해 $C_{centroid}$ 지표를 도입했습니다. LocusGS는 이 분산을 극적으로 감소시켰습니다 (예: RE10K에서 5.11에서 0.19로 감소). 이는 단일 토큰으로부터 나온 가우시안들이 매우 밀집되어 있음을 나타냅니다.
  • 앵커 레이아웃: 학습된 앵커들은 장면 위에 거칠고 일관된 공간적 골격(scaffold)을 형성하며, 주요 구조를 커버하고 국소 복잡도에 따라 반경을 적응시킵니다 (희소한 영역에서는 큰 반경, 세부 사항이 많은 영역에서는 작은 반경).
• 일반화: 모델은 픽셀 정렬 방식과 달리 입력 뷰의 수와 독립적으로 고정된 가우시안 예산을 유지합니다. DL3DV에서 다양한 컨텍스트 뷰 수(2, 4, 6개 뷰)로 테스트했을 때 견고한 성능을 입증했습니다.
• 효율성: LocusGS는 약간 더 높은 파라미터 수(241.5M vs TokenGS의 222.0M)와 순방향 지연 시간(latency)을 갖지만, 예측되는 가우시안의 수를 늘리지 않고도 더 우수한 재구성 품질을 달성합니다.

의의 및 주장

본 논문은 명시적인 3D 앵커 상태가 쿼리 기반 피드포워드 3DGS에 효과적인 공간적 사전 정보(prior)를 제공한다고 주장합니다. 쿼리를 3D 공간에 접지함으로써, LocusGS는 가우시안 토큰을 암시적인 잠재 임베딩에서 해석 가능한 공간적 재구성 쿼리로 변환합니다.

저자들은 이 접근 방식이 단순히 렌더링 정확도를 개선하는 것을 넘어, 표현의 공간적 조직 및 해석 가능성을 근본적으로 향고한다고 주장합니다. 결과는 명시적인 공간 상태가 쿼리가 일관된 국소 영역을 전문화하도록 유도하여, 장면 기하학과 더 잘 일치하는 더 구조화된 가우시안 분포를 생성한다는 것을 보여줍니다. 이 연구는 기하학적 상태를 쿼리 메커니즘에 통합하는 것이 더 견고하고 구조화된 3D 장면 재구성을 향한 중요한 단계임을 시사합니다.