FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

기술 요약: FLAT (Feedforward Latent Triangle Splatting)

문제 정의
단일 이미지로부터 탐색 가능한 3D 장면을 생성하는 것은 강력한 생성적 사전 지식(generative priors)과 시뮬레이션 및 표준 그래픽 파이프라인과 같은 다운스트림 애플리케이션에 적합한 기하학적 정확도 사이의 균형을 맞추는 작업입니다. 현재의 비디오 확산 모델(video diffusion models)은 고품질의 생성 능력과 암시적인 다중 뷰 기하 구조를 제공하지만, 기존의 피드포워드 디코더는 일반적으로 볼륨형 3D 가우시안(volumetric 3D Gaussians)을 출력합니다. 이러한 가우시안 프리미티브는 명확한 표면을 갖지 않기 때문에, 불투명한 표면 표현(예: 삼각형 또는 메쉬)에 의존하는 대부분의 그래픽 엔진에는 부적합합니다. 또한, 피드포워드 예측을 통해 불투명한 삼각형이나 메쉬 기반 표현을 직접 최적화하는 것은 표준 렌더링의 비미분성(non-differentiability)과 평면 프리미티브의 방향 오차에 대한 민감도 때문에 어려움이 따르며, 이는 종종 불량한 그래픽 흐름(gradient flow)과 학습 불안정성으로 이어집니다.

방법론
FLAT은 고정된 비디오 확산 모델의 잠재 공간(latent space)으로부터 명시적이고 비볼륨형인 삼각형 스플랫(triangle splats)을 단 한 번의 순전파(forward pass)로 직접 디코딩하는 피드포워드 파이프라인을 도입합니다. 시스템은 다음과 같이 작동합니다:

1. 파이프라인 아키텍처: 이 방법은 고정된 카메라 조건부 잠재 비디오 확산 모델(구체적으로 Wan-2.1 기반의 Uni3C)에 경량화된 장면 디코더를 결려합니다. 단일 RGB 이미지와 타겟 카메라 궤적이 주어지면, 비디오 모델은 노이즈가 제거된 잠재 값을 생성합니다. 그 후 디코더는 이 잠재 값을 별도의 장면별 최적화 없이 명시적인 장면 파라미터(삼각형 스플랫)로 직접 매핑합니다.
2. 광선 중심 삼각형 파라미터화 (Ray-Centered Triangle Parameterization): 평면 프리미티브의 회귀(regression) 시 발생하는 불안정성을 해결하기 위해, FLAT은 새로운 파라미터화를 채택합니다. 각 디코더 토큰은 제약 없는 3D 정점이나 전체 월드 공간 회전 대신, 광선 중심의 로컬 프레임(ray-centered local frame)에 상대적인 삼각형을 예측합니다.
   • 위치(Position): 앵커 광선(anchor ray)을 따르는 깊이 값으로 정의됩니다.
   • 형태(Shape): 정삼각형 형태의 정형(canonical) 2D 삼각형으로부터 유도되며, 엄격하게 양의 면적을 보장하고 퇴화된 솔루션을 방지하기 위해 제약된 하삼각 행렬(Cholesky 방식)에 의해 변환됩니다.
   • 방향(Orientation): 전체 3D 회전(예: 쿼터니언) 대신, 광선 정렬 프레임 주변의 잔차 기울기(residual tilt) 및 스핀(spin) 각도로 파라미터화되어 수치적 안정성을 향상시킵니다.
3. 미분 가능한 렌더링 및 윈도우 함수: 학습 중 그래디언트 흐름을 가능하게 하기 위해, FLAT은 미분 가능한 삼각형 렌더링을 위한 수정된 윈도우 함수를 사용합니다. max 축소(reduction)나 하드 경계를 사용하는 이전의 공식들과 달리, FLAT은 "곱 윈도우 함수(product window function)"를 도입합니다. 이 함수는 삼각형의 정확한 경계 너머로 영향력을 확장하고 세 개의 정점으로 동시에 그래디언트를 전달하여, 그래디언트 흐름과 학습 안정성을 크게 개선합니다.
4. 카메라 조건화 (Camera Conditioning): 카메라 정보는 조밀한 픽셀당 광선 임베딩(RPPC 파라미터화 사용)으로 인코딩되며, 제로 초기화된 컨볼루션 블록을 통해 디코더에 주입되어 시각적 잠재 값과 정렬을 보장합니다.
5. 후처리 (Post-Processing): 게임 엔진과의 호환성을 위해, 가벼운 테스트 타임 정제(test-time refinement) 단계가 예측된 반투명 "삼각형 더미(triangle soup)"를 완전히 불투명하고 일관된 메쉬로 변환합니다. 여기에는 깊이와 기하 구조를 정제하고, 불투명도를 이진 값(binary values)에 가깝게 밀어붙이며, 경계를 결합하는 과정이 포함됩니다.

주요 기여

• 최초의 명시적 표면 프리미티브 직접 디코딩: 본 논문은 명시적이고 비볼륨형인 표면 프리미티브(삼각형)를 압축된 비디오 확산 잠재 값으로부터 단 한 번의 순전파로 직접 디코딩할 수 있음을 최초로 입증했습니다.
• 안정적인 파라미터화 및 렌더링: 저자들은 이를 가능하게 하는 구체적인 기술적 요소들을 소개합니다: 제약된 형상과 잔차 방향을 가진 광선 중심 로컬 삼각형 파라미터화, 그리고 그래디언트 흐름을 개선하여 학습을 안정화하는 새로운 곱 윈도우 함수가 그것입니다.
• 체계적인 표현 분석: 저자들은 동일한 학습 조건 하에서 3D 가우시안 스플래팅(3DGS), 2D 가우시안 스플래팅(2DGS), 그리고 삼각형 스플래팅 간의 체계적인 비교를 제공합니다. 이 분석은 렌더링 품질, 기하학적 정확도, 그리고 다운스트림 메쉬 호환성 사이의 트레이드오프를 규명합니다.

결과
RealEstate10K 및 DL3DV 데이터셋에서 평가된 결과, FLAT은 다음과 같은 성과를 달升했습니다:

• 기하학적 정확도: 삼각형 기반 모델은 가우시안 변체들에 비해 훨씬 더 정확한 기하 구조를 생성합니다. 이 모델은 실제 노멀(Metric3D)과 0.853의 코사인 유사도를 달성하며, 2DGS(0.587) 및 볼륨 특성으로 인해 무작위 노멀에 가까운 결과를 보이는 3DGS를 능가했습니다.
• 시각적 품질: 순수 시각적 충실도(PSNR) 측면에서는 3DGS가 가장 강력한 베이스라인으로 남아 있지만, FLAT의 삼각형 및 2DGS 변체는 Lyra 및 Wonderland와 같은 최신 기술(SOTA)과 대등한 수준의 경쟁력 있는 시각적 품질을 유지합니다.
• 메쉬 변환: 제안된 후처리 단계는 예측된 불투명 메쉬를 생성하며, 이는 3DGS/2DGS 표현에서 추출된 메쉬보다 7 dB 이상의 PSNR 향상을 달성하여 표준 그래픽 파이프라인과의 우수한 호환성을 입증했습니다.

의의
본 논문은 잠재 비디오 생성 모델이 단순한 이미지 합성을 넘어, 명시적인 기하 구조를 가진 직접적인 3D 장면 예측을 위한 강력한 사전 지식 역할을 할 수 있음을 보여줌으로써, FLAT이 피드포워드 장면 생성을 위한 새로운 패러다임을 구축했다고 주장합니다. 비볼륨형 프리미티브를 성공적으로 디코딩함으로써, 이 방법은 생성형 AI와 표준 그래픽 파이프라인 사이의 간극을 메우며, 장면별 최적화의 계산적 오버헤드 없이 게임 엔진에 즉시 사용 가능한 에셋 생성을 가능하게 합니다. 이 연구는 신중한 파라미터화와 렌더링 공식을 통해, 이전에 피드포워드 평면 프리미티브 디코딩과 연관되었던 안정성 문제를 극복할 수 있음을 강조합니다.