기술 요약: 지상 기반 4D 생성을 위한 기하학적 4D 스티칭

문제 제기

최근 4D 생성 분야의 진보는 생성 모델 (예: 비디오 확산 모델) 을 사용하여 다중 뷰 비디오를 합성하고, 이를 신경 방사선장 (NeRF) 이나 3D 가우시안 스플래팅 (4DGS) 과 같은 방사선 기반 표현으로 재구성하는 파이프라인에 의존하고 있습니다. 그러나 이 파이프라인은 두 가지 중요한 한계에 직면해 있습니다:

1. 기하학적 불일치: 생성 모델은 엄격한 3D 구조적 일관성보다 시각적 타당성을 우선시합니다. 새로운 뷰를 합성할 때, 종종 기하학적으로 정렬되지 않은 콘텐츠를 생성합니다. 희소 뷰 설정에서는 이러한 불일치가 증폭되어, 상충되는 기하학적 증거가 일관된 3D 장면 형성을 방해하는 부적절한 재구성 문제를 야기합니다.
2. 비효율성 및 뷰 의존적 아티팩트: 방사선 기반 재구성은 이러한 기하학적 불일치를 해결하기보다 불투명도나 구형 조화 함수와 같은 뷰 의존적 효과에 흡수시키려 시도합니다. 이로 인해 '인페인팅 붕괴'와 같은 아티팩트가 발생하고 하류 조작 가능성이 제한됩니다. furthermore, 희소 관측 하에서 최적화를 통해 밀집 다중 뷰 일관성을 달성하는 것은 계산 비용이 많이 들고 종종 안정적인 해에 수렴하지 못합니다.

방법론: 기하학적 4D 스티칭 (G4S)

저자들은 기하학적 4D 스티칭을 제안합니다. 이는 4D 생성을 밀집 장면 수준의 완성에서 명시적이고 지역 수준의 기하학적 증강으로 재정의하는 프레임워크입니다. 모든 뷰에 걸쳐 방사선장을 최적화하는 대신, G4S 는 기하학적으로 근거된 '스티치'를 초기 자산에 선택적으로 연결하여 명시적인 4D 메시를 구성합니다.

파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 초기 뷰 4D 자산 생성

소스 비디오 (관측되거나 생성된) 가 주어지면, 전방향 기하학 트랜스포머 (DA3) 를 사용하여 카메라 포즈와 깊이를 추정합니다. 삼각 메시는 이미지 격자에서 인접한 유효 픽셀을 연결하여 구성됩니다. 정점들은 추정된 깊이와 카메라 매개변수를 사용하여 3D 공간으로 들어 올려져 시간 인덱스가 지정된 원시 메시 시퀀스를 형성합니다. 이 단계에서 가림으로 인한 정보 공백을 완화하기 위해 배경 완성이 수행됩니다.

2. 정보 추가 영역을 통한 새로운 뷰 합성

전체 새로운 뷰를 합성하는 대신, 이 방법은 진정으로 새로운 정보가 필요한 특정 영역을 식별합니다.

• 투영 구멍: 소스 뷰에서 투영할 수 없는 타겟 뷰의 픽셀은 누락된 것으로 식별됩니다.
• 커튼 감지: 이 방법은 원시 메시의 렌더링과 동일한 소스의 점구름 표현을 비교합니다. 불일치 (특히 가림 경계를 가로지르는 잘못된 메시 연결로 인해 형성된 '커튼') 는 가림으로 인한 누락 영역을 드러냅니다.
• 후보 생성: 새로운 뷰 합성 (NVS) 모듈은 이러한 식별된 '정보 추가 영역'에 대해서만 콘텐츠를 생성하여 전체 프레임 새로운 뷰 대신 후보 스티치 패치를 생성합니다.

3. 피라미드 정제를 통한 기하학적 정렬

생성된 콘텐츠가 기존 자산과 정렬되도록 보장하기 위해, 이 방법은 새로운 뷰 후보의 깊이를 정제합니다.

• 국소 스케일 - 쉬프트 필드: 전역 보정 대신, 깊이 정렬 불일치를 보정하기 위해 패치 단위로 국소 스케일 - 쉬프트 필드 $\Theta(x) = (s(x), b(x))$를 추정합니다.
• 피라미드 최적화: 정제는 거친 스케일에서 정밀한 스케일로 진행됩니다. 목적 함수는 유효 영역에서 정제된 깊이와 기존 자산에서 렌더링된 '앵커' 깊이 간의 차이를 최소화하는 동시에, 비앵커 영역에서 기하학 인지형 매끄러움과 안정성을 강제합니다. 이는 새로운 기하학이 신뢰할 수 있는 소스 뷰에 고정되도록 보장합니다.

4. 기하학적 4D 스티칭 및 시각적 정제

• 선택적 스티칭: 기하학적으로 정제된 후보 영역만 역투영되어 초기 4D 메시에 삽입됩니다. 이는 잠재적으로 불일치하는 NVS 출력으로 신뢰할 수 있는 기존 기하학을 오염시키는 것을 방지합니다.
• 렌더 불일치 증류: 불안정한 추가 사항을 더 필터링하기 위해, 장면을 관측된 뷰로 다시 렌더링합니다. 앵커 렌더링과 일관되게 불일치하는 후보는 제거됩니다.
• 시각적 정제: 하부 기하학을 변경하지 않고 고주파수 경계 아티팩트를 줄이기 위해 경량 단일 단계 확산 기반 정제 (TrajectoryCrafter 사용) 가 렌더링된 메시에 적용됩니다.

주요 기여

1. 근본적 한계의 식별: 이 논문은 현재 NVS 모델 용량 하에서 4D 생성을 위한 관측 밀도 증가가 종종 다중 뷰 일관성 비용을 악화시켜 기하학적 붕괴를 초래한다는 점을 강조합니다.
2. 명시적 기하학적 스티칭 공식화: 저자들은 4D 생성을 명시적 기하학적 스티칭 문제로 재구성합니다. 기하학적으로 정렬된 스티치를 불완전한 영역에만 통합함으로써, 이 방법은 불필요한 뷰 생성을 피하고 정렬 비용을 최소화합니다.
3. 효율성과 근거 있는 일관성: 이 방법은 단일 NVIDIA RTX 5090 GPU 에서 10 분 미만에 근거 있는 4D 장면 표현을 구성하며, 장면별 방사선 최적화보다 훨씬 빠르면서도 엄격한 기하학적 일관성을 강제합니다.
4. 실용적 하류 응용: 명시적 메시 표현은 기하학적으로 정렬된 장면 외삽 및 4D 장면 편집 (객체 제거/추가) 과 같이 방사선 기반 방법에서는 어려운 작업을 가능하게 합니다.

실험 결과

저자들은 SORA2 로 생성된 희소 뷰 입력을 사용하여 G4S 를 방사선 기반 베이스라인 (D-NeRF 및 4DGS) 과 비교 평가했습니다.

• 지각적 품질: VBench 를 사용하여 G4S 는 베이스라인보다 주제 일관성, 배경 일관성, 이미지 품질에서 더 높은 점수를 달성하여 더 안정적이고 시각적으로 타당한 새로운 뷰를 나타냅니다.
• 기하학적 견고성: 렌더링된 비디오에 대한 카메라 포즈 추정 (DA3 사용) 은 G4S 에 대해 절대 궤적 오차 (ATE) 와 회전 오차가 현저히 낮음을 보여줍니다. 이는 재구성된 4D 장면이 의도된 카메라 궤적과 더 나은 공간적 일관성을 유지함을 확인시켜 줍니다.
• 자기 일관성: 재투영 평가는 G4S 가 교차 뷰 불일치가 감소된 공간적으로 일관된 새로운 뷰를 생성하는 반면, 방사선 기반 방법은 종종 뷰 의존적 깜빡임과 구조적 왜곡을 보임을 입증합니다.

중요성과 주장

이 논문은 기하학적 4D 스티칭이 밀집 생성적 관측 followed by 방사선장 최적화의 기존 패러다임에 대한 실현 가능한 대안을 제공한다고 주장합니다. 누락된 영역을 명시적으로 식별하고 이를 기존 기하학에 근거시킴으로써, 이 방법은 희소 뷰 하의 생성적 4D 재구성이 가진 부적절한 본질을 우회합니다.

저자들은 그들의 접근 방식이 장면별 최적화를 요구하지 않으므로 효율적이고 확장 가능하다고 강조합니다. 그들은 이 작업을 밀집 생성적 완성의 '블랙박스'에 의존하지 않고 희소 관측으로부터 일관된 4D 자산을 구축하는 단계로 위치시킵니다. 그러나 그들은 성능이 여전히 하부 NVS 백본과 전방향 기하학 추정기의 능력에 의해 제한되며, 생성된 미공개 영역은 측정적으로 정확한 현실 세계 재구성보다는 창의적 또는 시뮬레이션 도구로 취급되어야 함을 겸손하게 지적합니다.