기술 요약: 확장 가능한 VGGT를 위한 다양성 인지 뷰 파티셔닝 (Diversity-aware View Partitioning)

1. 문제 정의

기하학적 트랜스포머, 특히 VGGT(Visual Geometry Grounded Transformer)는 전역 어텐션(global attention)을 통해 여러 뷰를 결합하여 추론함으로써 3D 장면 재구성에서 강력한 성능을 입증해 왔습니다. 그러나 이러한 모델을 대규모 이미지 컬렉션으로 확장하는 데에는 두 가지 주요 병목 현상이 존재합니다:

1. 계산 효율성(Computational Scalability): 전역 어텐션 메커니나즘은 입력 토큰 수에 따라 이차 함수적으로 증가하는 계산 및 메모리 비용을 초래합니다. 프레임 수가 증가함에 따라 이 비용은 급격히 높아져, 수천 장의 이미지가 포함된 시퀀스에 배포하는 것을 제한합니다.
2. 뷰포인트 중복 및 성능 저하(Viewpoint Redundancy and Performance Degradation): 경험적 분석에 따르면, 단순히 입력 뷰의 수를 늘리는 것이 오히려 재구성 품질을 저하시키는 역설적인 현상이 발견됩니다. 밀집 캡처(dense capture) 시나리오에서 많은 뷰는 시각적으로 중복(유사한 이미지)될 수 있습니다. VGGT에서 이러한 중복된 뷰는 매우 유사한 토큰을 도입하여, 어텐션 메커니즘 내에서 기하학적으로 유익한 신호(예: 시차(parallax) 및 폐쇄(occlusion))를 희석시킵니다. 이는 "어텐션 희석(attention dilution)"으로 이어지며, 모델이 기하학적으로 유익한 단서에 집중하는 것을 어렵게 만들어, 충분한 계산 자원이 있더라도 더 높은 재구성 오차와 수치적 불안정성을 초래합니다.

기존의 효율화 전략(예: 토큰 병합, 희소 어텐션)은 메모리 문제를 해결하지만, 뷰포인트 분포라는 근본적인 문제는 해결하지 못합니다. 또한, 순차적 청킹(sequential chunking) 방식은 시간적 순서와 루프 폐쇄(loop-closure) 제약에 의존하는 경우가 많아, 순서가 정해지지 않은 이미지 컬렉션에 적용하기에는 한계가 있습니다.

2. 방법론

저자들은 입력 뷰를 다양성이 확보되고 균형 잡힌 청크(chunk)로 재구성하는, 학습이 필요 없는 플러그 앤 플레이(plug-and-play) 추론 프레임워크인 DA-VGGT를 제안합니다. 핵심 가설은 각 처리 청크 내에서 뷰포인트의 다양성을 극대화함으로써, 제한된 어텐션 용량 하에서도 트랜스포머가 더 강력한 기하학적 단서를 추출할 수 있게 하여 정확도와 효율성을 모두 개선할 수 있다는 것입니다.

이 프레임워크는 네 가지 주요 단계로 구성됩니다:

A. 시각적 다양성 인지 초기 파티셔닝 (Visual Diversity-Aware Initial Partitioning)

초기화 단계에서는 카메라 포즈를 사용할 수 없으므로, 이 방법은 오직 시각적 비유사성에 기반하여 프레임을 분할합니다.

• 특징 추출 (Feature Extraction): VGGT에 내장된 동결된(frozen) DINOv2 인코더를 재사용하여 각 프레임의 패치 임베딩을 추출합니다.
• 비유사성 지표 (Dissimilarity Metric): 프레임은 평균 풀링된 디스크립터로 표현됩니다. 쌍별 시각적 비유사성($\delta_{ij}$)은 $1 - \text{cosine\_similarity}$로 계산됩니다.
• 그래프 파티셔닝 (Graph Partitioning): 이 문제는 균형 잡힌 청크 크기를 유지하면서 청크 내부의 다양성을 극대화하는 조합 최적화 문제로 정식화됩니다. 저자들은 Kernighan–Lin (KL) 알고리즘에서 영감을 받은 탐욕적 로컬 스왑(greedy local swap) 전략을 사용합니다. 무작위로 선택된 균형 잡힌 분할에서 시작하여, 스왑이 전체 청크 내부 다양성 점수를 높이는 경우에만 프레임을 청크 간에 교체합니다.

B. 공간적 분산을 위한 소프트 포즈 전파 (Soft Pose Propagation for Spatial Dispersion)

모든 프레임에 대해 전체 포즈 추정을 수행하는 것은 비용이 많이 들기 때문에, 공간 정보를 통합하기 위해 소프트 포즈 전파 전략을 도입합니다.

1. 시드 포즈 추정 (Seed Pose Estimation): 하나의 참조 청크를 VGGT로 처리하여 해당 프레임들에 대한 의사(pseudo) 카메라 포즈를 얻습니다.
2. 전파 (Propagation): 나머지 프레임들에 대해, 포즈는 시각적 유사성에 기반하여 참조 청크로부터 정보를 전파함으로써 근사화됩니다. 구체적으로, 새로운 프레임의 이동 벡터(translation vector)는 시각적 유사도 점수의 소프트맥스(softmax) 값에 의해 결정되는 참조 포즈들의 가중 합으로 계산됩니다.
3. 공간적 분산 (Spatial Dispersion): 이러한 의사 포즈들은 쌍별 공간 분산 행렬($\rho_{ij}$)을 계산하는 데 사용되며, 공간적으로 멀리 떨어진 프레임에 더 높은 점수를 부여합니다.

C. 다양성 인지 파티션 정제 (Diversity-Aware Partition Refinement)

초기 시각적 파티션은 시각적 비유사성과 공간적 분산을 통합한 단일 점수 행렬($\hat{U}_{ij} = \delta_{ij} + \epsilon \cdot \rho_{ij}$)을 통해 정제됩니다. KL 로컬 탐색이 파티션을 최적화하기 위해 다시 적용되어, 청크가 시각적으로 구별되면서도 공간적으로 분산된 뷰들을 포함하도록 보장합니다. 참조 청크는 이 정제 과정 동안 고정됩니다.

D. 추론 및 글로벌 정렬 (Inference and Global Alignment)

최적화된 청크들은 VG로 독립적으로 처리됩니다. 전역적 일관성을 보장하기 위해:

• 공유 앵커 (Shared Anchor): 모든 청크에 추론 전 공유 앵커 프레임(통상 첫 번째 프레임)을 삽로 삽입합니다.
• 정렬 (Alignment): 모든 청크가 공통의 참조 프레임을 공유하므로, 앵커 프레임의 예측된 포즈를 통한 SE(3) 변환을 사용하여 개별 청크의 예측값을 전역 좌표계로 정렬할 수 있습니다. 이는 추가적인 전역 최적화나 루프 폐쇄를 필요로 하지 않습니다.

3. 주요 기여

• 경험적 통찰 (Empirical Insight): 본 논문은 뷰포인트 분포가 다중 뷰 기하학 트랜스포머의 핵심 요소임을 밝혀냈습니다. 뷰의 수를 늘리는 것이 충분한 다양성 없이 이루어질 경우 어텐션 희석으로 인해 성능을 저하시킨다는 점을 입증했습니다.
• 학습이 필요 없는 프레임워크 (Training-Free Framework): 시각적 및 공간적 다양성에 대한 조합 그래프 최적화를 통해 입력을 재구성하는, 모델 재학습이 필요 없는 플러그 앤 플레이 방식입니다.
• 소프트 포 포즈 전파 (Soft Pose Propagation): 소수의 시드 프레임과 시각적 유사성만을 사용하여 파티셔닝을 위한 공간 관계를 근사하는 혁신적인 전략으로, 실제 포즈나 전체 SfM 파이프라인이 필요하지 않습니다.
• 확장성 및 호환성 (Scalability and Compatibility): 이 프레임워크는 기존의 효율적인 VGGT 변체들(예: LiteVGGT, FasterVGGT)을 보완하며, 메모리 제약(OOM)이나 정확도 저하로 인해 기존 방식이 실패하는 긴 순서 없는 시퀀스에서의 확장 가능한 재구성을 가능하게 합니다.

4. 실험 결과

카메라 포즈 추정, 다중 뷰 깊이 예측, 3D 재구성 작업에 대해 6개의 데이터셋(7Scenes, NRGBD, Bonn, ScanNet-50, TUM-RGBD, Tanks&Temples)에서 광범 실험이 수행되었습니다.

• 성능 향상: 이 방법은 바닐라 VGGT 및 그 효율적 변체들과 비교하여 정확도(포즈의 AUC, 깊이의 Abs Rel, 3D의 Chamfer Distance로 측정)를 지속적으로 개선하거나 유지합니다. 특히, 프레임 수가 증가함에 따라(예: 300장에서 1000장으로) 베이스라인에서 나타나는 성능 저하를 방지합니다.
• 효율성: 프레임 전체를 공동으로 처리하는 것에 비해 VRAM 사용량을 크게 줄이고(최대 3.8배 낮음), 추론 지연 시간을 단축(최대 6.34배 빠름)합니다.
• 확장성: FasterVGGT와 같은 베이스라인 모델이 A100 GPU에서 1000 프레임 시퀀스 처리에 실패(OOM)하는 반면, DA-VGGT는 이를 성공적으로 처리합니다.
• 일반화: 이 접근 방식은 $\pi^3$와 같은 다른 아키텍처에도 일반화되어, 토큰 병합이나 희소 어텐션과 같이 내부 네트워크 구성 요소를 수정할 때 발생하는 정확도 저하 없이 확장성을 높여줍니다.
• 순서 없는 시퀀스 (Unordered Sequences): 시간적 일관성에 의존하는 순차적 청킹 방법(예: VGGT-Long)과 달리, DA-VGGT는 순서가 정해지지 않은 이미지 컬렉션(예: Heritage-Recon)에서도 견고하게 작동하며, 순차적 베이스라인 대비 ATE를 25% 이상 감소시킵니다.

5. 의의 및 주장

본 논문은 기하학적 트랜스포머를 확장하는 데 있어 주요 과제는 단순히 입력 뷰의 수가 아니라, 뷰포인트의 분포라고 주장합니다. "더 많은 뷰를 처리하는 것"에서 "다양성을 위해 뷰를 조직하는 것"으로 초점을 전환함으로써, 제안된 프레임워크는 우수한 효율성-정확도 트레이드오프를 달달성합니다.

저자들은 이 방법의 오버헤드가 매우 적음을 강조합니다. 파티셔닝 및 정렬 단계는 트랜스포머 추론 자체에 비해 무시할 만한 계산 비용(1000 프레임 기준 1초 미만)을 발생시킵니다. 결론적으로, 다양성 인지 파티셔닝은 기하학적 충실도를 희생하지 않으면서 대규모의 순서 없는 이미지 컬렉션에 기하학 트랜스포머를 배치할 수 있게 하는 실용적이고 학습이 필요 없는 솔루션을 제공합니다.