🤖 AI

DPPE: Rethinking Camera-Based Positional Encoding for Scaling Multi-View Transformers

이 논문은 회전과 이동을 가치 벡터의 동일한 차원에 저장하는 것이 스케일업된 다중 뷰 트랜스포머에서 학습 정체를 유발한다는 점을 식별하고, 이러한 구성 요소들을 명시적으로 분리함으로써 안정적인 장기 학습과 새로운 뷰 합성 작업에서의 우수한 일반화를 가능하게 하는 분리된 포즈 위치 인코딩(Decoupled Pose Positional Encoding, DPPE)을 제안한다.

원저자: Shun Kenney, Teppei Suzuki

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shun Kenney, Teppei Suzuki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 로봇에게 3D를 보는 법 가르치기

당신이 로봇에게 여러 각도에서 방을 바라보고, 자신이 정확히 어디에 서 있는지 이해하는 법을 가르치고 있다고 상상해 보세요. 이를 위해 로봇은 **트랜스포머(Transformer)**라고 불리는 강력한 AI 두뇌를 사용합니다.

AI의 세계에서 트랜스포머는 시퀀스(문장 속의 단어와 같은 것)를 이해하는 데 탁월하지만, 공간이나 3D 기하학에 대해서는 자연스럽게 알지 못합니다. 이를 해결하기 위해 연구자들은 로봇에게 "위치 인코딩(positional encoding)"을 제공합니다. 이는 본질적으로 AI에게 "이 픽셀은 왼쪽 카메라에서 온 것이다"라거나 "이 이미지의 이 부분은 5미터 떨어져 있다"라고 알려주는 일련의 지침입니다.

오랫동안 이 작업을 수행하는 가장 좋은 방법은 카메라가 **어디를 향하고 있는지(회전, Rotation)**와 **카메라가 어디에 서 있는지(이동, Translation)**를 모두 포함하는 하나의 결합된 지침을 로봇에게 주는 것이었습니다. 이 논문에서는 이 방식을 PRoPE라고 부릅니다.

문제점: 두뇌 속의 "교통 체증"

연구자들은 이 AI 두뇌를 더 크게 만들고 더 오래 학습시켜서(이를 '스케일링 업'이라고 합니다) 더 똑똑하게 만들려고 시도했습니다. 그들은 성능이 계속해서 좋아질 것이라고 기대했습니다. 하지만 그들은 벽에 부딪혔습니다.

비유:
로봇의 두뇌를 바쁜 사무실이라고 상상해 보세요. "회전(카메라가 보는 방향)"과 "이동(카메라가 서 있는 위치)"은 같은 책상으로 메시지를 보내려는 서로 다른 두 명의 직원입니다.

기존 방식(PRoPE)에서는 두 직원 모두 메시지를 같은 종이에, 그리고 같은 열에 적어야 했습니다.
처음에는 사무실 매니저(AI)가 누가 무엇을 썼는지 구분할 수 있었습니다.
하지만 사무실이 더 바빠지면서(더 많은 데이터, 더 긴 학습 시간), 매니저는 혼란에 빠졌습니다. 메시지들이 서로 뒤섞여 버린 것입니다. 매니저는 메시지의 변화가 카메라가 회전했기 때문인지, 아니면 카메라가 이동했기 때문인지 구분할 수 없게 되었습니다.
결과: 로봇의 학습이 멈췄습니다. 성능이 정체되었고, 학습을 더 오래 할수록 오히려 성능이 저하되기도 했습니다.

해결책: DPPE (분리된 포즈 위치 인코딩, Decoupled Pose Positional Encoding)

저자들은 문제가 회전과 이동이 같은 공간에 "결합(coupled)"되어 있다는 점임을 깨달았습니다. 그들은 DPPE(Decoupled Pose Positional Encoding)라는 새로운 방법을 제안했습니다.

비유:
두 직원이 책상을 공유하게 만드는 대신, DPPE는 그들에게 두 개의 별도 책상을 줍니다.

책상 A는 오직 "회전(카메라가 보는 방향)"만을 위한 것입니다.
책상 B는 오직 "이동(카메라가 서 있는 위치)"만을 위한 것입니다.

이 두 정보를 분리함으로써, AI 매니저는 무슨 일이 일어나고 있는지 즉각적으로 알 수 있습니다. 혼란도, 뒤섞임도, 교통 체증도 없습니다.

연구 결과

연구진은 **신규 뷰 합성(Novel View Synthesis, NVS)**이라는 작업으로 이 새로운 방법을 테스트했습니다. 이는 몇 장의 사진을 찍은 뒤, 카메라가 한 번도 놓인 적 없는 지점에서 AI가 완전히 새로운 사진을 생성하도록 하는 작업입니다.

안정성: 기존 방식(PRoPE)을 사용했을 때는 일정 학습량 이후 AI의 성능이 급락했습니다. 반면, 새로운 방식(DPPE)을 사용하면 엄청난 양의 학습 후에도 AI의 성능이 계속해서 좋아졌습니다.
더 나은 디테일: AI가 카메라의 위치에 대해 혼란을 느끼지 않기 때문에, 훨씬 더 선명한 질감과 미세한 디테일을 가진 이미지를 생성할 수 있었습니다.
까다로운 상황 처리: 새로운 방식은 다음과 같은 까다로운 상황을 훨씬 더 잘 처리했습니다.
- 줌인(Zooming in): 매우 가까운 거리에서 장면을 바라보는 경우.
- 많은 뷰포인트: 한 장면을 2개가 아닌 12개의 서로 다른 각도에서 동시에 바라볼 때.

두 가지 변형 방식

이 논문은 이러한 "별도의 책상"을 만드는 두 가지 약간 다른 방법을 제시합니다.

DPPEtAdd: 이는 "강한 분리(hard separation)" 방식입니다. 데이터를 컴퓨터 메모리의 두 개의 뚜렷한 영역으로 물리적으로 나눕니다. 한쪽은 회전용, 다른 한쪽은 이동용입니다. 테스트 결과 이 방식이 가장 우수했습니다.
DPPEdual: 이는 "수학적 분리(mathematical separation)" 방식입니다. 특수한 수학적 기법(이중 투영 행렬, dual projection matrix)을 사용하여 메모리를 물리적으로 나누지 않고도 정보를 뚜렷하게 유지합니다. 이 방식 역시 매우 효과적이었으며 조금 더 유연했습니다.

핵심 요약

이 논문은 3D 비전을 위한 대규모 AI 모델들이 정체되었던 이유가 두 가지 서로 다른 유형의 공간 정보(회전과 이동)를 메모리의 동일한 "슬롯"에 담으려 했기 때문이라고 주장합니다. 이들을 분리(Decoupling)함으로써, 모델은 훨씬 더 커질 수 있고, 더 오래 학습할 수 있으며, 혼란 없이 훨씬 더 높은 품질의 3D 이미지를 생성할 수 있습니다.

요약하자면: 그들은 "보는 것"과 "움직이는 것"을 섞지 않도록 만들었고, 그 결과 AI가 3D 세상을 훨씬 더 명확하게 볼 수 있게 되었습니다.

기술 요약: DPPE: 멀티뷰 트랜스포머 스케일링을 위한 카메라 기반 위치 인코딩의 재고

문제 정의

트랜스포머 아키텍처의 확장성은 3D 컴퓨터 비전, 특히 신규 뷰 합성(Novel View Synthesis, NVS) 분야에 적용될 수 있도록 해주었습니다. 이러한 멀티뷰 작업에서는 공간적 단서를 제공하기 위해 카메라를 인식하는 위치 인코딩(Positional Encoding, PE)이 필수적입니다. PRoPE(GTA의 일반화 모델)와 같은 최근 방식들은 카메라 파라미터(외부 파라미터 또는 투영 행렬)를 어텐션 메커니즘 내의 쿼리(query), 키(key), 값(value) 벡터 내의 상대적 위치 인코딩으로 활용합니다.

그러나 저자들은 이러한 카메라 기반 인코딩을 사용하는 NVS 모델을 스케일업하여 학습할 때 발생하는 결정적인 병목 현상을 관찰했습니다: 학습 후기 단계에서의 성능 정체 및 저하입니다. 모델은 초기에 개선되지만, PSNR과 같은 지표가 특정 반복 횟수(예: 약 240k) 이후 정체되거나 오히려 하락하며, 이는 스케일업된 학습의 이점을 완전히 실현하는 것을 방해합니다. 본 논문은 이러한 불안정성의 근본 원인을 조사하며, 카메라 정보를 값(value) 벡터에 인코딩하는 현재의 방식이 식별성(identification) 문제를 일으킨다는 가설을 세웠습니다.

방법론

병목 현상 조사

저자들은 PRoPE 인코딩을 2D 패치 좌표, 카메라 내부 파라미터( $K$ ), 회전( $R$ ), 그리고 이동( $t$ )의 구성 요소로 체계적으로 분해했습니다. MVImgNet2와 같은 데이터셋에 대한 절제 연구(ablation studies)를 통해, 성능 저하가 값 출력 위치 인코딩(value-output positional encoding, vo-pe) 내의 동일한 차원에서 **회전과 이동의 결합(coupling)**과 구체적으로 연관되어 있음을 확인했습니다.

수학적으로, 값( $v_j$ )에 적용되는 표준 투영 행렬 기반 변환은 $P_i P_j^{-1}$ 항을 포함합니다. 이를 확장하면, 변환된 값 벡터의 상위 3개 차원 내에 회전( $R$ )과 이동( $t$ ) 성분이 결합되어 나타납니다. 저자들은 이러한 결합이 회전과 이동 파라미터를 토큰당 수준(per-token level)에서 **식별 불가능(non-identifiable)**하게 만든다는 것을 입증했습니다. 모델은 토큰 간의 문맥적 단서를 종합하여 이러한 파라미터를 간접적으로 구별해야 하며, 이는 학습 과정을 복잡하게 만들고 장기 학습 시 불안정성을 초래합니다.

제안된 솔루션: 분리된 포즈 위치 인코딩 (Decoupled Pose Positional Encoding, DPPE)

이러한 불확정성을 해결하기 위해, 본 논문은 회전과 이동을 명시적으로 분리하는 **DPPE(Decoupled Pose Positional Encoding)**를 제안합니다. 두 가지 변형이 도입되었습니다:

DPPEtAdd (가산적 분리 - Additive Decoupling):
- 이 방식은 토큰 특징 차원을 두 개의 동일한 절반으로 나눕니다.
- 첫 번째 절반은 내부 파라미터와 회전 행렬( $K_i R_i$ )을 이용한 곱셈 변환을 통해 회전을 인코딩하는 데 할당됩니다.
- 두 번째 절반은 이동 벡터( $t_i$ )의 가산적(additive) 주입을 통해 이동을 인코딩하는 데 할당됩니다.
- 결정적으로, 어텐션 메커니즘은 회전 블록과 이동 블록에 대해 별도의 어텐션 가중치를 계산하여, 두 기하학적 성분이 서로의 유사도 계산에 간섭하지 않도록 보장합니다.
DPPEdual (이중 투영 행렬 - Dual Projection Matrix):
- 이 변형은 인코딩 공식에서 표준 투영 행렬 $P_i$ 를 그 쌍대 형태인 $P_i^{-T}$ 로 대체합니다.
- 분석 결과, 완전히 분리되지는 않지만, 결과적인 변환의 상위 3개 차원은 회전과 내부 파라미터에만 의존하며, 이동의 영향력을 4번째 차원으로 격리시킵니다.
- 이 설계는 회전이 첫 3개 차원에서 고유하게 식별되도록 보장하며, 이동은 회전을 조건으로 4번째 차원에서 식별 가능하게 만듭니다.

주요 기여

학습 불안정성 진단: 값(value) 벡터의 동일한 차원에 회전과 이동을 동시에 저장하는 것이 식별 불가능성을 유발하며, 이것이 멀티뷰 트랜스포머 학습의 스케일업을 제한하는 병목 현상임을 식별했습니다.
DPPE 프레임워크: 식별성 문제를 해결하기 위해 회전과 이동을 명시적으로 분리하는 새로운 위치 인코딩인 DPPE(DPPEtAdd 및 DPPEdual 두 가지 변형)를 제안했습니다.
이론적 분석: 표준 투영 기반 인코딩이 토큰당 수준에서 $(R, t)$ 에 대해 단사 함수(injective)가 아님을 입증하고, DPPE가 단사성(식별성)을 회복함을 보여주는 수학적 증명(Proposition 1–3)을 제시했습니다.
실증적 검증: DPPE가 320k 반복 횟수까지 안정적인 성능 향상을 유지하는 반면, PRoPE와 GTA는 240k 이후 저하된다는 것을 광범위한 실험을 통해 보여주었습니다.

결과

학습 안정성: MVImgNet2 데이터셋에서 DPPE는 320k 반복 횟수 동안 안정적인 성능 향상을 유지하는 반면, PRoPE의 PSNR은 240k 이후 정체 및 저하됩니다.
성능 지표: DPPE 변형들은 여러 데이터셋(MVImgNet2, RealEstate10K, SpatialVidHQ)에서 PRoPE와 GTA보다 일관되게 우수한 성능을 보입니다. MVImgNet2에서 DPPEtAdd는 PRoPE 대비 1.2 dB 이상의 PSNR 향상을 달성했습니다.
일반화 및 외삽(Extrapolation):
- 줌인(Zoom-in) 시나리오: DPPE는 훈련 분포보다 증가된 초점 거리(줌인)를 다룰 때 더 우수한 강건성을 보여줍니다.
- 가변 뷰포인트: DPPE는 입력 뷰의 개수가 외삽될 때(예: 2개에서 12개로) 더 잘 일반화됩니다.
- 질감 복구: 정성적 결과는 DPPE가 미세한 질감을 더 잘 복구하고, 카메라 정보가 모호한 상황을 베이스라인보다 더 잘 처리함을 보여주며, 이는 개선된 카메라 파라미터 식별 능력 덕분입니다.
태스크 일반화: DPPE의 이점은 NVS를 넘어 멀티뷰 깊이 추정 작업(VGGT 아키텍처 사용)으로도 확장되며, 여기서도 후기 단계의 성능 포화를 방지합니다.

의의 및 주장

본 논문의 주요 의의는 멀티뷰 트랜스포머의 안정적인 스케일링을 가능하게 하는 것에 있습니다. 위치 인코딩의 근본적인 파라미터 식별성 문제를 해결함으로써, DPPE는 기존에 3D 비전 작업의 훈련 기간과 모델 용량을 제한했던 결정적인 병목을 제거합니다.

저자들은 회전과 이동이 동시에 복잡하게 변하는 데이터셋(예: MVImgNet2)에서 이점이 가장 두드러지지만, DPPE가 더 견고한 기하학적 토대를 제공한다고 강조합니다. 단순한 카메라 궤적(예: 순수 팬/panning)을 가진 시나리오에서는 분리의 이점이 덜 중요할 수 있으나, 분야가 더 대규모의 다양한 훈련 코퍼스로 나아감에 따라 결합된 인코딩의 한계는 점점 더 심각한 문제가 될 것임을 언급합니다. 이 연구는 카메라 파라미터의 토큰당 식별성을 확보하는 것이 스케일업된 3D 비전 모델의 잠재력을 온전히 실현하기 위한 전제 조건임을 시사합니다.