Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

기술 요약: 야생(In-the-Wild) 비디오로부터 공유된 정규 객체 프레임의 출현

문제 정의
서로 다른 인스턴스 간의 객체 방향과 위치를 비교하려면, 이를 공유된 정규 프레임(canonical frame) 내에서 표현해야 합니다. 전통적으로 이러한 프레임을 구축하는 것은 정렬된 CAD 모델, 통제된 합성 렌더링, 또는 정교한 실제 포즈 주석을 포함한 상당한 수준의 수동 감독에 의존해 왔습니다. 이러한 의존성은 확장성의 병목 현상을 초래합니다. 합성 데이터는 도메인 간 격차(domain gap)를 유발하고, 주석이 달린 실제 데이터는 카테고리와 인스턴스의 다양성이 제한적이기 때문입니다. 결과적으로, 수동적인 정규 포즈 레이블 없이도 실제 데이터 전반에 걸쳐 광범도하게 일반화될 수 있는 정규 객체 표현을 학습하는 것은 여전히 해결되지 않은 과제로 남아 있습니다. 또한, 기존의 자기 지도 학습 방식은 대개 카테고리별로 별도의 모델을 학습시키며, 서로 다른 객체 유형 간에 공유된 프레임을 생성하지 못한다는 한계가 있습니다.

방법론
저자들은 SfM(Structure-from-Motion)을 통해 복구된 노이즈가 섞인 카메라 포즈만을 활용하여, 야생에서 촬영된 객체 중심 비디오로부터 공유된 정규 프레임을 학습하는 자기 지도 방식의 카테고리 불가지론적(category-agnostic) 접근법을 제안합니다. 핵심 메커니즘은 모든 훈련 시퀀스를 **공유된 기하학적 병목(shared geometric bottleneck)**을 통하도록 라우팅하는 것입니다.

1. 공유 정규 메쉬(Shared Canonical Mesh): 이 방법은 정규 좌표계 내에 고정된 거친 3D 메쉬(예: 단위 큐브 또는 구체)를 정의합니다. 이 메쉬는 카테고리 특유의 기하학적 세부 사항을 갖지 않으며, 이를 통해 네트워크가 형상 매칭보다는 외형(appearance)과 의미론적 사전 지식(semantic priors)에 의존하도록 강제합니다.
2. 대응 네트워크(Correspondence Network): 신경망은 이미지 픽셀을 메쉬의 정점(vertex)으로 매핑하는 법을 학습합니다. 이 네트워크는 특징 추출기와 트랜스포머 디코더를 사용하며, 학습 가능한 정점 임베딩이 픽셀 특징에 대한 쿼리 역할을 수행합니다. 출력값은 각 픽셀에 대해 메쉬 정점에 대한 조밀한 분포를 나타내며, 이는 효과적으로 2D-3D 대응 관계를 예측합니다.
3. 시퀀스별 정렬(Per-Sequence Alignment): SfM 재구성은 임의의 좌표계에 존재하므로, 이 방법은 SfM 프레임을 정규 메쉬 프레임과 정렬하기 위한 시퀀스별 회전(rotation)을 추정합니다.
   • 초기화: 정렬은 마스킹된 SfM 포인트 클라우드에 대한 주성분 분석(PCA)을 통해 초기화되어, 거친 기하학적 확장성(예: 신장도)을 포착합니다.
   • 정제: 훈련 과정 중, 네트워크는 네트워크가 예측한 정규 좌표와 (추정된 회전에 의해 변환된) SfM 유도 좌표 사이의 거리를 최소화하는 회전을 추정합니다. 이는 SVD를 통해 해결되는 Wahba의 문제로 정식화되며, 확신 있는 예측을 우선시하기 위해 대응 분포의 엔트로피를 기반으로 가중치를 부여합니다.
4. 훈련 목적 함수(Training Objective): 정렬된 SfM 포즈는 정규 메쉬를 래스터화(rasterize)하는 데 사용되어, 대응 네트워크를 위한 의사 레이블(pseudo-labels, 가시적인 메쉬 정점)을 생성합니다. 네트워크는 가시성 마스크에 의해 감독되는 마스크 예측 헤드와 함께, 의사 레이블과 일치하도록 크로스 엔트로피 손실을 사용하여 학습됩니다. 정렬과 대응 네트워크는 훈련 중에 함께 진화합니다.
5. 추론(Inference): 테스트 시, 모델은 단일 RGB 이미지를 처리하여 조밀한 대응 관계와 세그멘테이션 마스크를 예측합니다. 6D 포즈는 예측된 대응 관계를 사용하여 RANSAC이 결합된 EPnP을 통해 복구되며, 이때 시퀀스별 정렬 단계는 필요하지 않습니다.

주요 기여

• 자기 지도 방식의 정규 프레임 출현: 본 논문은 노이즈가 있는 SfM 카메라 포즈만을 사용하여 객체 중심 비디오로부터 공유된 정규 프레임이 출현할 수 있음을 입증하며, 정규 포즈 주석의 필요성을 제거했습니다.
• 기하학적 병목: 저자들은 다양한 훈련 시퀀스를 공유된 거친 정규 메쉬를 통하도록 라우팅하는 것이 시퀀스 간 일관성을 유도한다는 것을 보여줍니다. 이를 통해 다중 뷰 정렬과 특징 추출기의 의미론적 사전 지식을 통해 공통의 참조 프레임이 형성될 수 있습니다.
• 카테로기 불가지론적 일반화: 이 방법은 카테고리 조건 없이 모든 카테고리에 대해 단일 모델을 학습시킵니다. 여러 벤치마크에서 정규화된 감독 방식(supervised methods)과 대등한 성능을 달-성하며, 훈련 중에 보지 못한 객체 카테고리에도 일반화됩니다.

실험 결과
본 방법은 UCO3D 데이터셋의 약 160,000개의 야생 객체 중심 비디오로 학습되었습니다. 평가는 REAL275, Omni6DPose, Objectron, Pascal3D+, ImageNet3D의 다섯 가지 벤치마크에서 수행되었습니다.

• 성능: 정규 포즈 레이블이 없고 오직 실제 비디오로만 학습되었음에도 불구하고, 본 방법은 다섯 가지 데이터셋 모두에서 감독 기반 베이스라인(예: OrientAnything V1/V2, QWEN3-VL) 및 카테고리별 자기 지도 방식보다 우수한 매크로 평균 성능을 달성했습니다.
• 데이터 규모: 절제 실험(Ablation studies)을 통해 훈련 데이터의 규모를 키우는 것(제한된 하위 집합 대신 사용 가능한 모든 시퀀스 사용)이 성능을 크게 향상시킨다는 점을 확인하였으며, 이는 일반화 가능한 표현을 학습하는 데 있어 데이터 양의 중요성을 강조합니다.
• 절제 연구: PCA 초기화가 수렴을 돕지만, 학습된 정렬이 의미론적 방향(예: 앞면 대 뒷면)을 해결하는 데 결정적이라는 것을 보여주었습니다. 큐브 메쉬는 구체보다 약간의 귀납적 편향(inductive bias)을 제공했지만, 기하학적 병목 원리는 형태에 관계없이 견고하게 유지되었습니다. 신뢰할 수 있는 정렬을 위해서는 다중 뷰 커버리지(K=4 뷰)가 필수적임이 밝혀졌습니다.

의의 및 한계
본 논문은 이 접근 방식이 정규 감독의 확장성 병목 문제를 해결하여, 테스트 시 온보딩이나 수동 레이블 없이도 전이 가능한 카테고리 불가지론적 포즈 추정을 가능하게 한다고 주장합니다. 학습된 프레임은 다양한 객체 유형에 대해 대체로 일관되며, 카테고리별 컨벤션 매핑은 몇 개의 모드로 클러스터링됩니다.

그러나 저자들은 **대칭성(symmetry)**에 관한 한계를 솔직하게 언급했습니다. 출현된 프레임은 뚜렷한 의미론적 축을 가진 객체에 대해 가장 일관적입니다. 여러 방향이 구별 불가능한 증거를 생성하는 연속적인 대칭 객체의 경우, 의사 레이블이 노이즈가 되기 때문에 이 방법은 어려움을 겪습니다. 정규 레이블이나 대칭 사전 지식 없이 이러한 모호성을 해결하는 것은 향후 연구 과제로 남겨두었습니다.