기술 요약: Every9D-21M

문제 정의

단일 실세계 이미지로부터 일상 사물의 9D 포즈 (3D 회전, 3D 병진, 3D 사물 범위) 를 추정하는 것은 컴퓨터 비전 분야에서 여전히 중요한 과제로 남아 있습니다. 이러한 어려움은 주로 대규모 실세계 감독 데이터의 부재에서 비롯됩니다. 기존 데이터셋은 카테고리 다양성과 인스턴스 규모 간의 트레이드오프로 고통받고 있습니다. 즉, 실세계의 노이즈와 가려짐에 대한 일반화가 어려운 합성 렌더링에 크게 의존하거나, 실세계 사물에 대한 커버리지가 제한적입니다. 예를 들어, 가장 큰 기존 실세계 9D 포즈 데이터셋인 Objectron 은 9 개 카테고리에 걸쳐 17,000 개의 주석된 사물만을 포함하는 반면, 가장 큰 이미지 수준의 3D 포즈 데이터셋인 ImageNet3D 는 200 개 카테고리를 커버하지만 86,000 개의 이미지만을 다룹니다. 더 나아가, 9D 포즈의 수동 주석은 비용이 과도하게 많이 들고 단일 뷰에서는 종종 모호하여 로봇공학, AR/VR, 3D 생성 모델링을 위한 견고한 기초 모델의 개발을 방해합니다.

방법론

저자들은 700 개 사물 카테고리에 걸친 2180 만 장의 실세계 이미지에 대한 9D 포즈 주석을 생성하는 프레임워크인 Every9D-21M을 제안합니다. 핵심 전략은 단일 뷰의 모호성을 극복하고 주석 작업을 확장하기 위해 사물 중심 (object-centric) 비디오를 활용하는 것입니다. 파이프라인은 다섯 가지 반복 단계로 구성됩니다:

1. 클러스터링: 균일하게 샘플링된 프레임에서 추출된 평균화된 DINOv3 특징을 기반으로 k-means 를 사용하여 사물 중심 비디오 (uCO3D 에서 출처) 를 클러스터링합니다. 이 카테고리 무관 접근법은 시각적으로 유사한 인스턴스를 그룹화하여 카테고리 간 정렬을 가능하게 하고 수동 카테고리 레이블에 대한 의존성을 줄입니다.
2. 참조 선택: 각 클러스터에 대해 대표 '중심 (medoid)' 비디오를 참조 인스턴스로 선택합니다. 클러스터 내 다른 비디오들과의 평균 특징 거리가 가장 작은 비디오를 기반으로 한 이 선택은 무작위 선택보다 더 높은 정렬 정확도를 제공합니다.
3. 참조 주석: 전체 이미지의 0.01% 미만 (약 1,000 개 사물) 인 소수의 참조 사물을 수동으로 주석합니다. 주석가들은 LangSAM + XMem 을 통한 다중 뷰 마스킹을 사용하여 VGGSfM 을 통해 재구성된 희소 3D 포인트 클라우드에 3D 바운딩 박스를 정렬하는 인터랙티브 도구를 사용합니다. 핵심적으로, 저자들은 일관된 카논ical 프레임 (예: 의자의 '앞면'을 등받이 반대편으로 정의) 을 보장하기 위해 고유한 속성, 인간 - 사물 상호작용, 사물 - 사물 상호작용에 기반한 카테고리 간 방향 규칙을 정의합니다.
4. 인스턴스 간 정렬: 클러스터 내 나머지 비디오들을 참조 인스턴스에 정렬합니다. 이는 알파 쉐이프 (alpha shapes) 를 통한 3D 표면 재구성과 다중 뷰 DINO 특징을 해당 표면에 투영하는 과정을 포함합니다. RANSAC 초기화 후 경계 기반 정제를 사용하여 회전, 병진, 스케일을 포함하는 강체 변환을 추정하며, 기하학적 (Chamfer 거리) 과 외관적 (특징 공간 최근접 이웃) 거리의 가중 합을 최소화합니다.
5. 검증: 모든 전파된 포즈는 여러 카논ical 뷰포인트 (앞, 위, 오른쪽) 에서 검증됩니다. 시퀀스는 기하학적 결함이나 다중 사물 누출로 인해 필터링 (제거) 되거나, 참조 불일치로 인해 다음 반복에서 재처리 (건너뛰기) 됩니다.

결과적으로 생성된 카논ical 포즈는 사물 중심 비디오 내의 모든 프레임으로 전파되어 밀집된 9D 주석을 생성합니다.

주요 기여

1. 확장 가능한 실세계 9D 카논화: 저자들은 다중 뷰 3D 재구성과 인스턴스 간 정렬을 위해 사물 중심 비디오를 활용하는 반복적, 참조 기반 프레임워크를 소개합니다. 이 접근법은 소수의 수동 주석 참조에서 카논ical 프레임을 수백만 장의 이미지로 전파하며, 모든 전파된 포즈는 여러 뷰포인트에서 검증됩니다.
2. Every9D-21M 데이터셋: 2180 만 장의 이미지, 109,000 개의 주석된 사물, 700 개 카테고리로 구성된 대규모 데이터셋입니다. 이미지 수와 카테고리 다양성 모두에서 기존 실세계 9D 포즈 벤치마크보다 두 자릿수 (orders of magnitude) 더 큽니다. 전체 데이터셋은 약 199 시간의 인간 노력 (주석 67 시간, 검증 132 시간) 으로 큐레이션되었습니다.
3. 벤치마크 및 베이스라인: 이 논문은 대칭성을 고려한 표준화된 평가 프로토콜을 수립하고 Every9D-21M 으로 훈련된 베이스라인 모델을 제공합니다. 이러한 베이스라인은 이 데이터셋으로 훈련하는 것이 기존 벤치마크 (PASCAL3D+, ImageNet3D) 에서 성능을 향상시키고, ImageNet3D 만으로 훈련된 모델에 비해 HANDAL 데이터셋에 대한 일반화가 훨씬 더 우수함을 보여줍니다.

결과

실험은 데이터셋과 카논화 프레임워크의 유효성을 검증합니다:

• Every9D-21M 에 대한 성능: Every9D-21M 으로 훈련된 모델은 테스트 분할에서 최첨단 기초 모델 (OrientAnythingV1, OrientAnythingV2, WildDet3D) 을 크게 능가합니다. 구체적으로, 제안된 모델은 대칭 무관 및 대칭 인식 설정 모두에서 OrientAnythingV2 대비 대략 회전 정확도 (Acc@30°) 를 16.6~17.7 퍼센트 포인트 향상시킵니다.
• 일반화: ImageNet3D 로 훈련하는 것에 비해 Every9D-21M 으로 훈련하면 도메인 간격에도 불구하고 실세계 조작 가능 사물 데이터셋인 HANDAL 에 대한 더 강력한 일반화를 이룹니다.
• 상호 보완성: Every9D-21M 과 ImageNet3D 를 함께 훈련하면 PASCAL3D+ 와 ImageNet3D 에서 일관되게 성능이 향상되어 데이터셋이 상호 보완적임을 시사합니다.
• 정성적 개선: 시각적 비교는 이전 방법들에 비해 비정상적인 사물 방향에 대한 강인성 향상, 미묘한 각도 차이에 대한 더 정확한 추정, 그리고 까다로운 조명 조건 하에서의 더 나은 회복력을 나타냅니다.

중요성

이 논문은 Every9D-21M 을 제약 없는 실세계 환경에서 9D 포즈 추정 및 3D 이해를 발전시키는 데 필수적인 자원으로 위치시킵니다. 일관된 카논ical 프레임을 갖춘 대규모 실세계 데이터셋을 제공함으로써, 이 연구는 합성 데이터로 훈련된 모델의 일반화를 제한해 온 '시뮬레이션에서 실세계 (sim-to-real)' 격차를 해결합니다. 저자들은 확장 가능한 카논화된 감독이 다음과 같은 분야에 필수적이라고 주장합니다:

• 로봇공학 및 AR/VR: 일관된 사물 중심 좌표 프레임을 추론하여 공간 추론 및 물리적 상호작용을 가능하게 함.
• 3D 생성 모델링: 텍스트 -to-3D 및 이미지 -to-3D 시스템의 제어 가능성과 기하학적 일관성을 향상시키기 위해 방향 정렬 훈련 데이터 제공.
• 대응 학습: 3D 변형 가능 모델링을 위한 인스턴스 간 안정적인 정렬 보장.

이 연구는 사물 중심 비디오와 인스턴스 간 정렬의 전략적 활용을 통해 최소한의 인간 노력으로 고품질 9D 감독을 대규모로 달성할 수 있음을 보여주며, 실세계 3D 포즈 벤치마크에 대한 새로운 기준을 설정합니다.