기술 요약: 변형 가능한 객체 사전 지식을 통한 카메라 공간 내 카테고리 수준 3D 대응 관계

문제 정의

본 논문은 카메라 공간에서의 단안 카테고리 수준 3D 대응 관계라는 과제를 다룹니다. 최근의 발전으로 카테고리 수준 포즈 추정이 개선되었음에도 불구하고, 기존 표현 방식은 객체의 부분, 기능, 상호작용에 대한 추론에 필요한 세밀한 의미론적 정보를 포착하는 데 실패하는 경우가 많습니다.

이 과제는 다음과 같이 공식적으로 정의됩니다: 동일한 카테고리에서 유래한 두 개의 RGB-D 이미지 ($I_q$ 및 $I_t$) 와 $I_q$의 카메라 공간에 있는 쿼리 3D 점 $x_q$가 주어졌을 때, 동일한 의미론적 부분을 나타내는 $I_t$의 카메라 공간 내 대응하는 3D 점 $x_t$를 예측하는 것이 목표입니다. NOCS 와 같이 픽셀을 정규화된 표준 공간으로 매핑하는 이전 접근법과 달리, 본 연구는 3D 카메라 공간에서 직접 대응 관계를 목표로 합니다. 이 접근법은 시점 의존성, 가려짐, 대칭성과 같은 2D 매칭에 내재된 모호성을 해결하고, 스케일과 중심이 명확히 정의되지 않는 객체 중심 공간의 불명확성을 피하고자 합니다.

식별된 중요한 간극은 다양한 가정용 객체에 대한 비모달 대응 관계(가려지거나 보이지 않는 부분을 추론) 와 명시적인 대칭성 처리(여러 기하학적 위치가 의미론적으로 동등한 경우) 를 지원하는 벤치마크가 부족하다는 점입니다.

방법론: Morpheus

저자들은 명시적인 대응 관계 감독 없이 의미론적으로 일관된 3D 대응 관계를 확립하기 위해 변형 가능한 카테고리 수준 모양 사전 지식을 학습하는 Morpheus라는 프레임워크를 제안합니다. 핵심 아이디어는 카테고리 내의 모든 객체를 공유 템플릿 메시의 정체성 보존 변형으로 표현하는 것입니다.

1. 메시 기반 3D 대응 관계 예측

Morpheus 는 모든 예측을 공유 변형 가능 템플릿을 통해 중재합니다. 입력 RGB-D 이미지에 대해 모델은 다음을 예측합니다:

• 템플릿 메시의 인스턴스별 변형.
• 사전 훈련된 포즈 확산 네트워크를 사용하여 추정된 6D 객체 포즈 ($\omega$).

대응 관계는 메시 전송을 통해 확립됩니다:

1. 쿼리 3D 점 $x_q$가 변형된 쿼리 메시 ($M_q^{def}$) 의 표면에 투영됩니다.
2. 점의 위치는 하부 메시 면에 대한 중심 좌표로 인코딩됩니다.
3. 모든 인스턴스가 동일한 메시 위상을 공유하므로, 이러한 좌표는 대상 변형 메시 ($M_t^{def}$) 로 직접 전송되어 대상 카메라 공간의 대응 점 $x_t$를 생성합니다.
   이로써 문제는 이미지 간 점을 직접 매칭하는 대신 공유 템플릿의 포즈와 변형을 예측하는 문제로 축소됩니다.

2. 3D 변형 가능 사전 지식

본 프레임워크는 하이브리드 볼륨 메시 표현을 활용합니다:

• 표준 모양: 부호付き 거리장 (SDF) $\phi_{sdf}$로 표현되며, 미분 가능한 테트라헤드라 행진 (Differentiable Marching Tetrahedra) 을 통해 메시로 변환됩니다. 이를 통해 정교한 기하학을 유연하게 모델링할 수 있습니다.
• 인스턴스별 변형: 아핀 변형장 $\phi_a$가 표준 메시를 특정 인스턴스에 맞게 적응시킵니다. 이 장은 DINOv2 백본을 기반으로 하는 변형 인코더가 입력 이미지에서 추출한 잠재 코드 $l$에 의해 구동됩니다.
• 변형은 잠재 코드를 기반으로 정점을 이동시키는 아핀 매핑으로 정의되며, 변형 전반에 걸쳐 템플릿 정점의 의미론적 정체성을 보존합니다.

3. 훈련 목적 함수

Morpheus 는 명시적인 대응 관계 레이블 없이 기하학적 감독을 통해 훈련됩니다. 모든 인스턴스가 동일한 표준 템플릿을 변형해야 하며 관측 데이터와 일관성을 유지해야 하므로, 의미론적 정렬이 암묵적으로 발생합니다. 훈련 손실에는 다음이 포함됩니다:

• 2D 손실: 가시 영역과 가려진 영역 모두에서 변형된 메시가 객체와 일치하도록 보장하는 비모달 객체 마스크 재구성 (MSE) 및 거리 변환 중첩.
• 3D 손실: 변형된 메시 정점과 실제 정점 간의 챔퍼 거리 (Chamfer distance).
• 정규화: SDF 속성을 강제하는 Eikonal 손실, 과도한 변형을 방지하는 $\ell_2$ 변형 정규화, 그리고 엣지 기반 매끄러움 정규화.
• 포즈 감독: 최적화를 안정화하고 지역 최소값을 줄이기 위해 6D 포즈 감독이 제공됩니다.

주요 기여

1. 과제 공식화: 포즈 중심 표현을 넘어 의미론적으로 정렬된 3D 이해로 나아가기 위한 필수 단계로서, 카메라 공간 내 단안 카테고리 수준 3D 대응 관계를 식별합니다.
2. HouseCorr3D 벤치마크: 저자들은 이 과제를 위한 최초의 대규모 벤치마크인 HouseCorr3D를 도입합니다. 이는 다음을 포함합니다:
   • 50 개의 가정용 객체 카테고리에 걸친 178,000 개의 이미지.
   • 280 개의 고유한 객체 인스턴스.
   • CAD 모델에 직접 적용된 3D 키포인트 주석.
   • 가려진 영역을 위한 비모달 대응 관계 레이블.
   • 기하학적 모호성을 공정하게 처리하기 위한 명시적 대칭성 주석.
3. Morpheus 프레임워크: 표준 모양, 변형, 객체 포즈를 분리하여 카메라 공간 내에서 직접 의미론적으로 일관된 3D 대응 관계를 생성하는 변형 가능 사전 지식을 학습하는 방법.
4. 실증적 검증: 직접적인 대응 관계 감독 없이 의미론적 3D 객체 이해가 발생할 수 있음을 입증하며, 제안된 벤치마크에서 최첨단 결과를 달성했습니다.

결과

HouseCorr3D 에 대한 실험은 Morpheus 가 기존 베이스라인을 크게 능가함을 보여줍니다. 여기에는 다음이 포함됩니다:

• 2D 특징 매칭: DINOv2, MagicPony2D, 그리고 3D 로 변환된 NOCS.
• 3D 공간 매칭: GenPose++ 및 MagicPony.

주요 발견:

• 성능: Morpheus 는 2D, 3D 모달 (가시), 그리고 3D 비모달 (가려짐) 설정 전반에 걸쳐 가장 높은 PCK@0.1 (올바른 키포인트 비율) 을 달성합니다.
• 가려짐 처리: 가려진 부분에서 실패하는 2D 방법과 달리, Morpheus 는 비모달 감독과 공유 사전 지식 덕분에 가려진 영역을 성공적으로 재구성합니다.
• 대칭성 및 변형: Morpheus 는 정규화된 객체 공간 (NOCS 등) 이나 얽힌 표준/카메라 공간 (MagicPony 등) 에 의존하는 방법보다 객체 대칭성과 모양 변이를 더 잘 처리합니다.
• 일반화: Omni6DPose 의 실세계 ROPE 데이터셋 필터링 하위 집합에 대한 평가는 모델이 실제 데이터로 일반화됨을 확인시켜 주며, 성능 저하는 주로 더 노이즈가 많은 깊이 및 주석에서 기인하며 모델 실패 때문은 아님을 보여줍니다.

중요성 및 주장

본 논문은 3D 카메라 공간에서의 대응 관계 확립이 이전의 2D 또는 정규화된 3D 객체 공간 접근법에서 근본적인 전환임을 주장합니다. 변형 가능한 객체 사전 지식을 활용함으로써 저자들은 다음과 같은 것을 입증합니다:

• 의미론적 3D 대응 관계는 공유 변형 가능 표현을 통해 암묵적으로 학습될 수 있으며, 비용이 많이 드는 명시적 대응 관계 감독의 필요성을 제거합니다.
• 이 접근법은 비모달 추론을 가능하게 하여, 일부가 가려져 있더라도 객체의 완전한 3D 구조를 추론할 수 있게 하며, 이는 로봇 조작 및 상호작용에 필수적입니다.
• HouseCorr3D 벤치마크는 문헌의 중요한 공백을 메워, 단일 이미지에서 카테고리 수준 3D 대응 관계를 평가하기 위한 비모달 및 대칭성 인식 주석이 포함된 최초의 대규모 데이터셋을 제공합니다.

이 연구는 체화 로봇공학과 AR/VR 의 미래 발전이 가려진 영역과 대칭성을 포함한 전체 객체 기하학을 고려하는 견고한 3D 추론으로 나아가기 위해 2D 특징 매칭을 넘어설 필요가 있음을 시사합니다.