Bi-Manual Joint Camera Calibration and Scene Representation

기술 요약: 양팔 결합 카메라 캘리브레이션 및 장면 표현 (Bi-JCR)

문제 정의
양팔 로봇 조작(Bimanual robot manipulation)은 일반적으로 로봇 엔드 이펙터에 단단히 장착된 다수의 카메라를 필요로 한다. 이러한 시스템이 동작을 생성하거나 환경 표현을 구축하기 전, 카메라의 엔드 이펙터에 대한 외적 변환(extrinsic transformations)과 조작기 베이스 간의 상대적 포즈를 결정하기 위한 캘리브레이션이 반드시 선행되어야 한다. 전통적인 "핸드-아이(hand-eye)" 캘리브레이션은 외부 마커(예: 체커보드 또는 AprilTag)를 사용하는 오프라인 절차에 의존하는데, 이는 번거로울 뿐만 아니라 역동적인 실험실 환경에서는 마커가 훼손되거나 위치가 바뀌는 경우가 빈번하다. 이러한 방식을 듀얼 암(dual-arm) 시스템으로 확장하는 것은 쉽지 않은데, 이는 두 개의 분리된 좌표계를 융합해야 하며, 종종 마커를 들고 있을 보조 조작기가 필요하기 때문이다. 본 논문은 외부 캘리브레이션 마커 없이도 손목 장착형 카메라를 가진 듀얼 조작기를 캘리브레이션하는 동시에, 공유 작업 공간의 미터법 스케일(metric-scale) 3D 표현을 복구하는 과제를 다룬다.

방법론
제안된 프레임워크인 **Bi-JCR (Bi-Manual Joint Calibration and Representation)**은 3D 파운데이션 모델을 활용하여 마커 없는 캘리브레이션과 장면 재구성을 수행한다. 과정은 다음과 같은 주요 단계로 구성된다:

1. 데이터 수집: 두 개의 조작기(주요 조작기 및 보조 조치기)를 $N$개의 서로 다른 엔드 이펙터 포즈를 통해 제어하며, 각 포즈에서 RGB 이미지를 캡처한다. 순방향 기구학(베이스-엔드 이펙터 변환)은 알려져 있으나, 카메라-엔드 이펙터 변환($T^E_C$), 두 로봇 베이스 간의 상대적 포즈($P^{b_1}_{b_2}$), 그리고 글로벌 스케일은 알 수 없는 상태이다.
2. 3D 파운데이션 모델 추론: 양쪽 팔에서 수집된 RGB 이미지 세트는 사전 학습된 3D 파운데이션 모델(예: DUSt3R)에 입력된다. 이 모델은 다음을 출력한다:
   • 임의의 스케일이 적용되지 않은 좌표계에서의 상대적 카메라 포즈.
   • 장면 기하 구조에 대응하는 조밀한 3D 포인트 세트.
   • 재구성된 포인트들에 대한 신뢰도 맵(Confidence maps).
3. 결합 최적화 정식화: Bi-JR은 미지의 변환들과 스케일 인자($\lambda$)를 복구하기 위해 결합 최적화 문제를 정식화한다.
   • 초기 해법: 문제는 $SO(3)$ 매니폴드 상의 선형 대수를 사용하여 회전 성분(스케일에 불변)을 구하는 문제와, 문제를 유사성 스케일 복구 문제(Similarity Scale Recovery Problem, SRP)로 취급하여 변환과 스케일 인자를 위한 최소제곱해를 구하는 문제로 분해된다.
   • 정밀화(Refinement): 초기 추정치는 변환 행렬의 매니폴드($SE(3)$) 상에서 경사 하강법(gradient descent)을 통해 정밀화된다. 비용 함수는 관측된 엔드 이펙터 운동과 파운데이션 모델로부터 추론된 카메라 포즈 사이의 불일치를 최소화하며, 이는 고전적인 핸드-아이 캘리브레이션 방정식 $AX = XB$를 따른다.
4. 미터법 스케일 재구성: 스케일 인자 $\lambda$와 파운데이션 모델의 프레임으로부터 로봇 베이스 프레임까지의 변환이 복구되면, 스케일이 조정되지 않은 포인트 클라우드를 스케일링하고 변환하여 통합된 미터법 스케일 좌표계(주요 조작기의 베이스 프레임)로 투영한다. 이를 통해 충돌 체크 및 시맨틱 세그멘테이션과 같은 다운스트림 태스크에 적합한 조밀한 3D 표현을 얻는다.

주요 기여

• Bi-JCR 프레임워크: 외부 마커 없이 양팔 조작기의 손목 장착형 카메라를 캘리브레이브함과 동시에 통합된 3D 환경 표현을 구축하는 새로운 방법론을 제시한다.
• 결합 최적화 문제: 단일 RGB 이미지 세트로부터 카메라-엔드 이펙터 변환, 암 간 상대적 포즈, 미터법 스케일 인자를 모두 복구하는 정식화를 통해, 모든 변환을 하나의 통합된 최적화 과정 내에서 해결한다.
• 실증적 검증: 실제 테이블탑 환경에서 구현된 엄격한 평가를 통해, 지면 진실(ground truth) 및 베이스라인 방법들과 비교하여 정확한 캘리브레이션과 미터법적으로 정확한 3D 재구성을 생성하는 능력을 입증하였다.

실험 결과
저자들은 다양한 조명 조건과 물체 밀도 하에서 두 대의 AgileX Piper 조작기와 USB 웹캠을 사용하여 Bi-JCR을 평가하였다.

• 캘리브레이션 정확도: Bi-JCR은 혼잡한 장면에서 대응 관계를 찾는 데 어려움을 겪은 COLMAP이나 일관되지 않은 포즈 회귀로 인해 문제가 발생한 Ray Diffusion과 같은 베이스라인들에 비해 회전 및 이동 잔차(residual error)가 지속적으로 낮게 나타났다. 이 방법은 입력 이미지가 매우 적은 경우(팔당 최소 4장)에도 강건함을 보여주었다.
• 스케일 복구: 복구된 미터법 스케일은 매우 정확했다. 조작기당 8장의 이미지를 사용했을 때, 재구성된 물체 치수의 오차는 최대 2.98%(중앙값 1.48%)에 불과하여, 시스템이 실제 세계의 미터법 단위를 복구할 수 있음을 확인시켜 주었다.
• 파운데이션 모델 선택: DUSt3R, MASt3R, VGGT 등 다양한 3D 파운데이션 모델을 비교하는 어블레이션 연구를 수행하였다. DUSt3R은 모든 뷰(view) 개수에서 MASt3R 및 VGGT보다 우수한 성능을 보이며 가장 낮은 캘리브레이션 잔차를 일관되게 기록하였다.
• 경사 하강법 정밀화: 경사 하강법을 통한 정밀화 단계는 특히 이미지가 적은 희소 뷰(sparse-view) 시나리오에서 회전 정확도를 크게 향상시켰으나, 뷰의 수가 증가함에 따라 그 이득은 점차 감소하였다.
• 다운스트림 태스크: 본 프레임워크는 무거운 물체(예: 공구함)의 협동 파지(coordinated grasping) 및 두 팔 사이의 작은 물체(예: 숟가락, 렌치) 전달을 포함한 복잡한 양팔 작업을 성공적으로 수행함으로써, 통합 좌표계와 조밀한 3D 표현의 유용성을 입증하였다.

의의 및 주장
본 논문은 Bi-JCR이 번거로운 마커 기반의 오프라인 캘리브레이션 절차를 제거하는 통합 솔루션을 제공한다고 주장한다. 3D 파운데이션 모델을 활용함으로써, 이 프레임워크는 두 시점 간의 시각적 데이터 융합을 즉각적으로 가능하게 하여, 파지(grasping) 및 물체 전달(object passing)과 같은 다운스트림 양팔 협동 태스크를 용이하게 한다. 저자들은 본 접근 방식이 외부 깊이 센서나 마커에 의존하지 않고도 충돌 체크와 시맨틱 세그멘테이션을 직접 지원하는, 크기가 정확한 조밀한 3D 표현을 생성한다는 점을 강조한다. 향 향후 연구로는 파운데이션 모델의 신뢰도 마스크(confidence masks)를 활용하여 이미지 수집을 능동적으로 가이드하고, 장면 재구성과 캘리브레이션을 지속적으로 정교화하는 방안이 제시되었다.