기술 요약: 다중 뷰 3D-그라운딩 VLM 추론을 통한 제로샷 장기 지평(Long-Horizon) 정교한 조작

문제 정의

본 논문은 고수준 언어 지시를 바탕으로 일반 목적의 로봇 시스템이 **장기 지평의 정교한 조작(long-horizon dexterous manipulation)**을 수행할 수 있도록 하는 과제를 다룹니 다. 최근의 시각-언어-행동(VLA) 모델들은 진전을 보여주었으나, 이들은 일반적으로 광범위한 작업 특화 데이터 수집, 미세 조정(fine-tuning), 또는 인간 시연 리타겟팅을 필요로 하며, 이는 다양한 물체, 도구 및 공간 구성에 대한 확장성을 제한합니다. 또한, 기존의 제로샷 접근 방식은 2D 중간 표현(키포인트, 시각적 마크)에 의존하는 경우가 많은데, 이는 접촉점, 배치 대상, 도구 궤적 등을 결정해야 하는 본질적인 3D 조작 작업에는 불충분합니다. 정교한 손(dexterous hands)에서의 작은 3D 그라운딩 오류는 불안정한 파지(grasp), 충돌 또는 잘못된 도구 사용을 초래할 수 있습니다. 저자들은 의미론적 추론과 물리적 실행을 분리하는 모듈형 접근 방식을 주장하며, 언어와 물리적 행동 사이의 간극을 메우기 위해 2D VLM 예측을 신뢰할 수 있는 3D 양으로 그라운딩하는 것이 필수적임을 강조합니다.

방법론

제안된 프레임워크는 보정된 다중 뷰 RGB 이미지와 언어 지시를 실행 가능한 암-핸드(arm-hand) 계획으로 변환하는 제로샷 시스템입니다. 파이프라인은 네 가지 주요 단계로 구성됩니다.

1. 참조 프레임 의미론적 그라운딩 (Reference-Frame Semantic Grounding)

시각-언어 모델(VLM) $\Phi$는 다중 뷰 이미지와 지시 사항을 처리하여 다음을 수행합니다:

• 참조 뷰 $r$을 선택합니다.
• 조작 모드 $z$ (픽 또는 도구 사용)를 추론합니다.
• 모드별 그라운딩 튜플 $g_z$를 예측합니다.
  • **픽 앤 플레이스(pick-and-place)**의 경우: 대상 물체와 그 2D 목적지 픽셀을 식별합니다.
  • **도구 사용(tool-use)**의 경우: 도구 물체, 스킬 카테리(예: 붓기, 쓸기), 대상 물체, 그리고 관련 2D 키포인트를 식별합니다.
• 참조 뷰 상에서 연관된 2D 키포인트와 의미론적 설명을 포함하는 프리미티브(primitives) $Q_r$의 시퀀스(예: grasp, apply action, release)를 생성합니다.

2. 다중 뷰 융합 기반 3D 리프팅 (Multi-View Fusion-Based 3D Lifting)

2D 키포인트를 견고한 3D 좌표로 변환하기 위해, 시스템은 폐쇄(occlusion)와 깊이 모호성을 처리하는 이중 전략 융합 방식을 채택합니다:

• 교차 뷰 삼각측량(Cross-View Triangulation): 동일한 의미론적 개념에 대한 2D 그라운딩을 얻기 위해 모든 뷰에 대해 VLM을 쿼리합니다. 뷰 쌍(view pairs)에 대해 RANSAC 스타일의 삼각측량을 수행하며, 재투영 오차가 임계값 미만인 뷰의 수를 기준으로 후보를 점수화합니다.
• 참조 뷰 레이 투표(Reference-View Ray Voting): 추정치를 더 확고하게 고정하기 위해, 시스템은 참조 뷰의 카메라 레이(ray)를 따라 깊이 후보를 샘플링합니다. 이 후보들은 시각적 마커가 있는 비참조 뷰로 투영되며, VLM은 의미론적 설명과 가장 잘 일치하는 인덱스를 선택합니다. 가장 높은 합의 투표를 받은 후보가 선택됩니다.
• 동적 선택(Dynamic Selection): 최종 3D 키포인트는 기하학적 합의에 따라 선택됩니다. 삼각측량이 높은 신뢰도의 인라이어(inlier)를 생성하면 이를 사용하고, 그렇지 않으면 시스템은 견고한 투표 추정치로 폴백(fallback)합니다.

3. 객체 중심 원자적 행동 정렬 (Object-Centric Atomic Action Alignment, 도구 사용)

도구 사용 작업을 위해 시스템은 스킬 카테고리에 따라 인덱싱된, 객체 중심의 6D 도구 궤적들로 구성된 사전 구축된 Bag of Atomic Actions를 활용합니다.

• 스킬 카테 カテゴ리를 식별하면, 그에 해당하는 원자적 행동(궤적 $T$)을 검색합니다.
• 시스템은 VLM으로부터 유도된 3D 키포인트(apply-action 및 terminal keypoints)에 저장된 동작의 시작/종료 앵커를 매핑하는 강체 변환(rigid transformation)을 계산하여 현재 장면과 저장된 궤적을 정렬합니다.
• 이를 통해 도구를 위한 장면 정렬된 6D 궤적 $\hat{T}$가 생성됩니다.

4. 정교한 어포던스 가이드 파지 및 모션 생성 (Dexterous Affordance-Guided Grasp and Motion Generation)

• 어포던스 영역 추정: 시스템은 뷰 전반에 걸쳐 VLM을 쿼리하여 파지 키포인트 주변의 2D 파지 가능 바운딩 박스(어포던스)를 예측합니다. 이들은 객체의 메쉬 버텍스를 투영하고 다중 뷰 포함 점수에 따라 필터링함으로써 3D로 리프팅됩니다.
• 파지 생성: 후보 파지는 실린더형 템플릿(핸들용) 또는 최적화 기반 생성기를 사용하여 3D 어포던스 영역 내에서 생성됩니다.
• 충돌 인식 정교화: 배치 또는 도구 포즈를 위한 그라운딩 포인트는 가장 가까운 충돌 없는 위치를 찾기 위해 로컬 수직 그리드를 탐색함으로써 정교화됩니다.
• 실행: 기성(off-the-shelf) 암-핸드 모션 생성기가 운동학적 및 충돌 제약 조건을 해결하여 실행 가능한 실행 궤적을 생성합니다.
• 폐쇄 루프 검증: 장기 지평 작업의 경우, 시스템은 상태 검증을 수행합니다. 만약 단계가 실패하면(예: 파지 실패), VLM은 상태를 감지하고 특정 하위 작업의 재계획(replan) 또는 재그라운딩(re-grounding)을 트리거합니다.

주요 기여

1. 통합 제로샷 프레임워크: VLM 기반의 작업 계획과 다중 뷰 3D 그라운딩 및 재사용 가능한 원자적 프리미티브 라이브러리를 결합하여, 작업 특화 학습 없이도 미지의 물체와 도구에 대해 제로샷 실행을 가능하게 하는 시스템입니다.
2. 다중 뷰 VLM 그라운딩: 교차 뷰 삼각측량과 참조 뷰 레이 투표를 결합하여 2D 예측을 신뢰할 수 있는 3D 양으로 융합함으로써, 폐쇄 및 부분적 가시성 상황에서도 견고성을 크게 향상시킨 새로운 접근 방식입니다.
3. 정교한 실행 확장: 기능적 3D 어포던스 영역을 추정하고 궤적 수준의 역운동학(IK) 및 충돌 타당성을 기반으로 후보 파지를 필터링함으로써, 다중 뷰 그라운딩을 정교한 손으로 확장했습니다.
4. 장기 지평 능력: 폐쇄 루프 검증 및 동적 재계획을 통해 복잡한 다단계 작업(예: 요리, 정리)에서 강력한 제로샷 일반화 능력을 입증했습니다.

실험 결과

시스템은 xArm과 Inspire 정교한 손을 사용하는 실제 테이블탑 환경에서 보정된 여러 대의 RGB 카메라를 사용하여 평가되었습니다.

• 성공률: 본 방법은 단일 뷰 RGB-D 그라운딩 베이스라인 및 두 개의 미세 조정된 VLA 베이스라인(작업당 30회의 시연 필요)보다 우수한 성능을 보였습니다.
  • "쓰레기 버리기(Throw Away Trash)" 및 "냄비 솥 위에 놓기(Place Pot on Stove)" 작업에서 제안된 방법은 각각 5/5 및 4/5의 성공률을 기록한 반면, 베이스라인은 낮거나 0의 성공률을 보였습니다.
  • "복잡한 정밀 픽 앤 플레이스(Cluttered Precise Pick-and-Place)"에서 본 방법은 4/5를 달 기록한 반면, RGB-D 베이스라인은 2/5를 기록했습니다.
  • 미세 조정된 VLA 모델들(GR00T, Being-HO)은 제로샷 도구 사용 작업에서 완전히 실패(0/5)한 반면, 제안된 시스템은 "빗자루질(Broom Clean)"에서 10회 시도 중 8회 성공했습니다.
• 3D 그라운딩 정확도: 다중 뷰 융합은 파지 위치 오차($L_{grasp}$)를 16.43 cm(RGB-D)에서 약 4.6 cm로 줄였으며, 적용 동작 오차($L_{apply}$) 또한 크게 감소시켰습니다.
• 충돌 견고성: 충돌 인식 정교화 단계는 침투 깊이 오차를 최소화했습니다.
• 장기 지평 작업: 시스템은 다단계 작업(예: 3~4개의 물체 정리, 요리)을 성공적으로 완료했으며, 폐쇄 루프 재시도를 통해 중간 실패(예: 관절 한계, 충돌)로부터 회복했습니다.

의의 및 주장

본 논문은 VLM이 의미론적 추론을 담당하고 프리미티브 컨트롤러가 실행을 담당하는 모듈형 설계가 엔드 투 엔드(end-to-end) 정책 학습보다 일반 목적의 조작을 위한 더 효율적인 경로라고 주장합니다. 저자들은 3D 그라운딩이 정교한 조작을 위한 핵심적인 누락된 연결 고리이며, 단일 뷰 추론으로는 이를 충족할 수 없음을 강조합니다.

본 연구의 의의는 다음을 입증했다는 데 있습니다:

1. 현대적인 VLM은 제로샷으로 정확한 작업 분해와 2D 그라운딩을 제공할 수 있습니다.
2. 이러한 2D 예측을 여러 뷰에서 융합함으로써, 복잡한 조작에 필요한 신뢰할 수 있는 3D 기하 구조를 복구할 수 있습니다.
3. 이러한 접근 방식은 광범한 데이터 수집이나 미세 조정 없이도 미지의 물체와 새로운 환경에서 견고한 실행을 가능하게 하여, 현재 VLA 모델의 확장성 한계를 해결합니다.

저자들은 성능이 기초가 되는 2D VLM의 추론 신뢰도에 의해 제한될 수 있으며, 물리적 실행이 기성 플래너에 의존하므로 지연 시간이나 특이점(singularity)이 발생할 수 있다는 한계를 인정합니다. 이들은 인핸드 매니퓰레이션(예: 손 안에서 물체를 회전시키는 것)을 해결하려는 것이 아니라, 객체 중심의 조작과 도구 사용에 초점을 맞추고 있습니다.