Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance

기술 요약: 단일 인스턴스의 RGB 데모를 통한 카테고리 수준의 라스트 미터(Last-meter) 내비게이션 학습

문제 정의
본 논문은 모바일 매니퓰레이션(Mobile Manipulation)의 핵심적인 격차인 글로벌 내비게이션과 조작 실행 간의 불일치 문제를 다룹니다. 일반적으로 글로벌 내비게이션 시스템은 거친 미터 단위의 정확도(예: 타겟으로부터 1미터 이내에 정지)를 보장하는 반면, 조작 정책(Manipulation Policy)은 신뢰할 수 있는 동작을 위해 위치와 방향에서 센티미터 및 도(degree) 단위의 정밀도를 요구합니다. 고정밀 포지셔닝을 위한 기존 솔루션들은 고해상도 지도, 신경 방사 휘도 필드(NeRF), 깊이 카메라 또는 LiDAR와 같이 비용이 많이 들거나 취약한 사전 정보(Priors)에 의존하는 경우가 많습니다. 저자들은 "라스트 미터 내비게이션" 문제를 글로벌 경로 계획과 조작 사이의 특정 단계로 정의하며, 깊이 센서, LiDAR 또는 지도 사전 정보 없이 오직 온보드 RGB 관측만을 사용하여 타겟 객체에 대해 정밀한 정렬을 달하는 것을 목표로 합니다.

방법론
저자들은 특정 객체 카테고리의 단일 인스턴스(예: 특정 녹색 의자)에 대해 학습되어 보지 못한 인스턴스로 일반화되는 객체 중심 모방 학습 프레임워크를 제안합니다. 이 시스템은 정책 $\pi$가 다중 모달 입력을 이산적 운동 프리미티브(전진, 측면 이동, 회전)로 매핑하는 행동 복제(Behavioral Cloning, BC) 작업으로 구성됩니다.

1. 입력: 정책은 세 가지 입력에 조건화됩니다:

   • 현재 관측값 ($O_t$): 온보드 카메라로부터 얻은 다각도(전, 후, 좌, 우) RGB 이미지.
   • 목표 관측값 ($O_{goal}$): 원하는 종단 포즈(Terminal Pose)에서 캡처된 RGB 이미지.
   • 텍스트 프롬프트 ($\phi_{text}$): 타겟 객체에 대한 자연어 설명.

2. 아키텍처: 시스템은 세 가지 모듈로 구성됩니다 (그림 2):

   • 비전 인코더(Vision Encoder): 현재 및 목표 이미지로부터 의미론적으로 풍부한 특징 임베딩을 추출하기 위해 사전 학습된 고정된 DINOv2 인코더를 사용합니다.
   • 세그멘테이션 모듈(Segmentation Module): 초기 객체 탐지 및 바운딩 박스 생성을 위한 OwlV2를 사용한 후, SAM2를 사용하여 세그멘테이션 마스크를 정교화하는 2단계 텍스트 구동 프로세스를 사용합니다. 이 모듈은 배경으로부터 타겟 객체를 분리합니다.
   • 액션 디코더(Action Decoder): 디코더는 바운딩 박스 좌표(박스 임베딩으로 인코딩됨)를 마스킹된 비주얼 임베딩과 통합합니다. 결정적으로, 현재 뷰와 목표 뷰 사이의 공간 토큰 간 쌍별 코사인 유사성을 나타내는 공간 점수 행렬(Spatial Score Matrix, $S \in \mathbb{R}^{64 \times 64}$)을 계산합니다. 이 행렬은 현재 뷰와 목표 뷰 사이의 공간적 오프셋을 명시적으로 인코딩합니다. 플래튼(Flattened)된 행렬과 박스 임베딩은 피드포워드 네트워크로 전달되어 이산적 액션을 예측합니다.

3. 보조 정지 메커니즘(Auxiliary Stopping Mechanism): 노이즈가 있는 데모 데이터로부터 정밀한 종료를 학습하는 어려움을 해결하기 위해, 저자들은 규칙 기반 오버라이드를 도입했습니다. 현재 마스크와 목표 마스크 사이의 IoU(Intersection over Union)가 0.6을 초과하고 수평 질량 중심 차이가 25 픽셀 미만인 경우 로봇은 정지합니다.

주요 기여

1. 객체 중심 프레임워크: 오직 RGB 입력만을 사용하여 조작 준비가 된 베이스 포즈를 생성함으로써 라스트 미터 내비게이션 문제를 해결하는 새로운 모방 학습 프레임워크를 제시합니다.
2. 인스턴스-투-카테고리 일반화: 단일 객체 인스턴스로 학습된 모델이 다양한 환경과 조명 조건에서도 동일한 카테고리의 보지 못한 인스턴스로 안정적으로 전이될 수 있음을 입증했습니다.
3. 센서 효율적 검증: 깊이, LiDAR 또는 지도 사전 정보 없이도 정밀한 라스트 미터 내비게이션이 가능하다는 것을 실세계 검증을 통해 증명하여, 이러한 센서를 사용할 수 없거나 비용이 많이 드는 실제적인 제약 조건을 해결했습니다.

실험 결과
시스템은 실내 및 실외 환경에서 Boston Dynamics Spot 로봇을 사용하여 평가되었습니다.

• 지표: 에지 정렬(Edge Alignment)(그라운드 트루스 선형 경계와의 정렬 평가)과 객체 정렬(Object Alignment)(질량 중심 거리를 통한 타겟 객체의 시각적 방향 평가)라는 두 가지 지표가 도입되었습니다.
• 성능:
  • 학습된 인스턴스(학습용 의자)의 경우, 시스템은 그라운드 트루스 평가에서 94%, 시각적 평가에서 96.67%의 성공률을 달тя했습니다.
  • 보지 못한 인스턴스(다른 의자들)의 경우, 에지 정렬에서 74.58%, 객체 정렬에서 **89.42%**의 성공률을 기록했습니다.
  • 프레임워크는 또한 다른 카테고리(서랍 정리함 및 여행 가방)로 일반화되었으며, 지표와 카테고리에 따라 60~96%의 평균 성공률을 보였습니다.
• 어블레이션(Ablation): 비교 실험 결과, 암시적 비주얼 그라운딩(명시적 세그멘테이션 없이)은 완전히 실패(성공률 0%)했으며, 명시적 점수 행렬(Score Matrix)이 표준 크로스 어텐션 메커니즘에 비해 카테고리 수준의 일반화에 결정적임을 확인했습니다. 보조 정지 메커니즘은 내비게이션 성공을 작업 완료로 전환하는 데 필수적이었습니다.
• 실패 모드: 주요 실패 모드는 도전적인 조명 조건(예: 어두운 환경)에서의 세그멘테이션 불안정성과 최종 정지 위치에 관한 데모 데이터의 본질적인 노이즈 때문인 것으로 분석되었습니다.

의의 및 주장
본 논문은 오직 RGB 관측만을 사용하여 카테고리 수준에서 정밀한 라스트 미터 내비게이션이 가능함을 주장하며, 이는 통합된 모바일 매니퓰레이션을 향한 확장 가능한 경로를 제공합니다. 깊이 센서, LiDAR 또는 사전 구축된 지도의 의존성을 제거함으로써, 이 접근 방식은 자율 모바일 매니퓰레이터를 역동적인 실제 인간 환경에 배치하기 위한 하드웨어 장벽을 낮춥니다. 저자들은 자신들의 방법이 "라스트 미터" 격차를 메워, 로봇이 조작 정책이 훈련 분포 내에서 작동할 수 있는 조작 준비 상태의 포즈에 도달할 수 있게 함으로써 실행 실패를 줄인다고 강조합니다. 이 연구는 현재의 성능이 세그멘테이션 품질과 가려짐 없는 가시성에 의해 제한될 수 있지만, 제안된 객체 중심의 데이터 구동 방식이 비전 기반 모바일 매니퓰레이션의 발전을 위한 견고한 토대를 제공함을 시사합니다.