기술 요약: COMPASS

문제 정의

제한되고 혼잡한 환경에서의 로봇 조작은 부분 관측 가능성과 복잡한 운동학적 제약이라는 이중적 도전을 제시합니다. 이러한 공간에서는 주변 장애물이 종종 표적을 가려, 완전한 관측 가능성을 가정하는 방법들은 무효화됩니다. 동시에 매니퓰레이터의 자체 구현체와 주변 장애물은 엄격한 운동학적 제약을 부과하여 도달 가능한 작업 공간을 극도로 제한합니다. 기존 패러다임들은 이러한 딜레마를 해결하는 데 미흡합니다:

• 엔드 투 엔드 학습 방법은 종종 고정된 제 3 자 카메라 (제한된 공간에서는 사용 불가) 에 의존하며, 복잡한 장애물 상호작용에 대한 훈련 데이터가 부족합니다.
• 계획 기반 방법은 일반적으로 완전한 세계 모델과 알려진 표적 포즈를 가정하며, 목표를 발견하기 위한 능동적 탐색의 필요성을 간과합니다.

따라서 매니퓰레이터가 알려지지 않은 제한된 공간을 점진적으로 탐색하고, 안전하게 장면 이해를 구축하며, 제약된 조작을 수행할 수 있도록 하는 통합된 지각 - 운동 - 조작 접근법의 필요성이 절실합니다.

방법론: COMPASS 프레임워크

저자들은 탐색과 조작 간의 간극을 해소하도록 설계된 다단계 프레임워크인 COMPASS(능동적 감지 전략을 통한 제한 공간 조작 계획) 를 제안합니다. 이 시스템은 세 가지 연속적인 단계를 통해 작동합니다:

1. 근접 영역 인식 스캔

초기에 알려지지 않은 환경에서의 충돌 위험을 완화하기 위해, 프레임워크는 안전 중심의 스캔으로 시작합니다.

• 목표: 로봇 베이스 주변의 사전 정의된 안전 영역 내 부피 커버리지를 극대화하는 최소한의 관절 구성 집합을 찾아 로컬 충돌 지도를 구축합니다.
• 메커니즘: 로봇의 신체 구성 (베이스 및 어깨) 은 고정된 채로 손목 구성 공간이 샘플링됩니다. 탐욕적 최적화 (greedy optimization) 는 안전 영역 내의 나머지 알려지지 않은 부피를 가장 많이 커버하는 손목 경로 지점을 선택합니다. 이를 통해 로봇은 전역 탐색을 시도하기 전에 안전하게 이동할 수 있습니다.

2. 조작 유틸리티 탐색 RRT (MUE-RRT)

로컬 지도가 구축되면, 시스템은 표적을 찾기 위해 샘플링 기반 계획자를 사용합니다.

• 프론티어 감지: 시스템은 손목 장착형 깊이 이미지로 구성된 OctoMap 에서 알려진 자유 공간과 알려지지 않은 공간 사이의 경계인 프론티어를 식별합니다.
• 트리 확장: 프론티어 영역과 작업 사전 지식에 편향된 Rapidly-exploring Random Tree (RRT) 가 동적으로 구축됩니다.
• 다목적 유틸리티 함수: 다음 최적 시점 (Next-Best-View, NBV) 은 다음 요소들을 균형 있게 고려하는 유틸리티 함수 $U(x)$ 를 최대화하여 선택됩니다:
  • 정보 획득량 ($G$): 관찰 가능한 새로운 공간의 부피.
  • 탐색 관성 ($D$): 매끄럽고 연속적인 경로를 장려합니다.
  • 조작성 ($M$): 로봇이 특이점 (singularities) 에서 멀리 유지되도록 보장합니다 (요시카와 지수 사용).
  • 운동 비용 ($C$): 관절 공간에서의 경로 길이.
  • 휴리스틱 안내 ($H$): 특정 관심 지점으로의 탐색을 편향시킵니다.
• 비동기 감지: 로봇이 이동하는 동안 관찰 버퍼가 동기화된 이미지 - 포즈 쌍을 저장합니다. 감지 모델 (예: YOLO) 이 이 버퍼를 처리하여 표적을 식별함으로써, 추론 지연으로 인한 일시적인 시야 손실을 방지합니다.

3. 제약된 조작 포즈 생성

표적 감지 시, 시스템은 실현 가능한 그립 포즈를 생성합니다.

• 후보 생성: 그립 감지 네트워크 (GraspNet) 가 깊이 데이터를 기반으로 후보 그립을 생성합니다.
• 제약 최적화: 각 후보는 다음을 보장하도록 제약 최적화 문제를 통해 정제됩니다:
  • 운동학적 실현 가능성: 역운동학 해가 자유 구성 공간 ($Q_{free}$) 내에 존재합니다.
  • 접근 방향: 그립 접근 벡터가 물체의 방향과 정렬됩니다.
  • 충돌 회피: 전체 궤적 (정방향 운동학을 통해) 이 현재 지도의 자유 공간 ($M_{free}$) 내에 유지됩니다.

주요 기여

1. COMPASS 프레임워크: 제한된 공간에서의 탐색과 조작을 위한 새로운 통합 프레임워크로, 부분 관측을 가진 매니퓰레이터가 알려지지 않은 환경을 안전하게 탐색하고 제약된 조작을 수행할 수 있게 합니다.
2. MUE-RRT 계획자: 정보 획득량과 운동학적 실현 가능성 및 운동 비용을 균형 있게 최적화하는 다목적 유틸리티 함수를 통해 매끄럽고 안전한 궤적을 생성하는 조작 중심의 탐색 계획자입니다.
3. 원칙적 벤치마크: 지각 가림과 운동학적 제약을 분리하고 결합하는 네 단계의 점진적 난이도를 특징으로 하는 제한 공간 조작을 위한 체계적으로 설계된 벤치마크입니다.

실험 결과

이 방법은 시뮬레이션 (Isaac Sim) 과 프랑카 판다 (Franka Panda) 매니퓰레이터를 사용한 실제 세계 실험에서 평가되었습니다.

시뮬레이션 결과

• 성공률: 베이스라인 (고정 시점, 정보 획득량만, 기하학적 샘플링) 과 비교하여 COMPASS 는 기하학적 샘플링 탐색 (GSE) 베이스라인 대비 조작 성공률을 24.25% 높였으며, 정보 획득량 (IG) 베이스라인 대비 39.25% 높였습니다.
• 효율성: 이 프레임워크는 베이스라인 대비 평균 목표 발견 시간 (TFT) 을 24.6 초 단축했습니다.
• 운동 성능: COMPASS 는 특히 고제약 시나리오 (레벨 4) 에서 베이스라인이 유효한 운동을 찾지 못하는 경우가 빈번했음에도 불구하고, 더 높은 운동 계획 성공률 (MPSR) 과 평균 조작성 (AM) 을 유지했습니다.

실제 세계 결과

• 실제 세계의 제한된 환경 (레벨 4 시나리오) 에서 시스템은 시나리오당 10 회 시도로 전체 80% 의 성공률을 달성했습니다.
• 실패는 주로 센서 노이즈로 인한 운동 계획 실패나 탐색 정책에서의 국소 최적점 수렴에 기인했습니다.

제거 연구 (Ablation Studies)

• 근접 영역 인식: 이 단계를 비활성화하면 운동 계획 성공률이 61.2% 에서 54.7% 로, 표적 감지 성공률이 94.1% 에서 68.3% 로 감소하여 안전성에서의 결정적 역할을 확인했습니다.
• 제약된 그립 최적화: 그립 제약을 제거하면 그립 성공률이 70% 에서 20% 로 급격히 떨어지고 운동 충돌 및 물체 낙하가 크게 증가했습니다.

중요성 및 주장

이 논문은 COMPASS 가 단순한 "지각 후 운동" 파이프라인에서 진정한 통합된 지각 - 운동 - 조작 접근법으로 전환함으로써 로봇 조작의 중요한 격차를 해소한다고 주장합니다. 저자들은 이 방법이 제한 공간 작업을 위한 이러한 통합 솔루션을 제시한 최초의 방법이라고 단언합니다. 점진적인 벤치마크를 통한 체계적인 성능 평가를 통해, 이 연구는 심각한 가림과 엄격한 운동학적 제약이 특징인 환경에서의 성공을 위해서는 탐색 단계 중 조작 유틸리티를 고려하는 것이 필수적임을 입증합니다. 이 프레임워크는 기존 방법들이 실패하는 실제 세계의 제한된 환경에서 능동적 감지와 조작을 수행할 수 있음을 보여줍니다.