HyReach: Vision-Guided Hybrid Manipulator Reaching in Unseen Cluttered Environments

1. 문제 정의 (Problem Statement)

기존의 로봇 매니퓰레이션은 구조화된 환경 (예: 작업대) 에 최적화되어 있으나, 농업, 재난 구호, 환경 모니터링 등 예측 불가능하고 혼잡한 (Unstructured & Cluttered) 환경에서는 다음과 같은 한계를 보입니다.

• 강성 (Rigid) 암: 정밀한 제어는 가능하지만, 좁은 공간이나 장애물이 많은 환경에서 유연성이 부족하여 충돌 위험이 높고 도달 범위가 제한적입니다.
• 연성 (Soft) 암: 높은 적응성과 안전성을 제공하지만, 모델링, 계획 (Planning), 제어의 어려움으로 인해 정밀한 위치 제어와 넓은 작업 공간 확보가 어렵습니다.
• 기존 접근법의 한계: 대부분의 연구는 환경에 대한 사전 지식 (지도, 장애물 위치 등) 을 가정하거나, 특정 환경에 대한 재학습 (Retraining) 을 요구합니다. 또한, 연성 암의 변형 기하학을 고려한 실시간 장애물 회피 프레임워크가 부재합니다.

핵심 질문: 어떻게 변형 가능한 기하학을 가진 하이브리드 암이 환경에 대한 사전 지식 없이도 혼잡하고 보이지 않는 (Unseen) 환경에서 안전하게 목표물에 도달할 수 있을까요?

2. 방법론 (Methodology)

이 논문은 시각 기반 (Vision-Guided) 하이브리드 매니퓰레이션 프레임워크를 제안하며, 크게 세 가지 단계로 구성됩니다.

A. 시스템 구성

• 하드웨어: 6 자유도 (6-DoF) 의 강성 산업용 로봇 암 (myCobot) 끝에 3 개의 구동 챔버를 가진 연성 연속체 암 (B3 Soft Continuum Arm) 을 장착한 하이브리드 시스템.
• 센싱: 암의 끝 (Tip) 에 장착된 단일 RGB 카메라와 자기 센서 (데이터 수집용).

B. 파이프라인 (Pipeline)

1. 지각 (Perception):

   • 멀티뷰 3D 재구성: 로봇이 초기 위치 주변을 탐색하며 여러 각도에서 RGB 이미지를 촬영합니다. MAST3R을 사용하여 메트릭 깊이 (Metric Depth) 를 추정하고 3D 장면을 재구성합니다.
   • 목표물 탐지: YOLO-World(오픈 월드 객체 탐지) 를 사용하여 자연어 쿼리로 목표물을 식별하고, 깊이 정보와 융합하여 3D 목표 좌표를 추정합니다.
   • 환경 모델링: 재구성된 포인트 클라우드를 Occupancy Grid(점유 격자) 로 변환하여 통과 가능 영역과 장애물을 표현합니다.

2. 경로 계획 (Path Planning with Shape Estimation):

   • 형태 인식 (Shape-Aware) 계획: 연성 암의 변형 기하학을 명시적으로 고려합니다. 상수 곡률 (Constant Curvature, CC) 모델을 사용하여 실시간으로 암의 형태를 추정합니다.
   • 비대칭 충돌 제약: 강성 링크는 완전한 충돌 회피를, 연성 부분은 **제한된 접촉 (Bounded Contact)**을 허용하는 비대칭 제약 조건을 적용합니다. 이는 연성 암의 순응성 (Compliance) 을 계획의 일부로 활용합니다.
   • 알고리즘: 수정된 RRT* 알고리즘을 사용하여 장애물을 우회하는 안전한 경로를 생성합니다.

3. 제어 (Learning-based Controller):

   • 학습 기반 제어기: 복잡한 수학적 모델링 없이, MLP(다층 퍼셉트론) 기반의 학습된 제어기를 사용합니다.
   • 입력/출력: 현재 포즈와 목표에 대한 상대적 포즈를 입력받아, 강성 관절 각도와 연성 구동 명령을 출력합니다.
   • 특징: 환경별 재학습 없이 새로운 장면으로의 일반화 (Generalization) 가 가능합니다.

3. 주요 기여 (Key Contributions)

1. 실제 환경에서의 하이브리드 도달 시연: 혼잡하고 이전에 보지 못한 (Unseen) 환경에서 오픈 월드 객체 도달이 가능한 최초의 하이브리드 매니퓰레이션 시스템입니다. 환경별 미세 조정 없이도 2cm 미만의 오차로 높은 성공률을 달성했습니다.
2. 멀티뷰 RGB 재구성을 통한 장애물 인식 계획: 깊이 센서 없이 저비용 RGB 카메라와 멀티뷰 재구성을 활용하여 실시간 장애물 회피 계획을 가능하게 했습니다. 이는 페이로드가 제한된 하이브리드 암에 적합합니다.
3. 형태 추정 (Shape Estimation) 의 중요성 증명: 계획 루프에 연성 암의 형태 추정을 명시적으로 통합함으로써, 혼잡한 환경에서의 안전성과 작업 성공률을 획기적으로 향상시켰음을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

4 가지 난이도가 다른 실제 환경 (장애물 없음, 장애물, 혼잡한 식물, 구멍 뚫린 벽) 에서 실험을 수행했습니다.

• 성공률 (Success Rate):
  • 혼잡한 환경 (Clutter): 제안된 방법 (Ours) 은 **90.9% (SR@2cm)**의 성공률을 보였으며, 이는 강성 암만 사용한 베이스라인 (54.5%) 보다 훨씬 우수합니다.
  • 구멍 통과 (Hole): 가장 어려운 환경에서도 **54.5%**의 성공률을 기록하여, 연성 암의 유연성이 필수적임을 입증했습니다.
  • 베이스라인 비교: 기존 시각 서보링 방법 (Img2Act) 은 환경별 재학습이 필요했고, 새로운 환경에서는 성능이 급격히 저하되었습니다. 반면 제안 방법은 재학습 없이도 일반화되었습니다.
• 정밀도 (Precision):
  • 모든 환경에서 평균 이동 오차 (Translation Error) 가 2cm 미만 (Hole 환경 제외 2.9cm) 으로 유지되어 정밀한 도달이 가능함을 확인했습니다.
• 형태 추정의 효과: 형태 추정을 사용하지 않은 경우 (No-Shape), 장애물과의 충돌이 빈번하여 성공률이 크게 감소했습니다 (예: Clutter 환경에서 90.9% → 54.5%).

5. 의의 및 결론 (Significance & Conclusion)

• 하이브리드 시스템의 실용성 증명: 강성 암의 정밀한 도달 범위와 연성 암의 순응성 (Compliance) 을 결합하여, 기존 단일 방식으로는 해결하기 어려운 복잡하고 혼잡한 실제 환경에서의 로봇 작업을 가능하게 했습니다.
• 오픈 월드 대응 능력: 환경 모델링이나 재학습 없이도 시각 정보와 형태 기반 계획만으로 새로운 환경에 적응할 수 있어, 농업, 재난 구호 등 동적이고 예측 불가능한 현장 적용에 큰 잠재력을 가집니다.
• 안전한 상호작용: 연성 암의 변형을 계획 단계에서 고려함으로써, 충돌을 완전히 피하는 것이 아니라 안전한 접촉을 허용하는 유연한 전략을 제시했습니다.

이 연구는 하이브리드 연속체 매니퓰레이터가 시지각 (Perception), 계획 (Planning), 제어 (Control) 가 통합된 프레임워크를 통해 비구조화된 환경에서 신뢰성 있게 작동할 수 있음을 보여주는 중요한 이정표입니다.