Calf-Integrated Arms for Bimanual Quadruped Loco-Manipulation

기술 요약: 이족 보행형 사족 보행 로봇의 양손 조작을 위한 종아리 통합형 암(Arms)

문제 정의
현재의 사족 보행 로코-매니퓰레이션(loco-manipulation) 설계는 조작 능력과 지지 안정성 사이에서 근본적인 트레이드오프에 직면해 있다. 몸체에 장착된 암은 높은 곳까지 도달할 수 있지만, 지면 높이의 물체를 잡기 어렵고 대개 단일 매니퓰레이터로 제한된다. 다리를 매니퓰레이터로 활용하는 설계(LocoMan 디자인 등)는 발을 지면에서 들어 올려야 하므로 지지 다각형(support polygon)을 해치거나, 뒷다리로 몸을 일으켜 세워야 하므로 베이스를 고정시켜 버린다. 결과적으로, 기존의 어떤 설계도 사족 보형의 안정적인 자세를 유지하면서 베이스가 자유롭게 이동할 수 있는 상태에서, 지면 높이의 양손 조작을 수행할 수 있게 하지 못한다. 또한, 기존 시스템은 시각 및 상태 피드백을 기반으로 장기적 과업(long-horizon tasks)을 자율적으로 시퀀싱할 수 있는 상위 수준의 플래너가 부족한 경우가 많다.

방법론
저자들은 Unitree Go2 사족 보행 로봇의 앞쪽 종아리에 매니퓰레이터를 직접 통합하는 형태학적 설계 및 제어 프레임워크를 제안한다.

• 기계적 설계: 각 앞다리는 7자유도(DoF) 시스템을 포함하도록 수정되었다. 원래의 3개 다리 관절은 보행을 위해 유지되며, 4개의 새로운 관절이 매니퓰레이터를 형성한다:

  • $q_1$ (프리즘 슬라이더): 재구축된 종아리 내부에 위치한 0.105m 스트로크 슬라이더로, 비역구동(non-backdrivable) 스테퍼 모터에 의해 구동되어 지면의 물체를 들어 올린다.
  • $q_2$ (피치): 정밀한 접근 제어를 위한 회전 관절이다.
  • $q_3$ (요): 수직축을 중심으로 회전하며, 좌우 암의 작업 공간이 겹칠 수 있도록 몸체 중심선 방향으로 그리퍼를 스윕(sweep)한다.
  • $q_4$ (그리퍼): 4cm 개구부를 가진 평행 조 그리퍼이다.
    이러한 구성은 네 발이 모두 지면에 닿은 상태에서 양손으로 지면 높이의 물체를 잡을 수 있게 한다.

• 제어 아키텍처: 시스템은 두 계층의 제어 아키텍처를 채택한다:

  • 상위 수준 플래너: VLM(Vision-Language Model)인 Kimi K2.6(클라우드 API를 통해 접속)이 사전 정의된 라이브러리($S$)에서 이산적 기술(discrete skills)을 선택한다. 플래너는 머리에 장착된 RGB-D 카메라 이미지와 구조화된 월드 상태(과업 진행 플래그 추적)를 조건으로 하여 선택을 결정한다. VLM은 모든 제어 단계가 아닌, 기술의 경계(skill boundaries)에서만 쿼리된다.
  • 하위 수준 실행: 선택된 기술은 유한 상태 기계(F-S-M)를 통해 실행된다. FSM은 12개 다리 관절을 위한 학습된 보행 정책(Isaac Lab에서 PPO를 통해 학습됨)과 암 관절($q_1$–$q_3$)을 위한 3-DoF DLS(Damped Least-Squares) 역기구학(IK) 솔버를 조정한다. 그리퍼($q_4$)는 직접 명령을 받는다.
  • 인지: 파지(Grasping)는 물체에 있는 빨간색 마커를 감지하는 것에 의존한다. 깊이 기반 역투영(back-projection) 알고리즘을 통해 3D 파지 지점을 찾아내며, 이미지 경계 근처의 불완전한 감지를 필터링한다.

주요 기여
본 논문은 두 가지 주요 기여를 한다:

1. 통합 하드웨어: 사족 보행 로봇의 앞쪽 종아리에 매니퓰레이터를 통합한 설계로, 네 발의 자세를 유지하면서 양손을 이용한 지면 높이의 파지를 가능하게 한다. 이는 (몸을 일으키는 설계에 비해) 양손 작업 공간은 작아지지만, 안정성과 보행 가능한 베이스를 확보하는 트레이드오프를 취한다.
2. 자율 계획: 시각적 입력을 바탕으로 VLM을 사용하여 사전 정의된 기술 라이브러리에서 기술을 시퀀싱하는 능력을 시뮬레이션상의 장기적 양손 과업을 통해 입증하였다.

결과
설계는 세 가지 양손 과업에 대해 시뮬레이션(학습은 Isaac Lab, 평가는 MuJoCo)에서 완전히 평가되었다:

1. 장기적 캐비닛 과업: 로봇이 한 팔로 바구니를 운반하고, 다른 팔로 캐비넷 문을 연 뒤, 바구니를 안에 놓는다. VLM은 시각적 피드백을 바탕으로 기술 시퀀스(잡기, 걷기, 열기, 놓기)를 자율적으로 선택했다.
2. 협력적 양손 리프팅: 양팔이 하나의 상자 측면 손잡이를 잡고 동시에 들어 올리며, 요(yaw) 관절에 의해 제공된 작업 공간 중첩을 활용한다.
3. 팔 간 핸드오버: 왼쪽 팔이 물체를 지면에 놓지 않고 몸체 중심선에서 오른쪽 팔로 전달한다.

캐비넷 과업에서 로봇은 18.6초의 동작 시간 내에 시퀀스를 완료했다. 시스템은 깊이 센서 노이즈에 대한 강건함을 보여주었으며, 최대 10mm의 표준 편차 노이즈에서도 70~74%의 파지 성공률을 유지했다. VLM은 전체 과업 동안 단 4번만 쿼리되었으며, 지연 시간은 로봇이 안정적인 자세를 유지하는 동안 발생했다.

의의 및 한계
본 논문은 보행 안정성을 희생하거나 베이스를 고정할 필요 없이 복잡한 양손 지면 조작이 가능한 사족 보행 로봇을 시연했다는 점에서 의의를 갖는다. 하드웨어 설계가 네 발을 모두 땅에 딛은 상태에서 플래너가 장기적 과업을 수행할 수 있게 함을 강조한다.

저자들은 다음과 같은 몇 가지 한계를 명시적으로 언급했다:

• 기구학적 제약: 암에 롤(roll) 관절이 없어 그리퍼가 접근 축을 중심으로 회전할 수 없으므로, 특정 손잡이 방향을 가진 물체(예: 주전자)를 잡는 데 제한이 있다.
• 기술 라이브러리 범위: VLM은 사전 정의된 기술 중에서만 선택할 수 있으며, 새로운 행동이나 상태를 생성할 수는 없다. 새로운 지점에서 다시 잡거나, 손 안에서 회전하거나, 동적인 장애물 회피가 필요한 과업은 현재 불가능하다.
• 인지 의존성: 시스템은 파지 지점을 위한 피듀셜 마커(fiducial markers)에 의존한다. 학습된 탐지기(YOLO-World, SAM)는 현재 복잡한 물체에 대해 정밀한 파지 좌표를 제공하는 데 실패하며, 이는 향후 전용 파지 합성 네트워크가 필요함을 시사한다.
• 시뮬레이션 전용: 모든 결과는 시뮬레이션에서 도출되었다. 저자들은 물리적 프로토타입을 제작하여 심투리얼(sim-to-real) 전이를 테스트하는 것이 즉각적인 다음 단계라고 밝혔다.

저자들이 제안한 향eric 연구에는 물리적 프로토타입 제작, 마커를 대체할 파지 합성 네트워크 개발, 그리고 프리즘 슬라이더를 지팡이 형태의 보행을 위한 다리 확장 또는 물체를 로봇의 몸체 위로 들어 올리는 용도로 사용하는 등의 이차적 활용 사례 탐색이 포함된다.