Learning Reactive Dexterous Grasping via Hierarchical Task-Space RL Planning and Joint-Space QP Control

기술 요약: 계층적 작업 공간 RL 계획 및 관절 공간 QP 제어를 통한 반응형 교묘한 잡기 학습

문제 제기
다자유도 (DoF) 손으로 인한 반응형 교묘한 잡기는 하이브리드 동역학, 불연속 접촉 모드, 복잡한 마찰 상호작용으로 인해 여전히 중요한 과제로 남아 있습니다. 기존의 순차적 파이프라인 (잡기 합성, 운동 계획, 궤적 추적) 은 계산 오버헤드와 제한된 반응성으로 인해 동적이고 비구조화된 환경에서 어려움을 겪습니다. 반면, 강화 학습 (RL) 은 모델 없는 대안을 제공하지만, 단일 엔드 투 엔드 접근 방식은 세 가지 치명적인 한계에 직면해 있습니다: (1) 객체 다양성에 따라 확장성이 떨어지는 계산적으로 비용이 많이 드는 훈련; (2) 형식적 안전 보장이 부족한 예측 불가능한 행동; (3) 재훈련 없이 새로운 장애물이나 안전 제약 조건에 적응하기 어려운 낮은 조종성. 저자들은 이러한 문제들이 단일 정책이 고수준 작업 추론, 저수준 운동학적 조정, 안전 제약 조건 충족을 동시에 해결하도록 과도한 학습 부담을 지우는 데서 비롯된다고 주장합니다.

방법론
본 논문은 고수준 공간 의도와 저수준 관절 실행을 명시적으로 분리하는 하이브리드 계층적 제어 프레임워크를 제안합니다. 아키텍처는 두 개의 명확한 계층으로 구성됩니다:

1. 고수준 다중 에이전트 RL 계획기 (작업 공간):

   • 인간의 운동 제어에서 영감을 받아, 계획기는 중앙 집중식 훈련과 분산 실행 (CTDE) 프레임워크 내에서 훈련된 두 가지 전문 에이전트로 분해됩니다:
     • 팔 에이전트 ($\pi_{arm}$): 전역 수송을 담당하며, 세계 좌표계에서 원하는 손바닥 트위스트 (선형 및 각속도) 를 출력합니다.
     • 손 에이전트 ($\pi_{hand}$): 지역 조작을 담당하며, 손바닥 좌표계 기준 손끝의 원하는 선형 속도를 출력합니다.
   • 관측치: 에이전트는 명시적인 3D 메시나 사전 계산된 잡기 포즈가 필요하지 않도록 최소 부피 경계 박스 (MVBB) 로 표현된 고유 상태 및 객체 상태를 활용합니다.
   • 보상: 시스템은 행동의 부드러움을 위한 정규화와 함께 협력을 장려하는 공유 잡기 지표 및 작업 공간 리프트 보상을 사용합니다.

2. 저수준 관절 공간 제약 QP 제어기:

   • 고수준 작업 공간 속도 명령은 GPU 병렬화 2 차 계획 (QP) 솔버에 의해 처리됩니다.
   • QP 는 엄격한 제약 조건을 준수하면서 추적 오차를 최소화하여 작업 공간 속도를 실현 가능한 관절 속도 ($\dot{q}_{des}$) 로 매핑합니다:
     • 관절 위치 및 속도 한계.
     • 충돌 회피 (로봇 - 환경 및 자기 충돌).
     • 운동학적 실현 가능성.
   • QP 출력은 고주파수 PD 제어기를 통해 토크 명령으로 변환됩니다.
   • 중요하게도, QP 솔버는 RL 훈련 루프에 직접 내장되어 정책이 보상 형성을 통해 제약 조건을 피하는 것을 학습하는 대신 제어기의 물리적 제약 내에서 작동하도록 학습하도록 보장합니다.

주요 기여

1. 하이브리드 계층적 아키텍처: RL 을 명시적인 물리 기반 제어기와 결합하여 데이터 효율적인 학습, 명시적 제약 조건 처리 및 조종 가능한 행동을 가능하게 하는 프레임워크.
2. 다중 에이전트 분해: 정책을 팔 수송 (팔) 과 손가락 조작 (손) 에이전트로 분리함으로써 단일 정책보다 높은 성능과 더 빠른 수렴을 달성함을 입증, 특히 고 DoF 손의 경우 더욱 그렇습니다.
3. GPU 병렬화 QP 솔버: 다양한 팔 - 손 조작 작업에 적용 가능한 RL 훈련 파이프라인에 직접 통합된 GPU 병렬화 QP 솔버의 개발 및 오픈 소스화.
4. Zero-Shot 전이성: 명시적인 객체 모델이나 사전 계산된 포즈 없이 다양한 객체에 대한 견고한 잡기를 검증하며, 성공적인 시뮬레이션에서 실제 (sim-to-real) 전이를 달성했습니다.

실험 결과
본 프레임워크는 20 DoF 인체공학적 손 (ROBOTIS HX5-D20) 이 장착된 7 DoF 팔과 8 DoF 2-손가락 그리퍼를 사용한 광범위한 시뮬레이션 및 실제 하드웨어 실험을 통해 검증되었습니다.

• 시뮬레이션 성능: 다중 에이전트 접근 방식은 5F 손에서 81.4% 의 성공률을 달성하여 엔드 투 엔드 베이스라인 (13.2%) 및 단일 에이전트 계층적 베이스라인 (80.9%) 을 크게 능가했습니다. 또한 다른 아키텍처에 비해 우수한 포즈 추적 정확도 (위치 오차 4.2cm, 방향 오차 15.9°) 를 보여주었습니다.
• 시뮬레이션에서 실제로의 전이: 시뮬레이션에서만 훈련된 정책은 미세 조정 없이 실제 하드웨어에 배포되었습니다. 이는 변형 가능한 품목을 포함하여 보지 못한 26 개 객체 중 22 개를 성공적으로 잡아 올렸습니다.
• 반응형 견고성: 하드웨어 실험은 시스템이 접근 중 스프레이 병이 밀려나는 것과 같은 예기치 않은 물리적 방해를 극복하고, 작업 공간 궤적을 지속적으로 재계산하여 이동된 변형 가능한 객체 (장난감 스로스) 를 다시 잡는 능력을 입증했습니다.
• 조종성: 이 프레임워크는 Zero-Shot 조종성을 지원합니다. 운영자는 정책을 재훈련하지 않고도 안전 마진 (예: 관절 속도 한계) 을 동적으로 조정하거나 장애물 회피를 위한 반발 잠재력장을 추가할 수 있습니다.

의의 및 주장
저자들은 작업 공간 의사 결정과 저수준 실행의 이러한 구조적 격리가 순수 RL 접근 방식의 핵심 한계를 해결한다고 주장합니다. 물리 기반 QP 가 다루기 쉬운 제약 조건 (운동학, 안전) 을 처리하도록 함으로써, RL 정책은 고수준 전략적 추론에 전념할 수 있게 됩니다. 이 설계는 다음과 같은 이점을 제공합니다:

• 학습 부담 감소 및 상충되는 보상 신호 회피를 통한 훈련 수렴 가속화.
• 확률적 보상 형성 대신 결정론적 제약 조건 강제를 통한 하드웨어 안전 보장.
• 훈련 후 안전 마진 및 장애물 회피 전략의 동적 조정을 가능하게 하는 Zero-Shot 조종성 개방.
• 거친 공간 정보 (MVBB) 만을 사용하여 물리적 방해에 반응하고 보지 못한 객체 기하학에 일반화할 수 있는 비구조화된 환경에서의 견고성 입증.

본 논문은 이 하이브리드 접근 방식이 학습 기반 방법의 적응성과 모델 기반 제어의 안전 보장 사이의 간극을 메워 반응형 교묘한 조작을 위한 확장 가능한 솔루션을 제공한다고 결론지었습니다.