Unleashing the Agility of Wheeled-Legged Robots for High-Dynamic Reflexive Obstacle Evasion

Zhao 등 저자의 논문 "Unleashing the Agility of Wheeled-Legged Robots for High-Dynamic Reflexive Obstacle Evasion"에 대한 상세한 기술 요약입니다.

1. 문제 제기

바퀴 - 다리 로봇은 바퀴의 에너지 효율성과 다리의 지형 적응성을 결합하여 복잡한 환경에 이상적입니다. 그러나 고동반사적 장애물 회피(빠르게 이동하는 위협을 신속히 회피하는 것) 를 가능하게 하는 것은 다음과 같은 이유로 여전히 큰 과제로 남아 있습니다:

• 하이브리드 형태: 구름과 보행 동역학의 결합은 복잡한 제어 문제를 생성합니다.
• 비홀로노믹 제약: 바퀴는 순수한 다리 시스템에 비해 순간적인 방향 전환을 제한하는 제약을 부과합니다.
• 계산 지연: 전통적인 최적화 기반 방법 (예: 모델 예측 제어) 은 실시간 폭발적 기동을 위해 필요한 고차원 상태 공간과 전신 운동학을 처리하는 데 어려움을 겪습니다.
• 모드 혼란: 기존 프레임워크는 종종 효율적인 고속 구름과 공격적인 회피 기동 간의 원활한 전환에 실패하여 불안정성이나 충돌을 초래합니다.

2. 방법론: AWARE 프레임워크

저자들은 위협 평가와 이동 실행을 분리하도록 설계된 계층적 강화 학습 (RL) 프레임워크인 AWARE(Adaptive Wheeled-Legged Avoidance and Reflexive Evasion) 를 제안합니다.

A. 계층적 아키텍처

시스템은 두 개의 명확한 모듈로 구성됩니다:

1. 고수준 회피 정책 (플래너):
   • 입력: 로봇의 고유 감각, 장애물 상태 (위치, 속도, 반지름), 그리고 위협 수준을 정량화한 계산된 상대 접근률 (RAR) ($\kappa$).
   • 기능: 원하는 속도 명령 ($v_{cmd}$) 을 생성하고 Gumbel-Softmax 분포를 통해 명시적으로 회피 모드를 선택합니다.
   • 출력: 명령을 두 개의 저수준 전문가 중 하나로 라우팅하는 원-핫 (one-hot) 벡터.
2. 저수준 듀얼 모드 이동 제어기 (실행기):
   • 전문가 1 ($\pi_{low}$): 비상 상황이 아닌 시나리오에서 정밀한 추적과 부드러운 항해를 위해 훈련된 저속 오모니디렉셔널 네트워크입니다. 이는 자연스럽게 구름, 보행, 하이브리드 보행법을 발현합니다.
   • 전문가 2 ($\pi_{high}$): 극한 기동 (고 가속, 제동, 점프) 을 위해 훈련된 고동반사 민첩성 네트워크입니다. 공격적인 전방 돌진과 측면 회피에 특화되어 있습니다.
   • 라우팅: 고수준 정책은 위협 수준에 따라 명령을 $\pi_{low}$ 또는 $\pi_{high}$ 중 하나로 결정적으로 라우팅합니다.

B. 2 단계 훈련 패러다임

이 프레임워크는 Isaac Lab 시뮬레이터에서 분리된 훈련 파이프라인을 활용합니다:

1. 1 단계: 저수준 전문가 사전 훈련:
   • $\pi_{low}$는 저속 오모니디렉셔널 명령으로 훈련됩니다.
   • $\pi_{high}$는 고가속 출발 및 급격한 제동 (감속 논리를 학습하기 위해 과거 명령 시퀀스 사용) 을 포함한 극한 회피 작업으로 훈련됩니다.
2. 2 단계: 고수준 커리큘럼 학습:
   • 고수준 정책은 저수준 전문가가 고정된 상태에서 훈련됩니다.
   • 커리큘럼: 성공률에 따라 장애물 속도가 점진적으로 증가합니다.
   • 보상 함수: 안전 마진과 함께 충돌 회피 (작업 성공) 를 극대화하도록 설계되었으며, 불필요한 회피 (거짓 양성), 추적 오차, 에너지 비효율성을 패널티로 부과합니다.

C. 시뮬레이션에서 실제로의 전이 (Sim-to-Real Transfer)

물리적 M20 바퀴 - 다리 로봇에 배포하기 위해 저자들은 다음을 포함하는 구조화된 도메인 랜덤화(논문 표 II) 를 적용합니다:

• 장애물 거리 및 속도.
• 로봇 베이스 초기화 (위치, 방향).
• 액추에이터 게인 (강성/감쇠) 및 외부 교란.
• 신체 매개변수 (질량, 관성, 마찰).

3. 주요 기여

1. 고동반사적 회피의 공식화: 바퀴 - 다리 로봇의 반사적 회피 문제를 정의하고, 고속에서의 비홀로노믹 제약이라는 고유한 과제를 해결했습니다.
2. 계층적 분리: 위협 인식 의사 결정을 듀얼 모드 실행과 분리하는 프레임워크를 제안하여 항해와 회피 간의 "모드 혼란"을 효과적으로 완화했습니다.
3. 발현 행동: 시스템이 표준 항해 보행법과 구별되는 전방 돌진(구름 기반) 과 측면 회피(보행 기반) 를 포함한 명확하고 행동적으로 분리된 보행법을 자연스럽게 학습함을 입증했습니다.
4. 실제 검증: 동적 위협 (상자 던지기, 막대 찌르기, 인간 발차기) 에 직면한 물리적 로봇에서 시스템을 성공적으로 배포했습니다.

4. 실험 결과

시뮬레이션 결과 (Isaac Lab)

• 성능: AWARE 는 특히 짧은 반응 시간 (<1 초) 하에서 **회피 성공률 (ASR)**과 **회피 기동 거리 (AMD)**에서 베이스라인 (REBot 및 RB-MPC) 을 크게 능가했습니다.
• 보행 분석: t-SNE 시각화는 시스템이 저속 보행법 (보행, 구름, 하이브리드) 과 고속 회피 모드 (전방 돌진, 측면 회피) 에 대한 명확한 클러스터를 학습했음을 확인했습니다.
• 결손 연구: 듀얼 모드 아키텍처를 제거하면 심각한 모드 혼란과 균형 실패가 발생했습니다. 커리큘럼 학습을 제거하면 수렴 속도가 느려졌습니다.
• 동적 지표: 구름 모드는 보행 모드에 비해 우수한 과도 탈출 가속도 (TEA)(4.13 m/s²) 및 **토크 정규화 가속도 (TNA)**를 보여주어, 폭발적인 출발에 구름이 더 효과적임을 입증했습니다.

실제 배포 (M20 플랫폼)

• 시나리오: 다양한 각도에서 던져진 상자, 찌르는 막대, 인간의 발차기에 대해 테스트했습니다.
• 성능: 평균 ASR 59% 및 AMD 1.1m를 달성했습니다.
• 관찰: 로봇은 부드러운 항해와 반사적 회피 간에 성공적으로 전환했습니다. 성공률은 하드웨어 한계 및 시뮬레이션 - 실제 간격으로 인해 시뮬레이션보다 낮았지만, 시스템은 견고한 실시간 반응 능력을 입증했습니다.

5. 의의

이 연구는 바퀴 - 다리 시스템이 밀집되고 예측 불가능하며 인간 중심적인 환경에서 안전하게 작동할 수 있도록 함으로써 로봇공학의 중요한 간극을 메웁니다.

• 민첩성: 바퀴 - 다리 로봇이 순수 바퀴 또는 순수 다리 시스템이 효율적으로 수행하기 어려운 폭발적 기동을 수행하기 위해 하이브리드 특성을 활용할 수 있음을 입증합니다.
• 안전성: 반사적 회피를 항해와 통합함으로써, 빠르게 이동하는 장애물이 흔한 도시 배송 또는 산업 검사 와 같은 동적 환경에 모바일 로봇을 배포할 수 있는 실현 가능한 경로를 제공합니다.
• 방법론적 발전: 계산 비용이 많이 드는 최적화 솔버에 의존하지 않고 복잡한 다중 모드 이동 정책을 훈련하기 위한 확장 가능한 청사진을 제공하는 커리큘럼 학습을 갖춘 계층적 RL 접근법입니다.