Robust Fall Recovery for Armless Bipedal-Wheeled Robots Via Force-Guided Learning

기술 요약: 힘 유도 학습을 통한 팔이 없는 이족 보행 휠 로봇의 견고한 낙하 회복

문제 정의
이족 보행 휠 로봇은 지형 적응성과 이동 효율성의 독특한 조합을 제공하지만, 낙하 회복 측면에서 상당한 과제에 직면해 있습니다. 인간형 로봇이나 사족 보행 로봇과 달리, 팔이 없는 이족 보형 휠 로봇은 낙하 시 안정화 힘을 생성할 상체 지지대(팔)가 없습니다. 결과적으로, 이들은 임의의 예측 불가능한 자세로부터 회복하기 위해 오로지 하체 다리 구동에만 의존해야 합니다. 기존의 데이터 기반 방법들, 특히 표준 보상 기반 강화 학습(RL)에 의존하는 방식은 이러한 맥락에서 실패하는 경우가 많습니다. 이러한 방법들은 로봇이 일어서지 못하는 "데드 포인트(dead points)"(지역 최적점)로 조기에 수렴하거나, 다양한 지형과 초기 포즈에 대해 일반화하는 데 어려움을 겪습니다. 전통적인 모델 기반 접근 방식은 실제 환경의 불확실성에 필요한 견고성을 갖추지 못하며, 표준 커리큘럼 학습(외부 지원을 휴리스틱하게 단계적으로 제거하는 방식)은 안정적인 직립 상태에 도달하기 전에 정책 붕괴(policy collapse)를 초래할 수 있습니다.

방법론: FTSR 프레임워크
저자들은 조기 수렴 문제를 해결하고 외부 지원 없이 견고한 회복을 가능하게 하기 위해 **단계별 보상을 갖춘 힘 유도 교사-학생 프레임워크(FTSR)**를 제 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 통합됩니다:

1. 제약된 정책 최적화(CPO)를 통한 힘 유도 학습:
   외부 힘을 (휴리스틱하고 실패하기 쉬운) 감쇠하는 커리큘럼으로 사용하는 대신, 저자들은 외부 보조 힘($F$)과 토크($T$)를 제약된 마르코프 결정 과정(CMDP) 내의 최적화 가능한 하드 제약 조건으로 정식화합니다.

   • 이 힘의 크기는 로봇의 실시간 질량 중심(CoM) 높이와 명시적으로 상관관계를 갖습니다.
   • CPO를 사용하여, 정책은 보상을 최대화하면서 동시에 이러한 제약 조건을 충족하도록 학습됩니다. 제약 조건은 "조여질 수 있도록(tightenable)" 설계되어, 정책이 물리적으로 실행 가능한 회복 궤적을 학습함에 따라 외부 지원에 대한 의존도를 점진적으로 줄이도록 유도합니다.
   • 이는 정책이 외부 힘이 0으로 제한될 때까지 스스로 일어서는 법을 배우게 함으로써, 쓸모없는 지역 최적점으로 조기에 수렴하는 것을 방지합니다.

2. 높이 진행형 단계별 보상:
   회복에서 보행으로의 안정적인 전환과 안정적인 학습을 보장하기 위해, 보상 함수는 로봇의 베이스 높이에 따라 세 가지 진행 단계로 구조화됩니다:

   • 상체 직립 ($r_u$): 로봇을 엎드린 자세에서 직립 자세로 유도합니다.
   • 일어서기 ($r_s$): 특정 높이를 초과하는 에이전트의 수가 임계치를 넘으면 활성화되며, 안정적인 직립 구성을 위해 하지(lower limbs)를 수축하도록 유도합니다.
   • 걷기 ($r_w$): 대다수의 에이전트가 더 높은 직립 임계치에 도달하면 활성화되며, 지속적인 이동을 촉진합니다.
   • 이 단계별 구조는 고정된 시간 기간이 아닌 에이전트 배치의 높이 통계에 따라 자동으로 전환되므로, 고정된 목표 높이로 인한 불안정성을 방지합니다.

3. 교사-학생(Teacher-Student) 아키텍처:
   프레임워크는 특권 정보(privileged information)와 고유 수용 감각(proprioceptive) 전용 실행 사이의 간극을 처리하기 위해 교사-학생 증류 방식을 채택합니다.

   • 교사(Teacher): 접촉력, 전체 신체 상태, 베이스 높이를 포함한 특권 관측값($x_t$)을 처리하여 잠재 표현(latent representations)을 생성합니다.
   • 학생(Student): 관절 위치, 속도, 중력 투영과 같은 고유 수용 감각 이력($o_{t:t-H}$)만을 사용하여 학습합니다.
   • 학생 인코더는 평균 제곱 오차(MSE)를 통해 교사의 잠재 공간을 모방하도록 학습되며, 이를 통해 배포 시에는 특권 센서 없이도 힘의 효과와 회복 역학에 대한 지식을 효과적으로 추출합니다.

주요 기여

• 힘 유도 제약: 외부 지원을 휴리스틱한 커리큘럼이 아닌 최적화 가능한 제약 조건으로 도입하여, 물리적으로 실행 가능한 궤적으로 행동을 제한함으로써 팔이 없는 로봇을 위한 견고한 회복을 가능하게 했습니다.
• 높이 진행형 보상: 에이전트 집단 통계에 따라 대상 베이스 높이를 동적으로 업데이트하는 새로운 보상 형성 메커니즘을 도입하여, 안정적인 학습과 보행으로의 원활한 전환을 보장했습니다.
• 실제 환경 검증: 다양한 초기 포즈(앞, 뒤, 옆, 데드 포인트 포즈)로부터 다양한 지형에서 팔이 없는 이족 보행 휠 로봇의 낙하 회복을 보여준 첫 번째 사례로, 이 접근 방식의 견고성과 적응성을 입증했습니다.
• 일반화 가능성: 프로토콜이 고차 자유도(23-DOF) 휴머노이드(Unitility)로 성공적으로 전이됨을 보여줌으로써, 특정 이족 보행 휠 플랫폼을 넘어선 잠재력을 확인했습니다.

실험 결과
본 방법은 시뮬레이션(IsaacGym)과 물리적 자체 개발 로봇인 "JiaRan"에서 평가되었습니다.

• 시뮬레이션: 전체 FTSR 프레임워크는 평지, 경사로, 계단 및 불규칙한 지형에서 99.8%의 회복 성공률을 달와했습니다. 절제 연구(Ablation studies)를 통해 힘 유도 제약이나 단계별 보상을 제거할 경우 성능이 크게 저하되거나 완전히 실패(일부 절제 케이스에서 성공률 0%)함을 확인했습니다. 이 방법은 3,000~4,000회 반복(iterations) 내에 힘이 없는 안정적인 정책으로 수렴했습니다.
• 실제 배포: 정책이 실제 로봇에 성공적으로 배포되었습니다. 실내 및 실외 지형(풀밭, 경사로, 자갈, 계단)에서 다양한 초기 포즈(앞, 뒤, 옆, 데드 포인트 포즈)로부터 견고하게 회복하는 모습을 보였습니다.
• 회복 후 보행: 실험을 통해 낙하 후(심지 even 발로 차인 후에도) 로봇이 즉시 명령된 이동 작업을 재개하여 완전한 운동 능력을 유지할 수 있음을 확인했습니다.
• 휴머노이드 전이: 프레임워크는 23-DOF 휴머노이드가 임의의 포즈에서 일어서도록 성공적으로 학습시켰으며, 움직임의 부드러움과 발 제어 측면에서 HoST 베이스라인보다 우수한 성능을 보였습니다.

의의 및 주장
본 논문은 FTSR 프레임워크가 기존 방법들이 지역 최적점으로 인해 조기 수렴하여 실패하기 쉬운 과제인 팔이 없는 이족 보행 휠 로봇의 낙하 회복 문제를 해결한다고 주장합니다. 외부 지원을 휴리스틱한 커리큘럼이 아닌 최적화 가능한 제약 조건으로 재정의함으로써, 저자들은 환경적 불확실성에 견고하면서도 상체 지지 없이 자율적인 회복이 가능한 정책을 달성했습니다. 이 연구는 광범위한 실제 테스트를 통해 접근 방식의 실용적인 생존 가능성을 강조하며, 학습된 전략이 더 복잡한 고차 자유도 휴머노이드 플랫폼으로 전이될 수 있음을 입증합니다.