기술 요약: 로봇 스쿼드 게임 (SQUID)

문제 제기

4 족 보행 로봇은 비구조화된 야외 지형에서 상당한 잠재력을 입증했으나, 터널, 동굴, 붕괴된 구조물과 같은 제한된 3 차원 환경에서의 자율적 통과 능력은 여전히 중요한 기술적 격차로 남아 있습니다. 기존 항법 전략은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

1. 과도하게 단순화된 훈련: 많은 방법론이 실제 세계의 제한된 공간의 기하학적 다양성을 포착하지 못하는 정적이거나 단순화된 환경 모델에 의존합니다.
2. 과도한 전문화: 매우 전문화된 정책은 새로운 터널 형태나 기하학적 구조를 마주할 때 상당한 재조정 (retuning) 을 요구합니다.
3. 센서 민감도: 접근 방식은 종종 감각 잡음에 민감하여 실제 세계 배포 중 성능 저하를 초래합니다.

현재 방법론들은 360 도 제한된 공간에서 천장 충돌과 측면 장애물을 피하기 위해 신체 자세, 사지 관절 운동, 환경 인식을 동시에 조정하는 데 어려움을 겪고 있습니다.

방법론: SQUID 프레임워크

본 논문은 절차적 환경 생성과 교사 - 학생 정책 증류 패러다임을 결합한 강화 학습 (RL) 프레임워크인 SQUID(Skill-fused Quadrupedal locomotion Using Imitation and Distillation, 모방과 증류를 활용한 융합형 4 족 보행) 를 소개합니다. 이 시스템은 세 단계로 운영됩니다:

1. 절차적 터널 생성

훈련 데이터의 기하학적 다양성 부족을 해결하기 위해, 저자들은 매개변수화된 변형을 가진 3 차원 터널 환경을 생성하는 물리 인식 절차적 생성기를 개발했습니다. 시스템은 조정 가능한 난이도 매개변수를 가진 네 가지 고유한 터널 클래스를 정의합니다:

• 삼각형 (△): 신체 회전이 필요한 날카로운 각도를 가진 정삼각형 단면.
• 원형 (⃝): 반지름 감소가 난이도를 높이는 균일하게 둘러싸인 구조.
• 반원 (T): 역전된 지형을 시뮬레이션하기 위해 무작위로 Z-수직 반전이 적용된 반원호.
• 간격 (⊢⊣): 안정적인 발판 선택을 도전하는 중앙의 빈 공간과 높게 솟은 측면 선반.

이러한 환경들은 난이도가 증가하는 순서로 연결되어 로봇이 고정된 경로를 암기하는 대신 광범위한 공간 제약의 분포를 경험하도록 보장합니다.

2. 특권 교사 훈련

네 가지 전문화된 "전문가" 교사 정책이 RL 프레임워크 내에서 근접 정책 최적화 (PPO) 를 사용하여 독립적으로 훈련됩니다.

• 특권 정보: 교사들은 최종 배포 로봇이 사용할 수 없는 지면 높이 맵, 천장 제약 조건과 같은 실제 환경 세부 사항 (ground-truth) 을 포함한 완전한 상태 관측성을 활용합니다.
• 관측 공간: 고유 감각 데이터 (관절 위치/속도, 기저 선형/각속도) 와 외감 지형 측정이 포함됩니다.
• 보상 함수: 속도 추적, 안정성 (수직/수평 요동 패널티), 부드러운 작동, 충돌 방지, 그리고 구조화된 보폭 타이밍을 장려하는 항들의 가중 합입니다.

3. 학생으로의 정책 증류

통합된 "학생" 정책은 네 명의 전문가 교사로부터 지식을 증류하기 위해 데이터 집계 (Dataset Aggregation, DAgger) 를 통해 훈련됩니다.

• 입력 제약: 교사들과 달리, 학생은 온보드 센싱인 깊이 이미지 (64×48 픽셀) 와 과거 고유 감각 데이터에만 의존합니다.
• 터널 조건부 증류: 훈련 중 학생은 현재 터널 클래스 라벨과 일치하는 특정 전문가 정책에 의해 지도받습니다.
• 클래스 균형 집계: 재생 버퍼는 네 가지 터널 유형 전반에 걸쳐 균형 잡힌 샘플링을 보장하여 단일 기하학에 대한 편향을 방지하고 단일 모델 내에서 전문화된 행동을 보존합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 터널 시뮬레이션 파이프라인: 기존 제한된 3 차원 훈련 데이터셋의 다양성을 초과하는 단면 비대칭성, 경사 전환과 같은 매개변수화된 기하학적 변형을 가진 3 차원 터널 환경을 생성하는 절차적 생성 시스템.
2. 터널 조건부 정책 증류: 이질적인 터널 기하학에 걸친 보행 행동을 단일 배포 가능 정책 내에서 유지하기 위해 클래스 균형 집계를 사용하는 다중 전문가 교사 - 학생 방식.
3. 실제 세계 깊이 기반 배포: 특권 시뮬레이션 정보 없이 깊이 관측과 고유 감각 입력만으로 실제 하드웨어에 성공적으로 전이된 증류된 정책을 입증하는 실험적 검증.

실험 결과

저자들은 Unitree Go2 4 족 보행 로봇에 대한 시뮬레이션 및 실제 세계 배포를 통해 SQUID 를 평가했습니다.

시뮬레이션 성능

Vanilla RL (V-RL) 기준선과 계층적 계획자 (HP) 와 비교하여 SQUID 는 우수한 성능을 입증했습니다:

• 성공률: SQUID 는 모든 터널 클래스와 난이도 수준에서 가장 높은 성공률을 달성했으며, 특히 V-RL 이 자주 실패하고 HP 가 적응형 운동에 어려움을 겪었던 까다로운 삼각형 및 간격 터널에서 두드러졌습니다.
• 효율성: SQUID 는 지나치게 신중한 HP 보다 빠른 통과 시간을 유지했으며, 불규칙한 V-RL 보다 낮은 충돌 빈도를 보였습니다.
• 에너지: 더 매끄러운 보행 전환을 보장하고 불필요한 교정 운동을 줄임으로써 더 나은 에너지 효율을 달성했습니다.

제거 실험 (Ablation Studies)

저자들은 각 구성 요소의 필요성을 검증하기 위해 제거 실험을 수행했습니다:

• 다중 전문가 대 단일 교사: 원형 터널로만 훈련된 단일 교사를 가진 학생은 비대칭 터널 (삼각형/간격) 로 일반화하지 못하여 다중 전문가 지식의 필요성을 확인했습니다.
• 절차적 생성: 고정된 비절차적 환경에서 훈련하면 예상치 못한 변형 하에서 실패하는 경직된 정책이 생성되었습니다.
• 고도 매핑: 교사에게 바닥과 천장을 포함하는 이층 고도 맵을 사용하면 수렴 문제가 발생했으며, 바닥만 있는 고도 맵이 안정적인 전략 학습에 더 효과적이었습니다.
• 보상 설계: 충돌 또는 수직 속도 패널티를 제거하면 불안정하고 위험한 행동이 초래되었습니다.

실제 세계 배포

모듈식 세그먼트 (원형, 40 도 경사의 삼각형, 간격 터널) 가 있는 통제된 터널 테스트베드에서 SQUID 정책은 다음과 같은 결과를 달성했습니다:

• 원형 터널에서 70% 성공률.
• 간격 터널에서 80% 성공률.
• 가장 까다로운 경사진 삼각형 터널에서 60% 성공률.
  이러한 결과는 깊이 잡음과 미반환 (missing returns) 이 있음에도 불구하고 정책이 실제 하드웨어로 전이될 수 있음을 확인시켜 줍니다.

중요성과 주장

본 논문은 SQUID 가 구조화된 시뮬레이션 훈련과 예측 불가능한 제한된 3 차원 공간 사이의 격차를 효과적으로 해소한다고 주장합니다. 지각 - 처리 전략을 핵심 보행에서 분리하고 교사 - 학생 아키텍처를 활용함으로써, 이 방법은 엔드 투 엔드 훈련에서 복잡한 보상 설계의 필요성을 제거하고 새로운 기하학에 대한 정책 재조정 의존도를 줄입니다.

저자들은 평가가 터널과 유사한 구조화된 기하학에 초점을 맞추고 있으며, 잔해나 암석과 같은 비구조화된 혼란 (clutter) 이나 좁은 회전 교차로 네트워크를 명시적으로 모델링하지는 않았다고 지적합니다. 그들은 이러한 비구조화된 제한된 통로를 포함하도록 절차적 생성기를 확장하는 것을 향후 작업의 방향으로 제시합니다. 이 연구는 다양한 훈련 데이터의 종합과 전문화된 전문가 기술의 증류를 통해 제한된 환경에서 견고한 4 족 보행이 가능함을 보여줍니다.