1. 문제 정의 (Problem Statement)

• 배경: 4 발 보행 로봇 (Quadrupedal Robots) 은 화재 구조, 산업 점검 등 복잡한 지형에서 높은 민첩성과 속도로 이동해야 하는 실용적 응용 분야가 많습니다.
• 현황 및 한계: 기존 민첩한 항법 (Agile Navigation) 연구는 주로 단일 목표 도달 (Single-goal reaching) 에 초점을 맞추었습니다. 로봇이 목표 지점에 도달한 후 그곳에 머무르도록 보상 (Reward) 을 주는 방식입니다.
• 핵심 문제: 이러한 방식은 연속된 목표 (Sequential goals) 를 통과해야 하는 상황, 즉 빠른 속도로 방향을 전환해야 할 때 비효율적인 '정지 - 출발 (Stop-and-go)' 행동을 유발합니다.
  • 로봇이 각 목표 지점에 도달할 때마다 속도를 줄이고 멈추는 경향이 있어 전체 이동 시간이 증가합니다.
  • 급격한 방향 전환 시 예측 없이 속도를 유지하다 보면 불안정해지거나 넘어질 위험이 있습니다.
  • 기존 제어기는 외부에서 속도나 요 (Yaw) 명령을 입력받아야 하거나, 목표 전환 시 다음 동작을 미리 예측 (Anticipation) 하지 못합니다.

2. 제안 방법론 (Methodology: SmoothTurn)

저자들은 연속적 지역 항법 (Sequential Local Navigation) 과제를 정의하고, 이를 해결하기 위한 학습 기반 제어 프레임워크인 SmoothTurn을 제안했습니다.

가. 연속 목표 도달 보상 (Sequential Goal-Reaching Reward)

• 기존 단일 목표 보상은 목표 도달 시 정지를 유도하지만, SmoothTurn 은 연속적인 진행을 장려합니다.
• 보상 함수: 현재 목표와 다음 목표들을 순차적으로 통과하는 과정에서 정지하지 않고 지속적으로 전진하도록 설계되었습니다.
  • $r_{t}^{seq}$는 현재 도달한 목표의 개수와 현재 목표에 대한 오차에 기반하여 부드럽게 증가합니다.
  • 목표 전환 시 보상이 급격히 떨어지지 않도록 하여, 로봇이 중간 지점에서 멈추지 않고 관성을 유지하며 다음 목표로 이동하도록 유도합니다.

나. 자동 목표 커리큘럼 (Automatic Goal Curriculum)

• 학습 초기에는 쉬운 목표 (직선, 짧은 거리) 로 시작하여, 로봇의 성공률에 따라 목표의 난이도 (회전 각도 $\Delta\theta$, 이동 거리 $\ell$) 를 점진적으로 증가시킵니다.
• 성공률이 일정 임계값 (80%) 을 넘으면 난이도를 높이고, 실패율이 높으면 (20% 미만) 난이도를 낮추는 동적 조정을 수행합니다.

다. Lookahead 관찰 공간 (Lookahead Observation Space)

• 미리보기 (Lookahead): 로봇이 현재 목표뿐만 아니라 앞으로 다가올 목표 (Lookahead window) 를 관찰할 수 있도록 합니다.
• 효과: 로봇은 현재 목표에 도달하기 전에 다음 목표의 위치와 방향을 미리 인지하여, 관성 (Momentum) 을 조절하고, 미리 방향을 틀거나 (Pre-turning), 효율적인 경로를 계획할 수 있게 됩니다. 이는 단순한 경로 추적을 넘어 궤적 인식 제어 (Trajectory-aware control) 를 가능하게 합니다.

라. 시스템 구성

• 모델: Unitree Go2 4 발 보행 로봇 모델 사용.
• 학습 알고리즘: PPO (Proximal Policy Optimization) 를 Isaac Gym 시뮬레이터에서 학습.
• 관찰 공간: proprioception (관절 각도, 속도, 접촉 등) + 목표 명령어 (Lookahead 포함).
• 실제 배포: 학습된 정책은 추가적인 튜닝 없이 onboard 센서 (IMU, 관절 위치 등) 와 Jetson Orin Nano 컴퓨팅 유닛을 갖춘 실제 로봇에 직접 배포 가능.

3. 주요 기여 (Key Contributions)

1. 새로운 과제의 정의: 고속 보행 중 연속적인 목표 전환 시 부드럽게 방향을 전환하는 능력을 평가하기 위한 '연속 지역 항법 (Sequential Local Navigation)' 과제를 정립했습니다.
2. 혁신적인 RL 프레임워크:
   • 연속적인 진행을 장려하는 새로운 보상 함수.
   • 미래 목표를 예측하는 Lookahead 관찰 공간.
   • 학습 안정성을 위한 자동 커리큘럼을 통합하여 목표 전환 시 부드러운 회전 (Smooth Turn) 을 가능하게 했습니다.
3. 광범위한 검증: 시뮬레이션과 실제 4 발 로봇 (Unitree Go2) 에 대한 실험을 통해, 기존 단일 목표 기반 방법론보다 더 빠른 이동 시간, 더 부드러운 전환, 효율적인 경로 선택을 달성했음을 입증했습니다.

4. 실험 결과 (Experimental Results)

가. 시뮬레이션 결과

• 기초선 (Baseline) 대비 성능: 다양한 회전 각도 (60°, 90°, 120°, 150°) 와 지그재그 경로에서 SmoothTurn 은 Baseline 대비 약 20~30% 빠른 이동 시간을 기록했습니다.
• 낙하율 (Fallen Rate): Baseline 은 급격한 회전 시 목표 전환 조건이 느슨하면 넘어지는 경우가 많았으나, SmoothTurn 은 거의 0% 에 가까운 낙하율을 보이며 안정성을 입증했습니다.
• 완화된 조건 (Relaxed Conditions) 실험:
  • 목표 도달 조건 (위치/방향 오차 허용치) 을 완화했을 때, 로봇은 다음 목표를 향해 미리 몸을 회전하거나, 더 짧은 경로를 선택하는 등 최적화된 행동을 스스로 학습했습니다.
  • 예: $90^\circ$ 회전 시, 다음 목표를 향해 정면으로 바라보며 통과하여 불필요한 이동 거리를 줄였습니다.

나. 실제 로봇 실험 (Real-World Deployment)

• Unitree Go2 로봇에 학습된 정책을 직접 적용하여 실내 사무실 환경에서 테스트했습니다.
• 시뮬레이션 결과와 일관되게, SmoothTurn 은 Baseline 보다 모든 회전 작업에서 평균 이동 시간을 단축했습니다 (예: $90^\circ$ 회전 시 7.14 초 $\to$ 5.98 초).
• 로봇은 고속으로 이동하면서도 코너를 부드럽게 돌고, 관성을 유지하며 다음 목표로 이동하는 모습을 보여주었습니다.

다. 분석 (Ablation Study)

• Lookahead 제거: Lookahead 창 ($n=1$) 을 제거하면 성능이 크게 저하되어, 미래 목표 예측이 부드러운 회전 학습에 필수적임을 확인했습니다.
• 커리큘럼 제거: 난이도 조절 없이 처음부터 어려운 목표부터 학습하면 학습이 수렴하지 않고 로봇이 자주 넘어졌습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 실제 환경에서 4 발 로봇의 민첩성을 극대화하기 위해서는 단순히 직선 주행 속도가 중요한 것이 아니라, 목표 전환 시의 관성 제어와 예측 능력이 핵심임을 강조했습니다.
• 자율적 행동 학습: 명시적으로 "미리 회전하라"거나 "관성을 유지하라"는 보상을 주지 않았음에도, 연속 보상 구조와 Lookahead 관찰을 통해 로봇이 자율적으로 이러한 고급 행동을 학습했습니다.
• 향후 전망: 이 프레임워크는 전역 계획기 (Global Planner) 와 외부 센서 (LiDAR, 비전) 와 결합하여, 장애물 회피 및 동적 환경에서의 고속 항법으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, SmoothTurn은 4 발 로봇이 연속된 목표 지점을 통과할 때 멈추지 않고 부드럽게 방향을 전환하며 고속으로 이동할 수 있도록 하는 획기적인 학습 기반 제어 프레임워크입니다.