Path Following and Stabilisation of a Bicycle Model using a Reinforcement Learning Approach

기술 요약: 강화 학습 접근법을 이용한 자전거 모델의 경로 추종 및 안정화

문제 정의
자전거의 운동을 제어하는 것은 속도에 따른 횡방향 안정성과 비최소 위상(non-minimal phase) 특성으로 인해 복잡한 과업이며, 이는 균형을 유지하기 위해 원치 않는 기울어짐의 방향으로 조향을 해야 하는 과정을 필요로 한다. 전통적인 제어 공학 방법론이 자전거 안정화 및 경로 추종에 널리 사용되어 왔으나, 기계 시스템에 머신러닝, 특히 강화 학습(RL)을 적용하려는 관심이 높아지고 있다. 기존 문헌에는 중요한 공백이 존재한다. 이전의 자전거 모델에 대한 RL 적용 사례들은 대개 안정화(트레일이 없거나 균형 보조 장치를 사용하는 단순화된 모델 사용) 또는 경로 추종(횡방향 안정화 무시) 중 하나에 특화되어 있었다. 또한, 기존 연구들은 표준 자전거 모델(양의 트레일을 가진 모델)에 대해 전진 속도를 제어할 수 없는 상황에서, 광범위한 속도 영역에 걸쳐 속도 의존적 안정화 정책을 유도하면서 동시에 경로 추종을 수행할 수 있는지 충분히 입증하지 못했다.

방법론
저자들은 에이전트가 가상 휘플(Whipple) 자전거 모델을 제어하는 RL 프레임워크를 제안한다. 이 모델은 양의 트레일을 가지며 특정 속도 범위(4.3–6 m/s) 내에서만 자기 안정성(self-stability)을 갖는 자전거 역학의 벤치마크 모델이다. 자전거는 4개의 강체(뒷바퀴, 앞바퀴, 뒷몸체, 핸들바)로 구성된 다물체 시스템으로 모델링되었으며, 외부 안정화 보조 장치(예: 관성 휠)는 없다.

• 제어 메커니즘: 에이전트는 오직 가상 조향각($\delta_{set}$)을 예측함으로써 작용한다. 이 각도는 뒷몸체와 포크 사이에서 작동하는 PD 제어기를 통해 조향 토크로 변환된다. 에이전트는 전진 속도를 변경할 수 없으며, 전진 속도는 2 m/s에서 7 m/s 사이에서 무작위로 설정되어, 에이전트가 조향을 담당하는 동안 사이클리스트가 속도를 제어하는 시나리오를 시뮬레이션한다.
• 상태 표현: 상태 벡터는 자전거의 최소 좌표(위치, 요(yaw), 롤(roll), 조향각 및 관련 각속도)와 경로의 프리뷰(preview) 정보를 포함한다. 경로 프리뷰는 미래 지점들에 대한 횡방향 거리의 벡터로 표현된다. 저자들은 상태 표현을 위해 요(yaw) 각도를 직접 사용하는 방식과 불연속성을 피하기 위한 단위 벡터 표현을 사용하는 두 가지 방식을 조사하였다.
• 보상 함수: 보상은 두 가지 구성 요소의 선형 결합으로 이루어진다.
  1. 경로 추종 ($\rho_y$): 에이전트가 뒷바퀴 접촉점을 경로에 가깝게 유지하도록 보상한다.
  2. 안정화 ($\rho_\phi$): 에이전트가 낮은 롤 각도를 유지하도록 보상한다.
     저자들은 선형 대 지수형 거리 패널티, 그리고 경로 추종과 안정화 사이의 가중치 변화를 포함한 다양한 보상 구성을 분석하였다.
• 학습 전략: 복잡성을 관리하기 위해 커리큘럼 학습(Curriculum Learning, CL)이 채택되었다. 학습 과정은 전진 속도, 경로 곡률(원형 요소의 반경), 경로 복잡도(다항식 세그먼트의 길이와 너비)의 초기화 구간을 점진적으로 확장하는 4단계로 나뉜다. 이를 통해 에이전트는 먼저 일정한 안정적 속도에서 기초적인 안정화를 학습한 후, 가변적인 속도와 복잡한 경로를 다루도록 된다.
• 알고리즘: 오프-폴리시(off-policy) 딥 강화 학습을 위해 Soft Actor-Critic (SAC) 알고리즘이 사용된다.

주요 기여

1. 경로 추종 및 안정화의 동시 수행: 본 연구는 RL 에이전트가 조향 입력만을 사용하여 별도의 균형 보조 장치 없이도 휘플 자전거 모델에서 경로 추종과 횡방향 안정화를 성공적으로 수행할 수 있음을 최초로 입증하였다.
2. 속도 의존적 정책: 본 연구는 RL 접근법이 저속 불안정 영역과 중속 자기 안정 영역을 모두 포함하는 광범위한 속도 범위(2 m/s ~ 7 m/s)에서 자전거를 안정화할 수 있는 속도 의존적 정책을 유도할 수 있음을 조사하고 확인하였다.
3. 커리큘럼 학습의 적용: 가변 속도 및 임의의 경로(전체 원, 슬라롬, 차선 변경 포함)의 증가하는 복잡도를 처리하기 위해 커리큘럼 학습의 적용이 필수적임을 보여주었다.
4. 설명 가능성: 저자들은 학습된 에이전트의 의사결정 과정을 분석하기 위해 SHapley Additive exPlanations (SHAP)를 활용하여, 학습된 정책을 알려진 자전거 역학의 물리적 메커니즘과 연결하였다.

결과

• 학습 성능: 제안된 설정(속도에 비례하는 프리뷰 거리 및 경로 추종을 위한 선형 보상 사용)은 다른 대안들(상수 프리뷰 거리 또는 안정화 보상의 동일 가중치 부여)에 비해 더 적은 학습 단계($< 2 \times 10^6$)를 필요로 했다. 안정화 보상($\rho_\phi$)을 동일한 가중치로 포함하는 것은 학습 진전을 방해하는 것으로 나타났다.
• 배포 성능: 제안된 설정으로 학습된 에이전트들은 테스트된 전체 속도 범위(2–7 m/s)에서 자전거를 안정화하고 경로를 추종하는 데 성공했다.
  • 무작위로 생성된 경로에서, 5회의 실행과 5가지 설정을 통한 525회의 시뮬레이션 주행 모두 낙차 없이 성공하였다.
  • 복잡한 벤치마크 경로(전체 원, 슬라롬, 차선 변경)에서 최적의 에이전트는 7 m/s에서 경로로부터 최대 평균 거리 0.09 m(휠베이스의 9%)를 기록하였고, 가장 낮은 속도인 2 m/s에서는 최대 평균 거리 0.19 m를 기록하였다.
  • 일부 개별 에이전트는 가장 낮은 속도(2 m/s)에서 특정 벤치마크 세그먼트(전체 원 및 급격한 차선 변경)에서 실패했으나, 이는 학습 커리큘럼에서 통계적으로 드문 경우였다.
• 메커니즘 분석: SHAP 값 분석 결과, 에이전트는 다음과 같은 근본적인 제어 메커니즘을 학습했음을 보여주었다.
  • 카운터 스티어링(Counter-steering): 에이전트는 기울어짐을 유발하기 위해 원하는 회전 방향과 반대되는 조향각을 정확하게 예측하였다.
  • 기울어지는 방향으로 조향(Steering into the fall): 일단 기울어지면, 에이전트는 균형을 유지하기 위해 기울어지는 방향으로 조향하였으며, 이는 롤 각도($\phi$) 및 프리뷰 지점($t_P$)과 조향 동작 간의 상관관계를 보여준다.

의의 및 주장
본 논문은 강화 학습이 자전거 역학의 비선형적이고 속도 의존적인 특성을 명시적인 제어 법칙 모델링 없이도 처리할 수 있는 전통적 제어 공학의 유효한 대안임을 주장한다. 본 연구는 에이전트가 시뮬레이션 환경과의 상호작용만을 통해 자전거 제어의 기초적인 물리적 메커니즘(카운터 스티어링 및 기울기)을 학습할 수 있음을 보여줌으로써 머신러닝과 자전거 역학 연구 사이의 간극을 메운다.

저자들은 가상 환경이 많은 경우 완벽한 경로 추종을 가능하게 하지만, 벤치마크 경로는 실제 자전거에게도 물리적으로 도전적인 기하학적 특징(예: 급격한 차선 변경)을 포함하고 있다는 점을 겸허히 언급하였다. 전진 속도를 직접 제어할 수 없는 상황에서도 에이전트가 광범위한 속도 범위에서 이러한 복잡한 경로를 탐색하는 데 성공했다는 점은, 속도가 외부 제약 조건인 로봇 시스템에서 RL의 실질적인 잠재력을 강조한다. 결론적으로, 향후 연구는 Sim-to-Real 전이를 위한 자전거 모델의 정교화와 카메라 등을 통해 실제 환경에서 경로 프리뷰 정보를 얻는 방법론 개발에 집중해야 한다고 밝히고 있다.