Online Learning-Enhanced High Order Adaptive Safety Control

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 제어 장벽 함수 (Control Barrier Functions, CBF) 는 시스템의 안전성을 수학적으로 보장하는 강력한 도구로, 최적화 기반 제어 및 학습 기반 제어 분야에서 널리 사용되고 있습니다. 특히 고차 CBF(HOCBF) 는 기계 시스템의 상대 차수 (relative degree) 가 1 보다 큰 경우에도 안전성을 보장할 수 있습니다.
• 문제점: CBF 기반 제어기의 안전성 보장은 정확한 시스템 모델에 의존합니다. 그러나 실제 환경에서는 페이로드 변화, 바람 난류 (wind disturbances) 등 예측 불가능한 외부 요인과 모델 불일치 (model mismatch) 로 인해 안전성 보장이 무효화될 수 있습니다.
• 기존 방법의 한계:
  • 강건 CBF (Robust CBF): 불확실성의 상한을 알아야 하므로 과도하게 보수적인 (overly conservative) 제어기를 생성합니다.
  • 적응형 CBF (aCBF): 잔차 (residual) 를 선형 모델로 가정하거나 오프라인 학습을 필요로 합니다. 이는 비선형적이고 시간에 따라 변하는 (time-varying) 복잡한 잔차에는 적합하지 않으며, 학습 분포 밖의 데이터에서는 안전성 위반이 발생할 수 있습니다. 또한, 시간 미분 값을 수치적으로 계산해야 하므로 노이즈에 민감합니다.

2. 제안된 방법론 (Methodology)

저자들은 **온라인 학습이 강화된 고차 적응형 제어 장벽 함수 (NODE-HO-aCBF)**를 제안합니다. 이 방법은 지식 기반 신경 ODE (Knowledge-based Neural ODEs, KNODE) 를 활용하여 실시간으로 모델 잔차를 학습하고 안전성을 개선합니다.

• 하이브리드 모델 구조:
  • 명목 모델 (Nominal Model): 물리 법칙에 기반한 알려진 동역학 모델 (예: 이중 적분자).
  • 잔차 모델 (Residual Model): 신경망 (Neural Network) 을 사용하여 명목 모델과 실제 시스템 간의 오차 (잔차 $d(x)$) 를 학습합니다.
  • 통합: $\dot{x} = f(x) + g(x)u + \hat{d}_\theta(x)$ 형태로 결합하여 실제 동역학을 정밀하게 추정합니다.
• KNODE (Knowledge-based Neural ODEs) 활용:
  • 상태 - 제어 쌍 ($z=[x; u]$) 에서 직접 동역학 모델을 학습합니다.
  • ODE 솔버를 사용하여 예측을 수행하므로, 다양한 시간 간격으로 샘플링된 데이터 (실시간 시스템에 적합) 를 처리할 수 있습니다.
  • 물리 법칙을 기반으로 하므로 데이터 효율성이 높고, 신경망의 표현력을 통해 복잡한 비선형 잔차를 포착합니다.
• NODE-HO-aCBF 최적화 프레임워크:
  • 기존 HOCBF 의 제약을 수정하여, 신경망으로 학습된 잔차 항 ($\hat{d}_\theta$) 의 리 미분 (Lie derivative) 을 포함시킵니다.
  • QP (Quadratic Program) 문제: 원하는 제어 입력 ($u_{des}$) 과의 편차를 최소화하면서, 수정된 HOCBF 제약 조건 (안전성 조건) 을 만족하는 제어 입력 $u$를 100Hz 로 실시간 계산합니다.
• 온라인 학습 루프:
  • 시스템이 작동하는 동안 최신 상태 - 제어 데이터를 FIFO 큐에 저장합니다.
  • 신경망은 이 최신 데이터를 기반으로 잔차 모델을 지속적으로 업데이트하며, 구식 데이터는 제거하여 비정상성 (non-stationary) 환경에 적응합니다.

3. 주요 기여 (Key Contributions)

1. 학습 강화 고차 적응형 CBF (NODE-HO-aCBF): 복잡하고 시간에 따라 변하는 모델 교란 하에서도 안전성을 실시간으로 개선하는 새로운 제어 프레임워크를 제안했습니다.
2. 온라인 하이브리드 접근법: KNODE 를 활용하여 CBF 최적화 문제를 해결하고, 학습 가능한 파라미터를 100Hz 로 실시간 업데이트하며 온라인 학습을 가능하게 했습니다.
3. 실제 환경 검증: 38g 나노 쿼드콥터에 이 알고리즘을 배포하여, 18km/h 의 난류 바람 속에서도 장애물과의 안전 거리를 유지하며 비행하는 것을 실증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 결과:

  • 시나리오: "인력 (Attractive)", "반발력 (Repulsive)", "시간 변화 (Time-varying)" 등 다양한 잔차 유형을 가진 이중 적분자 시스템을 시뮬레이션했습니다.
  • 성능: 기존 HOCBF 와 HO-aCBF 는 잔차에 적응하지 못하거나 안전성 위반을 겪은 반면, 제안된 방법 (온라인 및 오프라인) 은 모든 시나리오에서 안전 영역을 벗어나지 않고 안정적으로 수렴했습니다.
  • 정량적 지표: 제안된 방법은 안전 거리 (Avg.sDist.) 가 가장 짧고, 안전 위반 시간 비율 ($h_{neg}$) 이 0% 에 가까웠으며, 안정된 궤적을 유지했습니다. 특히 시간 변화 잔차에서는 기존 방법들이 실패한 반면 제안 방법만 성공적으로 적응했습니다.
  • 효율성: 기존 HO-aCBF 는 튜닝에 민감하고 큰 히스토리 스택 사용 시 계산 부하가 커 실시간성이 떨어졌으나, 제안 방법은 100Hz 로 안정적으로 구동되었습니다.

• 물리적 실험 결과 (38g 나노 쿼드콥터):

  • 환경: 18km/h 의 난류 바람이 부는 환경에서 원형 궤적 추종 및 장애물 회피 수행.
  • 결과:
    • 온라인 모드: 바람에 노출된 후 실시간으로 모델을 학습하여 안전성을 빠르게 회복했습니다. 초기에는 학습 지연이 있었으나 시간이 지남에 따라 성능이 향상되었습니다.
    • 오프라인 모드: 사전 학습된 모델을 사용하여 처음부터 높은 안전성을 유지했습니다.
    • 비교: 기존 HOCBF 와 HO-aCBF 는 바람으로 인해 안전 거리 위반이 빈번했으나, 제안된 방법은 안전 위반 비율 ($h_{neg}$) 을 크게 줄이고 안정된 궤적을 유지했습니다.

5. 의의 및 결론 (Significance)

• 실제 적용 가능성: 이 연구는 모델 기반 제어 (CBF) 와 데이터 기반 학습 (Neural ODE) 의 장점을 결합하여, 실제 로봇 시스템에서 발생하는 예측 불가능한 환경 변화 (바람, 하중 변화 등) 에 실시간으로 적응하면서도 **형식적 안전성 보장 (Formal Safety Guarantee)**을 유지할 수 있음을 입증했습니다.
• 데이터 효율성: 순수 학습 기반 방법보다 적은 데이터로 복잡한 동역학을 학습할 수 있어, 실시간 제어 시스템에 적합합니다.
• 미래 전망: 대규모 군집 (Swarm) 로봇의 근접 비행 시나리오와 같은 고도로 복잡하고 동적인 환경에서 안전하고 안정적인 궤적 계획의 핵심 기술로 활용될 수 있습니다.

요약하자면, 이 논문은 신경 ODE 를 활용한 온라인 학습을 통해 CBF 의 안전성 보장을 실제 불확실한 환경에서도 유지하는 혁신적인 제어 프레임워크를 제시하며, 소형 드론을 통한 실증 실험으로 그 유효성을 입증했습니다.