Towards Safe Learning-Based Non-Linear Model Predictive Control through Recurrent Neural Network Modeling

논문 요약: 순환 신경망 (RNN) 기반의 안전한 학습형 비선형 모델 예측 제어 (NMPC)

1. 문제 정의 (Problem Statement)

• 배경: 비선형 모델 예측 제어 (NMPC) 는 자율 주행 차량 및 로봇과 같은 안전-중요 시스템에서 상태 및 입력 제약을 만족하면서 성능을 최적화하는 데 필수적입니다.
• 현황의 한계:
  • 온라인 계산 비용: NMPC 는 매 제어 주기마다 비선형 최적화 문제를 풀어야 하므로, 임베디드 하드웨어나 엣지 디바이스에서는 계산 부하가 너무 커서 실시간 적용이 어렵습니다.
  • 학습 기반 접근법의 결함: 기존 학습 기반 NMPC (AMPC) 는 오프라인에서 훈련된 신경망 (NN) 을 사용하여 온라인 최적화를 대체합니다. 그러나 대부분의 기존 연구는 순방향 (Feedforward) 신경망을 사용하며, 이는 다음과 같은 문제를 가집니다:
    1. 예측 구간 (Horizon) 전체를 한 번에 예측하므로 파라미터 수가 예측 길이에 비례하여 급증합니다.
    2. 시간적 의존성 (Temporal dependence) 을 명시적으로 모델링하지 못해, 분포 변화 (Distribution shift) 에 취약하고 데이터 효율성이 낮습니다.
    3. 안전 보장을 위한 안전 필터 (Safety Filter) 를 통과하지 못하는 경우가 많아, 실제 제어 시 안전성이 저하될 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 **Sequential-AMPC (Seq-AMPC)**라는 새로운 아키텍처를 제안하며, 이를 안전성 강화 오버레이 (Safety-augmented wrapper) 와 결합하여 Safe Seq-AMPC로 배포합니다.

• Seq-AMPC (순환 신경망 기반 정책):

  • 아키텍처: 기존 순방향 MLP 대신 **순환 신경망 (RNN)**을 사용하여 제어 입력 시퀀스를 생성합니다.
  • 작동 원리: RNN 은 공유 파라미터를 가진 단일 셀 (Hidden State) 을 통해 예측 구간을 재귀적으로 (Recursive) 생성합니다.
    • $h_t = \sigma(W_x x_t + W_h h_{t-1} + b_h)$
    • $\hat{u}_t = \sigma(W_y h_t + b_y)$
  • 핵심 이점:
    1. 파라미터 효율성: 예측 구간 길이 ($N$) 가 증가해도 학습 가능한 파라미터 수가 일정하게 유지됩니다 (MLP 는 $N$에 비례하여 증가).
    2. 시간적 인덕티브 바이어스 (Inductive Bias): 시스템의 동역학적 특성과 일치하는 시간적 의존성을 명시적으로 학습하여, 더 적은 데이터로도 더 나은 일반화 성능을 보입니다.

• Safe Seq-AMPC (안전성 강화 배포):

  • 학습된 Seq-AMPC 정책을 **알고리즘 1 (안전성 강화 평가 및 백업 메커니즘)**에 감쌉니다.
  • 동작 흐름:
    1. NN 이 제어 시퀀스 $\hat{u}(t)$를 예측합니다.
    2. 안전성 검증: 예측된 시퀀스가 제약 조건 (Feasibility) 을 만족하고, 기존 안전 후보 (Shifted candidate) 보다 비용 (Cost) 이 낮은지 확인합니다.
    3. 선택: 조건을 만족하면 NN 의 입력을 실행하고, 그렇지 않으면 안전한 백업 (이전 시점의 시프트된 시퀀스 + 말단 제어기) 을 실행합니다.
  • 이 구조는 NN 의 예측 실패 시에도 시스템의 안정성과 재귀적 실현 가능성 (Recursive Feasibility) 을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처 제안: NMPC 의 순차적 특성을 반영한 RNN 기반의 Seq-AMPC를 도입하여, 예측 구간 길이에 무관한 파라미터 효율성과 시간적 의존성 학습 능력을 확보했습니다.
2. 안전성 보장 프레임워크: 학습된 정책을 안전성 검증 및 백업 메커니즘과 결합하여, NN 의 오류가 시스템 안전에 치명적인 영향을 미치지 않도록 하는 Safe Seq-AMPC를 구현했습니다.
3. 데이터 효율성 및 성능 향상: 기존 순방향 AMPC 대비 **훨씬 적은 전문가 데이터 (Expert Rollouts)**와 훈련 에포크로 더 높은 개방 루프 (Open-loop) 실현 가능성과 폐루프 (Closed-loop) 안전성을 달성함을 증명했습니다.

4. 실험 결과 (Results)

Quadcopter (4 축 비행기) 와 Single-Track Vehicle (단일 트랙 차량, 운동학적/동역학적 모델) 을 포함한 여러 벤치마크에서 평가되었습니다.

• 데이터 효율성 (Quadcopter):
  • Seq-AMPC 는 AMPC 대비 약 97% 적은 훈련 에포크 (2.75k vs 100k) 로 동등하거나 더 나은 성능을 달성했습니다.
  • 훈련 데이터를 1/10 로 줄였을 때도 82.8% 의 안전성을 유지하며, 데이터 부족에 훨씬 강건했습니다.
• 개방 루프 실현 가능성 (Open-loop Feasibility):
  • 모든 벤치마크에서 Seq-AMPC 가 AMPC 보다 높은 실현 가능성 비율을 보였습니다 (예: Quadcopter 83.6% vs 72%).
• 폐루프 안전성 (Closed-loop Safety):
  • Quadcopter: 안전 주행 비율이 84.8% (AMPC) 에서 **89.1%**로 향상되었습니다.
  • 차량 모델: 동역학적 모델에서 안전 주행 비율이 54.1% 에서 **58.7%**로 개선되었습니다.
  • 학습 동역학: 복잡한 차량 모델에서 AMPC 는 검증 손실이 정체되거나 발산하여 조기 종료되는 반면, Seq-AMPC 는 검증 손실이 지속적으로 감소하며 더 안정적으로 학습했습니다.
• 실패 원인 분석:
  • 안전 백업이 발동되는 주된 원인은 '상태 제약 위반'이 아니라 **'말단 집합 (Terminal Set) 도달 실패'**와 **'비용 개선 실패'**였습니다. 이는 NN 이 제약 조건은 만족하지만, 최적 제어의 수렴 조건 (Terminal set) 을 충족하지 못하는 경우가 많음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 의의: 이 연구는 학습 기반 제어에서 **안전성 (Safety)**과 **효율성 (Efficiency)**을 동시에 해결하기 위해 RNN 의 구조적 이점을 NMPC 에 성공적으로 적용한 사례입니다. 순방향 신경망의 한계 (파라미터 폭증, 시간적 무관성) 를 극복하여, 고차원 시스템에서도 안정적인 학습을 가능하게 했습니다.
• 실용적 가치: 복잡한 비선형 시스템을 가진 임베디드 환경에서도 실시간 제어와 안전 보장을 동시에 달성할 수 있는 실용적인 프레임워크를 제시했습니다.
• 향후 과제: 현재 안전 백업 (Fallback) 이 자주 발생하는 주된 원인이 말단 집합 도달 실패이므로, 향후 연구에서는 말단 집합을 고려한 목적함수 설계나 커리큘럼 학습 등을 통해 백업 빈도를 줄이고 NN 제안의 품질을 높이는 데 초점을 맞출 예정입니다.

결론적으로, 이 논문은 RNN 기반의 순차적 정책 학습이 학습 기반 NMPC 의 신뢰성과 안전성을 획기적으로 개선할 수 있음을 입증했습니다.