Safety-Constrained Optimal Control for Unknown System Dynamics

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최적 제어 (Optimal Control) 는 시스템의 물리적 동역학과 제약 조건을 만족하면서 비용 함수를 최소화하는 제어 전략을 도출하는 것을 목표로 합니다. 그러나 자율 주행과 같은 실제 응용 분야에서는 시스템 동역학이 너무 복잡하거나 정밀한 모델링 비용이 높아 **불완전한 근사 모델 (Approximate Model)**을 사용해야 합니다.
• 문제점: 모델과 실제 시스템 (Plant) 간의 불일치 (Model Mismatch) 는 성능 저하와 폐루프 시스템의 불안정성을 초래할 수 있습니다. 기존 강화 학습 (RL) 이나 적응 제어는 이러한 문제를 해결하려 하지만, RL 은 시뮬레이션과 실제 간의 격차 (Sim-to-Real gap) 를, 적응 제어는 명시적 모델 구조와 지속적 자극 (persistence of excitation) 에 의존하는 한계가 있습니다.
• 핵심 질문: "불완전한 모델에서 유도된 제어 정책이 언제 실제 시스템에 대해 최적 (Optimal) 인가?"
• 목표: 안전 제약 (Safety Constraints, 상태 및 제어 입력 포함) 이 있는 연속 시간 최적 제어 문제에서, 모델 기반의 제어 전략이 실제 시스템의 최적 제어 전략과 일치하는 구조적 조건을 규명하는 것입니다.

2. 방법론 (Methodology)

저자들은 **페널티 기반 모델 접근법 (Penalized Model-based Approach)**을 제안하며, 이를 Pontryagin 의 최소 원리 (PMP) 를 통해 분석합니다.

A. 문제 설정

• 실제 시스템 (Plant): 동역학 $\dot{\hat{x}} = \hat{f}(t, \hat{x}, u)$는 미지 (Unknown) 이며, 안전 제약 $c(t, \hat{x}, u) \le 0$을 만족해야 합니다.
• 모델 시스템 (Model): 알려진 동역학 $\dot{x} = f(t, x, u)$를 사용하며, 동일한 초기 조건과 제어 입력을 가정합니다.
• 페널티 비용 함수: 실제 상태 $\hat{x}$와 모델 상태 $x$ 간의 편차를 비용 함수에 페널티 항으로 추가합니다.
  $$J_{mod} = \int_0^T [\ell(t, x, u) + \beta(t)\|x - \hat{x}\|^2] dt + \phi(x(T))$$
  여기서 $\beta(t)$는 시간에 따른 가중치 함수입니다.

B. 해밀토니안 분석 및 최적성 조건

• 실제 시스템과 모델 기반 문제 각각에 대해 해밀토니안 (Hamiltonian) 을 구성하고 PMP 를 적용합니다.
• 핵심 통찰: 페널티 항 $\beta(t)\|x - \hat{x}\|^2$는 제어 입력 $u$에 명시적으로 의존하지 않으므로, 해밀토니안의 $u$에 대한 점별 최소화 (Pointwise Minimization) 구조에는 영향을 주지 않습니다. 대신 상태 ($x$) 와 공상태 (Costate, $\lambda$) 의 진화 방정식에만 영향을 미칩니다.

C. 동등성 (Equivalence) 조건

• 일반적 조건 (Convex Analysis): 모델 기반 해밀토니안과 실제 시스템 해밀토니안의 **부분 미분 (Subdifferential)**이 특정 조건에서 일치하면, 두 문제의 최적 제어 입력이 동일해집니다.
• 구체적 조건 (Quadratic Control Effort): 제어 입력에 대한 2 차 비용 (Quadratic cost) 과 선형 성장 조건 하에서, 다음 조건들이 만족되면 최적 제어 입력이 일치함을 증명했습니다.
  1. 상태 정렬 (State Alignment): 모델 상태와 실제 상태가 일치 ($x(t) = \hat{x}(t)$).
  2. 해밀토니안 기울기 일치: 제어 입력에 대한 해밀토니안의 기울기가 일치 ($\nabla_u \hat{H} = \nabla_u H$).
  • 이는 제어 입력 집합 $U$가 볼록 (Convex) 하고 해밀토니안이 강하게 볼록 (Strongly Convex) 할 때, 제약 조건이 활성화된 영역에서 두 시스템의 최적 제어 입력이 동일하게 도출됨을 의미합니다.

3. 주요 기여 (Key Contributions)

1. 안전 제약 하의 동등성 증명: 기존 연구 [6] 를 확장하여, 상태 및 제어 입력에 대한 안전 제약이 포함된 상황에서 모델 기반 제어와 실제 시스템 최적 제어의 동등성을 수학적으로 증명했습니다.
2. 구조적 조건 규명: 모델 불일치가 존재하더라도, 해밀토니안 최소화 문제의 구조적 특성 (Convexity, 제약 조건) 이 보존된다면 최적 제어 궤적이 일치함을 보였습니다.
3. 실제 하드웨어 검증: 이론적 결과를 검증하기 위해 실제 로봇 테스트베드 (LIMO ROS 2 로봇) 를 이용한 크루즈 컨트롤 실험을 수행했습니다.

4. 실험 결과 (Results)

• 실험 환경: 앞차와의 안전 거리 유지 (Safety Distance Constraint) 가 필요한 크루즈 컨트롤 시나리오.
  • 실제 시스템: 시간 지연 $\hat{\tau}=0.1$, 이득 $\hat{k}=1.4$.
  • 모델 시스템: 시간 지연 $\tau=0.3$, 이득 $k=1.2$ (명백한 모델 불일치 존재).
• 결과:
  • 모델 기반 페널티 제어 전략 (59 번 식) 과 실제 시스템의 최적 제어 전략 (61 번 식) 을 적용한 결과, 두 제어 입력 궤적이 거의 완전히 일치했습니다 (Fig. 2 참조).
  • 이는 해밀토니안의 기울기 ($\nabla_u H$) 는 서로 달랐음에도 불구하고, 제약 조건 ($u \in U$) 이 점별 최소화를 지배하여 최적 해가 동일한 영역으로 투영되었기 때문임을 확인했습니다.
  • 즉, 모델의 동역학 정확도보다는 최적 제어 구조의 보존이 더 중요함을 실증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 기존 학습 기반 제어 (RL 등) 가 "정확한 시스템 식별 (Exact System Identification)"에 집중하는 대신, "해밀토니안 최소화를 결정하는 구조적 특성 (Structural Properties)"을 보존하는 학습에 초점을 맞춰야 함을 시사합니다.
• 실용적 함의: 디지털 트윈 (Digital Twin) 이나 근사 모델을 사용하여도, 페널티 항을 통해 상태 추정을 보정하고 구조적 동등성 조건을 만족시킨다면 실제 시스템에 최적 제어 전략을 성공적으로 적용할 수 있음을 입증했습니다.
• 향후 연구: 확률적 시스템 (Stochastic Systems) 에 대한 분석 및 적용을 위한 연구가 진행 중입니다.

이 논문은 모델 불확실성이 존재하는 환경에서도 안전 제약 하의 최적 제어가 가능함을 이론적으로 정립하고 실험적으로 검증했다는 점에서 제어 이론 및 로봇 공학 분야에서 중요한 의의를 가집니다.