기술 요약: 실시간 상태 제약 조건이 있는 최적 제어를 위한 어드조인트 기반 신경 조절기 (Adjoint-based Neural Regulator)

1. 문제 정의

비선선형 시스템의 실시간 제약 조건 최적 제어는 로보틱스 및 자율 주행 시스템에서 중요한 과제이며, 컨트롤러가 밀리초 단위의 계산 제한 내에서 성능과 엄격한 제약 조건 준수 사이의 균형을 맞출 것을 요구합니다.

• 비선형 모델 예측 제어 (NMPC): 효과적이긴 하지만, NMPC는 매 타임 스텝마다 온라인에서 제약 조건이 있는 비선형 최적화 문제를 풀어야 합니다. 안전이 필수적인 환경이나 빠른 동역학 설정에서, 반복되는 최적화와 솔버 지연 시간은 이러한 접근 방식을 계산적으로 불가능하게 만듭니다.
• 강화 학습 (RL): RL은 오프라인 학습으로 계산을 분산시켜 빠른 온라인 추론을 제공합니다. 그러나 표준 RL 방식(예: Soft Actor-Critic)은 샘플 효율성, 분포 외(OOD) 조건에 대한 일반화, 그리고 엄격한 제약 조건 준수 측면에서 어려움을 겪는 경우가 많습니다. RL 정책에 적용되는 일반적인 안전 필터(예: 제어 장벽 함수 또는 CBF)는 명목 정책(nominal policy)이 본질적으로 문제의 최적 구조를 인코딩하지 못할 경우, 보수적이거나 공격적인 수정을 초과할 수 있습니다.

본 연구가 다루는 핵심 문제는 최적 제어의 최적 구조를 유지하면서도 제약 조건을 보장하고, NMPC의 무거운 온라인 최적화 부담 없이 학습 기반 방법의 계산 속도를 달 수 있는 제어 프레임워크를 개발하는 것입니다.

2. 방법론: 어드조인트 기반 신경 조절기 (ANR)

본 논문은 직접적인 제어 법칙 대신 신경 코-스테이트(co-state, 어드조인트) 정책을 학습하는 학습 기반 프레임워크인 **어드조인트 기반 신경 조절기 (ANR)**를 제안합니다. 이 접근 방식은 폰트랴긴 최소 원리(Pontryagin's Minimum Principle, PMP)에 근거합니다.

A. 핵심 아키텍처

프레임워크는 오프라인 학습과 온라인 배포의 두 단계로 구성됩니다.

1. 코-스테이트 파라미터화 (CoNN):

   • Co-State Neural Network(CoNN)라고 불리는 신경망은 현재 시스템 상태 $x_i$를 유한 시계(finite-horizon) 코-스테이트 궤적 $\hat{\Lambda}_i = \{\hat{\lambda}_0, \dots, \hat{\lambda}_{N-1}\}$로 매핑합니다.
   • 상태에 대한 가치 함수의 민감도를 나타내는 어드조인트 변수를 학습하는 RL과 달리, CoNN은 상태에서 어드조인트 변수로의 매핑을 학습합니다.

2. 오프라인 학습:

   • 롤아웃 (Rollout): 예측된 코-스테이트 시퀀스가 주어지면, 해밀토니안(Hamiltonian)을 각 시점별로 최소화하여 제어 입력 시퀀스를 도출합니다. 이차 비용(quadratic costs)의 경우, 이는 다음과 같은 명시적인 제어 법칙을 생성합니다: $\hat{u}^*_k = -\frac{1}{2}R^{-1}g^\top(x_k)\hat{\lambda}_k$.
   • 손실 함수: 네트워크는 세 가지 항으로 구성된 손실 함수를 사용하여 엔드 투 엔드로 학습됩니다:
     • 단계 비용 (Stage Cost): 호라이즌 동안의 누적 비용 ($\sum x^\top Q x + u^\top R u$).
     • 종단 비용 (Terminal Cost): 최종 상태에서의 비용.
     • 코-스테이트 정규화: 최소 노름(minimum-norm) 예측을 장려하기 위한 코-스테이트 궤적에 대한 $\ell_1$ 노름 페널티.
   • 손실은 네트워크 파라미터를 업데이트하기 위해 호라이즌 롤아웃을 통해 역전파됩니다.

3. 온라인 배포 (실시간 제어):

   • 각 타임 스텝 $t_k$에서, CoNN은 현재 상태 $x_k$로부터 코-스테이트 시퀀스를 예측합니다.
   • 예측된 첫 번째 코-스테이트 $\hat{\lambda}_{0|k}$가 제어 입력을 계산하는 데 사용됩니다.
   • 안전 및 타당성: 단순한 투영(projection) 대신, 제어 입력은 실시간으로 제약된 해밀토니안 최소화 문제를 푸는 방식으로 결정됩니다. 이 최적화는 다음을 포함합니다:
     • 액추에이터 한계 ($u \in \mathcal{U}$).
     • 고차 제어 장벽 함수(HOCBF)를 통해 강제되는 상태 안전 제약 조건.
   • 결과적인 제어 법칙은 다음과 같습니다:
     $$u^*_k = \arg \min_{u} (u^\top R u + \hat{\lambda}^\top_{0|k} g(x_k) u)$$
     단, 입력 제약 조건과 안전을 보장하는 HOCBF 조건을 만족해야 합니다.

3. 주요 기여

• 새로운 프레임워크: 최적성 학습(어드조인트를 통한)과 제약 조건 강제(실시간 제약 최소화)를 분리하는 ANR을 도입했습니다.
• 최적성 보존: 액션이 아닌 어드조인트를 학습함으로써, 프레임워크는 제약된 제어 문제의 간접적인 최적 구조를 명시적으로 인코딩하며, 이는 표준 RL-CBF 방식의 "명목 모델링 후 투영(nominal-then-project)"의 함정을 피합니다.
• 통합된 안전 및 타당성: 해밀토니안 최소화 단계 내에서 HOCBF를 통해 하드 상태 제약과 입력 제약을 동시에 처리하며, 복잡한 보상 엔지니어링 없이도 타당성을 보장합니다.
• 계산 효율성: 온라인 비선형 최적화를 단일 신경망 추론과 작은 이차 계획법(QP)으로 대체함으로써 NMPC와 유사한 성능을 내면서도 훨씬 적은 계산 비용을 달성합니다.

4. 실험 결과

프레임워크는 참조점을 향해 항해하면서 원형 장애물을 피해야 하는 유니사이클 로봇 모델($\dot{x} = v \cos \theta, \dot{y} = v \sin \theta, \dot{\theta} = \omega, \dot{v} = a$)에 대해 평가되었습니다. 비교 대상은 NMPC (IPOPT 사용) 및 RL (HOCBF-QP 안전 필터가 적용된 Soft Actor-Critic)입니다.

성능 지표

• 계산 속도:
  • RL: 가장 빠름 (~0.5 ms).
  • ANR: ~1.2–1.4 ms (NMPC보다 약 250배 빠름).
  • NMPC: ~350–1200 ms (시나리오 복잡도에 따라 다름).
• 일반화 (분포 외 - OOD):
  • RL: 훈련 데이터 분포 내에서도 보지 못한 초기 상태나 참조점에 대해 신뢰할 수 있는 일반화를 수행하지 못했으며, 낮은 성공률(예: 인-디스트리뷰션 테스트에서 30% 성공, OOD 테스트에서는 완전히 실패)을 보였습니다.
  • ANR: 보지 못한 시나리오(OOD 초기 상태 및 비제로 참조점 포함)에 대해 거의 변하지 않는 성능을 보였습니다. 성공률은 NMPC와 유사했습니다 (예: OOD 장애물 시나리오에서 98% 성공).
• 정확도:
  • ANR은 NMPC와 유사한 절대 수렴 오차(ACE) 및 평균 미분 제곱(MSD)을 달しまった지만, RL이 오버피팅된 인-디스트리뷰션 케이스에서는 RL보다 약간 높았습니다.
  • OOD 시나리오에서 ANR은 RL을 크게 압도했습니다 (RL은 목표 도달이나 제약 조건 준수에 실패함).

구체적 발견

• 장애물이 없는 OOD 시나리오에서 ANR은 NMPC와 대등한 성능을 보이면서도 계산 비용은 두 자릿수 낮았습니다.
• 장애물이 많은 시나리오에서 ANR은 RL이 실패한 지점에서도 높은 성공률(무작위 밀집 장애물 테스트에서 98%)을 유지했습니다.
• ANR은 RL 베이스라인이 낮은 성능 때문에 평가되지 않았던 OOD 설정에서의 비제로 참조점 추적 작업도 성공적으로 수행했습니다.

5. 의의 및 주장

본 논문은 ANR 프레임워크가 학습 기반 제어의 계산 효율성과 최적 제어 이론의 엄격한 최적성 및 안전 보장 사이의 간극을 성공적으로 메운다고 주장합니다.

• 의의: 이 방법은 반복적인 온라인 최적화가 불가능한 빠른 동역학 시스템 및 안전 필수 로보틱스와 같이 밀리초 단위의 제어 결정이 필요한 응용 분야에 대한 실행 가능한 대안을 제공합니다.
• 강건성: 표준 RL과 달리, ANR은 광범위한 보상 엔지니어링을 필요로 하지 않으며, PMP의 구조적 특성을 활용하여 보지 못한 초기 조건 및 참조점에 대해 효과적으로 일반화합니다.
• 안전성: HOCBF를 해밀토니안 최소화에 직접 통합함으로써, 프레임워크는 비최적 명목 정책에 사후적으로 적용되는 안전 필터의 구조적 한계 없이 상태 및 입력 제약의 엄격한 준수를 보장합니다.

저자들은 제안된 접근 방식이 NMPC의 성능에 필적하면서도 훨씬 적은 계산 비용으로 이를 달성한다고 결론지었습니다. 향후 연구로는 동적 장애물 및 고차원 시스템으로의 확장이 제시되었습니다.