기술 요약: 현명한 선택: 비선형 시스템을 위한 온라인 데이터 선택 기반 데이터 구동 예측 제어

문제 정의

제어 커뮤니티는 명시적인 시스템 모델은 없지만 데이터는 가용한 비선형 시스템을 관리하고자 노력하고 있습니다. Data-enabled Predictive Control (DeePC)와 같은 데이터 구동 예측 제어(DPC) 방법들은 시스템 식별 과정을 건너뜀으로써 전통적인 모델 예측 제어(MPC)의 "모델 프리(model-free)" 대안을 제공하지만, 표준 DeePC는 선형 시불변(LTI) 가정을 기반으로 합니다. 이 가정은 일반적인 비선형 시스템에서 심각하게 위반되며, 이는 임의의 성능 저하를 초래합니다. 기존의 비선형 확장 DeePC 방식들은 다음과 같은 상당한 트레이드오프에 직면해 있습니다:

• 특정 비선형 클래스: 특정 비선형 구조에 맞춤화된 정식화는 임의의 시스템에는 존재하지 않을 수 있는 강력한 사전 지식을 강요합니다.
• 시간 창(Time-Windowed) 접근 방식: 최근의 데이터 슬라이딩 윈도우를 사용하는 방법은 완만한 비선형성과 높은 신호 대 잡음비(SNR)를 가진 시스템에서만 실용적입니다.
• 커널화/리프팅(Kernelized/Lifted) 접근 방식: 비선 nonlinear 커널이나 Koopman 연산자를 사용하여 예측기를 재구성하는 것은 종종 고차원의 비볼록(non-convex) 최적화 문제를 발생시켜, 온라인 계산 복잡성을 증가시키고 하위 최적의 결과를 초래합니다.
• 샘플링 기반 MPC: 계산 비용은 저렴하고 영차(zero-order) 정보만을 필요로 하지만, 명시적인 출력 제약 조건을 통합할 수 있는 구조화된 방법이 부족합니다.

핵심 과제는 명시적인 모델 없이도 비선형 동역학을 정확하게 포착하면서, 최적화 문제의 볼록성(convexity)을 유지하여(계산 가능성 및 명시적 제약 조건 처리를 보장하기 위해) 비선형 시스템을 위한 직접적인 데이터 구동 예측 제어 방법을 개발하는 것입니다.

방법론: Select-DPC

본 논문은 매 결정 순간 가장 관련 있는 데이터만을 선택함으로써 "궤적 공간(trajectory space)"에서 시스템 동역학을 암시적으로 선형화하는 Select-DPC(Select-Data-driven Predictive Control)를 제안합니다.

핵심 개념

Select-DPC는 재귀적 호라이즌(receding-horizon) 방식으로 작동합니다. 모든 제어 단계마다 거대한 사전 수집 데이터셋 $D$를 활용하는 대신(이는 계산적으로 불가능하며 전역적 선형성을 가정함), 알고리즘은 반복적으로 볼록 이차 계획법(Quadratic Program, QP)을 해결합니다. 솔버의 각 반복 단계에서, 알고리즘은 현재 동작 지점(operating point)과 "관련이 있는" 데이터의 부분 집합 $\tilde{D} \subset D$를 선택합니다.

궤적 공간: 각 차원이 이산 시간의 유한한 길이의 입력 또는 출력에 대응하는 고차원 공간으로 정의됩니다. 선형화는 이 공간에서 현재의 개방 루프(open-loop) 솔루션 추정치와 공간적으로 "가까운" 궤적들을 선택함으로써 달성됩니다.

알고리즘 워크플로우

1. 초기화: 개방 루프 궤적을 웜 스타트(warm-start)합니다 (예: 초기 측정값을 복제).
2. 반복적 정교화:
   • 데이터 선택: 전체 데이터셋 $D$로부터 현재 예측값 $\tilde{\tau}$와의 근접성을 기준으로 크기가 $N_{cols}$인 부분 집합 $\tilde{D}$를 선택합니다.
   • QP 해결: 새로운 제어 동작을 생성하기 위해 오직 $\tilde{D}$만을 사용하여 표준 DeePC 최적화 문제를 해결합니다.
   • 수렴: 수렴 기준(허용 오차 또는 최대 반복 횟수)이 충족될 때까지 이 과정을 반복합니다.
3. 실행: 첫 번째 제어 입력을 적용하고 호라이즌을 이동시킵니다.

데이터 선택 전략

본 논문은 관련 있는 부분 집합 $\tilde{D}$를 선택하기 위한 두 가지 방법을 제안하고 비교합니다:

1. 노름 기반 선택 (Norm-Based Selection): 현재의 개방 루프 궤적과 $D$ 내의 모든 궤적 사이의 공간적 거리(예: $L_1$ 또는 $L_2$ 노름)를 계산합니다. 가장 가까운 $N_{cols}$개의 궤적이 선택됩니다.

   • 장점: 직관적이며 구현이 효율적이고, 온라인 업데이트가 용이합니다.
   • 단단점: 고차원 궤적 공간에서의 "차원의 저주"에 취약합니다.

2. 매니폴드 임베딩 기반 선택 (Manifold-Embedding-Based Selection): 고차원 궤적 데이터를 측지선 거리(geodesic distance)를 보존하는 저차원 임베딩 공간으로 투영하기 위해 매니폴드 학습(특히 Isomap)을 활용합니다.

   • 장점: 차원의 저주를 완화하며, 임베딩 공간에서의 거리는 데이터 매니폴드의 고유한 비선형 구조를 더 잘 반영합니다.
   • 단점: 임베딩을 계산하기 위한 오프라인 계산 비용이 높지만(이는 일회성 비용임), 쿼리 궤적에 대한 온라인 임베딩이 필요합니다.

주요 속성

• 비용 불가지론적 (Cost-Agnostic): 데이터셋 생성은 제어 정식화와 구조적으로 독립적입니다. 비용 함수와 제약 조건을 사후적으로(a posteriori) 수정할 수 있어, 새로운 데이터 수집 없이 새로운 작업에 제로샷(zero-shot) 적용이 가능합니다.
• 볼록성 (Convexity): 예측기를 국부적으로 선형인 데이터 부분 집합으로 제한함으로써, 커널화 또는 리프팅 방식이 흔히 비볼록(non-convex)해지는 것과 달리 결과적인 최적화는 볼록한 QP로 유지됩니다.
• 암시적 선형화: 모델 기반 MPC의 순차적 이차 계획법(SQP)과 유사하게, Select-DPC는 명시적 모델의 자코비안(Jacobian) 대신 데이터를 사용하여 궤적 공간에서 반복적인 선형화를 수행합니다.

주요 기여

1. Select-DPC 도입: 궤적 공간에서 데이터 선택을 통해 암시적 선형화를 달성하고 볼록 최적화를 유지하는 비선형 시스템을 위한 직접적인 데이터 구동 예측 제어기를 제안했습니다.
2. 데이터 선택 방법: 고차원 비선형 데이터를 처리하기 위한 노름 기반 방법과 매니폴드 임베딩 기반 방법(Isomap)이라는 두 가지 뚜렷한 선택 메커니즘을 제안하고 비교했습니다.
3. 경험적 검증: 세 가지 벤치마크 비선형 시스템에 대해 표준 DeePC 및 Time-Windowed DeePC보다 우수한 Select-DPC의 성능을 입증했습니다:
   • 평면 로켓 착륙 (개방 루프 불안정 시스템).
   • 평면 로봇 매니퓰레이터 (Reacher).
   • 카트-폴 역진자 스윙업 (Cart-pole inverted pendulum swing-up).

결과 및 평가

실험은 세 가지 시뮬레이터(Rocket, Reacher, Cart-Pole)에서 Standard DeePC(전체 데이터셋 사용) 및 Time-Windowed DeePC를 대상으로 Select-DPC를 비교하여 수행되었습니다.

1. 재사용 가능한 로켓 착륙 (Reusable Rocket Landing)

• 성능: Standard DeePC와 Time-Windowed DeePC는 시스템을 안정화하지 못하거나 발산했습니다. Select-DPC는 로켓을 원하는 설정값(setpoint)으로 성공적으로 안정화했습니다.
• 데이터 세트: "IID 데이터"(주로 선형 동작)와 "Random Walk 데이터"(고도로 비선형적인 흥분)에 대해 테스트되었습니다.
  • IID 데이터에서 Select-DPC는 Standard DeePC에 비해 폐루프 비용을 1.9배 감소시켰습니다.
  • Random Walk 데이터에서 Standard DeePC는 안정화에 실패했으나, Select-DPC는 성공했습니다.
• 예측 정확도: 두 가지 선택 방법(Norm 및 Isomap) 모두 전체 데이터셋이나 무작위 스케칭(random sketching)을 사용하는 것보다 홀드아웃 검증 세트에서 더 낮은 누적 잔차(cumulative residuals)를 나타냈습니다.
• 계산: Select-DPC는 더 작은 QP를 해결함으로써 Standard DeePC에 비해 계산 비용을 10배 이상 줄였으며, 계산 시간은 $N_{cols}$에 대해 이차적으로 스케일링됩니다.

2. 평면 로봇 매니퓰레이터 (Reacher)

• 성능: Select-DPC는 엔드-이펙터(end-effector) 참조를 성공적으로 추적한 반면, Standard DeePC와 Time-Windowed DeePC는 수렴에 실패했습니다.
• 제약 조건: 이 방법은 사전에 알지 못하는 출력 제약 조건(예: 특정 영역 회피)을 컨트롤러나 새로운 데이터의 구조적 변경 없이 처리함으로써 제로샷 일반화 능력을 입증했습니다.
• 절제 연구 (Ablation): 무작위 스케칭은 이 환경에서 완전히 실패한 반면, 특정 부분 집합 크기($N_{cols}$)를 선택하는 것은 예측 정확도와 계산 부하 사이의 균형을 맞추는 "스윗 스팟(sweet spot)"을 보여주었습니다.

3. 카트-폴 역진자 스윙업 (Cart-Pole Inverted Pendulum Swing-Up)

• 작업: 안정적인 하향 평형 상태에서 불안정한 상향 평형 상태로 전환하는 작업입니다.
• 성능: Standard DeePC는 안정적인 평형점 주변에서 진동하며 스윙업에 실패했습니다. Select-DPC는 데이터셋의 하위 최적 데모(suboptimal demonstrations)로부터 학습하여 스윙업을 수행하고 진자를 안정화했습니다.
• 메커니즘: 컨트롤러는 단순히 단일 궤적을 복사하는 것이 아니라, 각 솔버 반복 단계에서 여러 궤적 세그먼트를 선형적으로 결려 스윙업 기동을 구성했습니다.

의의 및 주장

본 논문은 Select-DPC가 볼록 데이터 구동 제어의 계산 가능성과 비선형 시스템의 성능 요구 사항 사이의 간극을 메운다고 주장합니다. 그 의의는 다음과 같습니다:

• 명시적 제약 조건 처리: 구조화된 출력 제약 조건을 다루기 위해 어려움을 겪는 샘플링 기반 MPC나 강화학습(RL) 방법과 달리, Select-DPC는 볼록 최적화를 통해 하드 제약 조건을 강제할 수 있는 능력을 유지합니다.
• 확장성: 관련 있는 데이터를 서브샘플링함으로써 대규모 데이터셋에 대해 유리하게 스케일링되며, 전체 데이터셋을 사용하는 데 따르는 초선형적(superlinear) 해결 시간을 피합니다.
• 비선형 능력: 명시적인 모델, 복잡한 커널화, 또는 비볼록 최적화 없이도 DPC를 비선형 영역으로 확장합니다.
• 제로샷 적응성: 데이터 수집과 제어 설계의 분리는 동일한 데이터셋을 (예: 제약이 있는 경우와 없는 경우의 추적 등) 재학습 없이 다른 작업에 재사용할 수 있게 합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 계산 비용: 현재 구현은 단계당 200~400ms의 시간이 소요되어, 매우 역동적인 애플리케이션에서의 사용이 제한적입니다.
• 메모리 풋프린트: 큰 예측 호라이즌과 데이터셋은 메모리 제약을 위반할 수 있습니다.
• 하이퍼파라미터 튜닝: 만족스러운 성능을 얻으려면 하이퍼파라미터(예: $N_{cols}$, 호라이즌 길이)를 튜닝해야 하며, 다양한 작업에 걸친 이 기능의 대규모 경험적 연구는 향후 과제로 남겨두었습니다.