📊 statistics

Learning to control switching nonlinear systems with Koopman operator regression

본 논문은 학습률과 부최적성에 대한 이론적 보장을 갖춘 모델 예측 제어에 사용될 선형 스위칭 예측 모델을 학습하기 위해 재생 커널 힐베르트 공간에서의 쿱만 연산자 회귀를 사용하는 유한 작용 공간을 가진 비선형 시스템을 위한 제어 프레임워크를 제안한다.

원저자: Edoardo Caldarelli, Oleksii Kachaiev, Cesare Molinari, Lorenzo Rosasco

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Edoardo Caldarelli, Oleksii Kachaiev, Cesare Molinari, Lorenzo Rosasco

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 흔들리고 예측 불가능한 막대를 손가락 위에 세우는 법을 가르치려 한다고 상상해 보십시오. 이 막대는 단순히 아래로 떨어지는 것이 아니라, 로봇이 어떻게 미는가에 따라 뒤틀리고, 회전하며, 아주 기묘하고 비직선적인 방식으로 반응합니다. 이것이 과학자들이 말하는 "비선형 시스템(nonlinear system)"이며, 수학이 매우 복잡해지기 때문에 제어하기 까다롭기로 악명 높습니다.

이 논문은 그 혼돈을 길들이는 영리한 기술을 소개합니다. 저자들은 이 복잡하고 뒤틀리는 수학을 직접 해결하려 하는 대신, 문제를 다른 차원의 세계로 "들어 올리는(lifting)" 방법을 제안합니다. 즉, 더 높은 차원의 공간으로 옮기는 것입니다. 그곳에서는 규칙이 갑자기 단순하고 직선적으로 변합니다. 마치 엉킨 실타래를 마법처럼 펼쳐서 완벽하게 곧은 선으로 만드는 것과 같습니다. 이 새로운 세계에서, 혼돈스러운 막대는 예측 가능하고 직선적으로 움직이는 물체처럼 행동합니다.

마법의 사다리: 코프만 연산자 (Koopman Operators)
이 문제를 펼치는 데 사용하는 도구는 코프만 연산자라고 불립니다. 실제 세상에서 막대의 움직임은 복잡한 곡선입니다. 하지만 이 "들어 올려진" 세계에서 움직임은 단순한 스위치와 같습니다. 로봇이 왼쪽으로 밀면 막대는 한 방향으로 움직이고, 오른쪽으로 밀면 다른 방향으로 움직입니다. 이는 마치 기차가 선택할 수 있는 몇 개의 궤도만을 가진 것과 같습니다. 저자들은 원래의 시스템이 거칠고 비선형적인 야수일지라도, 로봇이 선택할 수 있는 움직임의 집합이 제한되어 있다면, 그 행동을 완벽하게 설명하는 이러한 "궤도들"(선형 연산자)의 가족을 찾을 수 있음을 보여줍니다.

몇 번의 스냅샷으로부터 배우기
여기에는 함정이 있습니다. 로봇는 아직 궤도를 알지 못합니다. 로봇은 궤도를 배워야 합니다. 저자들은 막대의 움직임을 찍은 여러 장의 "스냅샷"을 보여줌으로써 로봇을 가르칩니다. 그들은 코프만 연산자 회귀(데이터로부터 패턴을 학습하는 세련된 방식)라는 방법을 사용하여 궤도가 정확히 어떻게 생겼는지 알아냅니다.

그들은 만약 충분한 스냅샷을 제공한다면, 로봇이 매우 높은 정확도로 이 궤도들을 배울 수 있다는 것을 수학적으로 증명했습니다. 데이터를 더 많이 입력할수록, 학습된 궤도는 실제 궤도에 더 가까워집니다. 그들은 단순히 추측한 것이 아니라, 데이터의 수가 증가함에 따라 오차가 줄어드는 구체적인 비율을 유도해 냈습니다. 예를 들어, 충분한 데이터가 있으면 다음 단계를 예측하는 오차는 특정 비율(가장 빠른 시나리오에서 $n^{-1/6}$ 에 비례)로 감소하며, 이는 모델이 점점 더 정교해짐을 의미합니다.

"앞을 내다보는" 전략: 모델 예측 제어 (Model Predictive Control)
일단 로봇이 궤도를 알게 되면, 매 순간 어떤 궤도를 탈지 결정해야 합니다. 이 논문은 **모델 예측 제어(MPC)**라는 전략을 사용합니다. 이는 마치 체스 선수가 단순히 다음 한 수를 보는 것이 아니라, 최선의 결과를 가져올 경로를 찾기 위해 머릿속으로 다음 10수 또는 15수를 시뮬레이션하는 것과 같습니다.

저자들은 로봇이 짧은 거리 앞(유한한 "예측 지평선")만을 내다보더라도 여전히 훌륭한 성과를 낼 수 있다는 것을 보여줍니다. 그들은 만약 로봇이 충분히 멀리 내다본다면(구체적으로, 시스템의 비용에서 유도된 상수 $C$ 에 비해 예측 지평 $T$ 가 충분히 크다면), 이 전략이 완벽한 무한 지평 계획만큼이나 효과적이라는 것을 증证明했습니다. "부적절성(sub-optimality)"(완벽한 계획보다 얼마나 더 나쁜가)은 로봇이 더 멀리 내다볼수록 지수적으로 감소합니다.

실수는 어떻게 처리하나?
로봇은 데이터로부터 궤도를 배웠기 때문에 작은 실수를 할 수도 있습니다. 논문은 이 문제를 정면으로 다룹니다. 저자들은 이러한 학습된, 약간 불완전한 궤도를 사용하더라도 로봇의 성능이 무너지지 않는다는 것을 보여주었습니다. 대신, 최종 비용(막대를 얼마나 잘 세웠는가)은 예측 가능한 범위 내에 머물게 됩니다. 학습 오차가 커질수록 결과도 약간 나빠지지만, 그 관계는 매끄럽고 통제 가능합니다. 그들은 단순히 이런 현상이 일어난다고 말한 것이 아니라, 학습 오차가 제어 오차로 어떻게 변환되는지를 보여주는 정확한 공식을 작성했습니다.

테스트 드라이브: 더핑 진동자 (Duffing Oscillator)
이것이 이론에 불과하지 않다는 것을 증명하기 위해, 저자들은 유명한 흔들리는 시스템인 더핑 진동자를 테스트했습니다. 그들은 두 가지 서로 다른 움직임 세트(대칭적인 힘으로 밀거나, 더 강한 "밀기" 옵션을 추가하는 것)를 사용하여 이 시스템을 제어하는 로봇을 시뮬레이션했습니다.

시뮬레이션 결과, 다음과 같은 사실을 발견했습니다:

데이터가 많을수록 도움이 된다: 훈련 스냅샷의 수를 몇 개에서 $10^6$ 개로 늘렸을 때, 로봇의 성능이 눈에 띄게 향상되었습니다.
멀리 내다볼수록 도움이 된다: "내다보는" 지평 $T$ 를 1단계에서 15단계로 늘렸을 때, 로봇은 시스템을 훨씬 더 잘 안정시켰습니다. 짧은 지평( $T=1$ )에서는 시스템이 여러 어트랙터(attractor) 주변을 방황하며 어디로 정착할지 결정하지 못했습니다. 반면 긴 지평( $T=15$ )에서는 중심부로 부드럽게 안정되었습니다.
비용 함수가 중요하다: 그들은 로봇이 무한 루프에 빠지지 않고 장기적인 미래를 고려할 수 있도록 할인 인자 $\lambda = 0.9999$ 를 포함한 특정 비용 함수를 사용했습니다.

그들이 주장하지 않는 것
이 논문이 말하지 않는 내용도 명시하는 것이 중요합니다. 저자들은 이 방법이 무한한 제어 옵션을 가진 모든 시스템에 작동한다고 주장하는 것이 아닙니다. 이들은 구체적으로 유한한 행동 집합(예: 몇 가지 위치를 가진 스위치)을 필요로 합니다. 또한, 제어 집합이 유한할 경우 시스템이 완벽하게 안정화된다고 주장하는 것도 아닙니다. 대신, 시스템이 완벽하게 0으로 수렴하기보다는 단순히 유계(bounded) 상태를 유지할 수 있다는 점을 고려하여 시간 가변적 비용을 사용합니다. 그들은 시스템이 "에르고딕(ergodic)"(시간 평균에 관한 특정 통계적 성질)이라고 가정하지 않음으로써, 기존의 접근 방식보다 더 유연한 방법을 제시했습니다.

핵론 (The Bottom Line)
저자들은 복잡한 현실 세계의 비선형적 혼돈과 깔끔한 선형 수학 사이에 다리를 놓았습니다. 그들은 문제를 "들어 올리고", 데이터로부터 규칙을 학습하며, 스마트한 "내다보기" 전략을 사용함으로써 복잡한 시스템을 효과적으로 제어할 수 있음을 보여주었습니다. 그들은 이것이 수학적으로 작동함을 증명했고, 고전적인 흔들리는 시스템 시뮬레이션을 통해 이를 뒷받와했습니다. 비록 아직 실제 물리적인 로봇에 대해 테스트하지는 않았지만(이는 향후 과제입니다), 수학과 컴퓨터 시뮬레이션은 이 방법이 예측 불가능한 상황을 다루는 기계를 가르치는 견고하고 신뢰할 수 있는 방법임을 시사합니다.

기술 요약: Koopman 연산자 회귀를 이용한 스위칭 비선형 시스템 제어 학습

문제 정의

본 연구는 제어 공간 $U$ 가 유한한 비선형 동역학 시스템을 식별하고 제어하는 과제를 다룹니다. 시스템 동역학은 차분 방정식 $x_{t+1} = f(x_t, u_t)$ 로 기술되는 비선형 스위칭 흐름 맵 $f: X \times U \to X$ 에 의해 지배됩니다. 이러한 시스템을 제어하는 데 있어 주요 어려움은 두 가지입니다:

비선형성 및 미지의 동역학: 흐름 맵 $f$ 는 일반적으로 미지이며 비선형이므로, 무한 시계(infinite-horizon) 최적 제어 문제를 해결하는 것은 계산적으로 불가능합니다.
유한 제어 집합: 제어 집합의 유한성은 폐루프(closed-loop) 동역학이 궁극적으로 유계(bounded)될 수는 있으나 극한에서 점근적으로 안정적이지는 않게 만들어, 잠재적으로 무한한 최적 제어 비용을 초래할 수 있습니다.

이러한 문제를 해결하기 위해, 저자들은 Koopman 연산자 형식론을 활용하여 비선형 스위칭 문제를 재생 커널 힐베르트 공간(RKHS) 내의 선형 스위칭 문제로 변환하는 데이터 기반 프레임워크를 제안합니다.

방법론

1. RKHS에서의 Koopman 리프팅(Lifting)

핵심 방법론은 특징 맵 $\psi: X \to \mathcal{H}$ 를 통해 상태 공간 $X$ 를 고차원(잠재적으로 무한 차원) 관측 공간 $\mathcal{H}$ 로 리프팅하는 것입니다.

선형 스위칭 동역학: 유한 제어 집합 $U$ 에 대해, 비선형 동역학은 리프팅된 상태 $z_t = \psi(x_t)$ 에 작용하는 선형 연산자들의 가족 $\{K_u\}_{u \in U}$ 로 표현됩니다. 진화는 $z_{t+1} = K_{u_t} z_t$ 에 의해 지배됩니다.
연산자 구축: 저자들은 상태 공간의 이미지 위에 정의된 사전 Koopman 연산자를 확장함으로써 RKHS $\mathcal{H}$ 상의 Koopman 연산자 $K_u$ 를 정의합니다. 이 확장은 커널이 엄격히 양의 정해(strictly positive definite)이고, 연산자들이 $\mathcal{H}$ 의 조밀한 부분 공간 위에서 균등하게 유계(uniformly bounded)라는 가정에 의존합니다.
불변 측도의 회피: 기존 문헌과 달리, 이 접근 방식은 연산자를 정의하기 위해 불변 측도(예: 에르고딕 동역학을 위한 불변 측도)의 존재나 지식을 요구하지 않습니다.

2. 회귀를 통한 데이터 기반 식별

연산자 $K_u$ 는 미지이므로, 이를 유한한 데이터 샘플로부터 RKHS 내의 비매개변수 회귀를 사용하여 추정합니다.

학습 문제: 각 제어 $u$ 에 대해, 예측된 리프티드 상태와 관측된 다음 상태 사이의 오차를 최소화하기 위해 정규화된 연산자 값 회귀(Tikhonov 정규화) 문제를 풀어 $\hat{K}_u$ 를 학습합니다.
수렴 보장: 저자들은 근사 오차 $\|\hat{K}_u - K_u\|$ 에 대한 학습률을 도출합니다. 이 비율은 샘살 크기 $n$ , 커널 특성, 그리고 커널 기하학에 대한 타겟 연산자의 매끄러움을 정량화하는 "소스 조건(source condition)" 파라미터 $r \in (1/2, 1]$ 에 따라 달라집니다. 이 분석은 에르고드성이나 시간 가역성 가정에 의존하지 않습니다.

3. 모델 예측 제어 (MPC)

리프팅된 공간에서 무한 시계 최적 제어 문제를 해결하기 위해 저자들은 모델 예측 제어(MPC)를 채택합니다.

시변 단계 비용(Time-Varying Stage Cost): 유한한 동작으로 인한 점근적 안정성 결여를 처리하기 위해, 단계 비용 $\ell(t, z, u)$ 는 명시적으로 시변적입니다 (예: 할인 인자 포함). 이는 최적 제어 비용이 유계로 유지되도록 보장합니다.
정확한(Exact) vs 부정확한(Inexact) MPC:
- 정확한 MPC: 실제 Koopman 연산자가 알려져 있다고 가정합니다. 논문은 제어 가능성 가정이 충족될 때 서브-최적성 갭(sub-optimality gap)이 예측 호라이즌 $T$ 에 따라 지수적으로 감소함을 입증합니다.
- 부정확한 MPC: 학습된 대리 모델 $\hat{K}_u$ 를 사용합니다. 논문은 통계적 학습 오차(Koopman 회귀로부터)와 MPC 알고리즘의 강건성 특성을 결합하여 서브-최적성 갭을 정량화합니다.

주요 기여

유한 제어를 위한 선형 스위칭 모델: 본 연구는 유한 제어 공간을 가진 비선형 동역학을 위해 Koopman 기반의 선형 예측 모델을 공식화하며, 다른 연구들에서 흔밀한 쌍선형(bilinear) 또는 선형 시불변(LTI) 가정을 피합니다.
수렴 경계가 있는 비매개변수 학습: 저자들은 RKHS에서의 비매개변수 회귀를 통해 이러한 Koopman 모델을 학습하는 방법을 보여줍니다. 이들은 에르고드성이나 시간 가역성에 의존하지 않는 학습 경계를 도출하여 더 일반적인 이론적 프레임워크를 제공합니다.
강건한 MPC 정식화: 유한 제어 집합을 수용하기 위해 시변 단계 비용을 갖춘 무한 시계, 무제약 최적 제어 문제를 정식화합니다. 이를 MPC로 해결하고 성능 분석을 제공합니다.
서브-최적성 분석:
- 정확한 Koopman 동역학의 경우, 호라이즌 길이 $T$ 에 따른 지수적 감소를 보여주는 서브-최적성 경계를 도출합니다.
- 학습된 (대리) 동역학의 경우, 통계적 학습 오차 $\epsilon(n, \delta)$ 와 폐루프 제어 성능을 연결하는 고확률 경계를 제공합니다. 이는 통계적 학습 이론과 강건 제어 사이의 간극을 메웁니다.
경험적 검증: 제안된 알고리즘은 Duffing 진동자 벤치마크에 구현 및 테스트되어, 예측 호라이즌과 훈련 샘플 수가 제어 성능에 미치는 영향에 대한 이론적 발견을 경험적으로 검증합니다.

결과 및 발견

학습률: 이론적 분석에 따르면, 근사된 Koopman 모델의 1단계 예측 오차는 가장 빠른 체제(소스 조건 파라미터에 따라 결정됨)에서 $O(n^{-1/6})$ 로 스케일링됩니다. 이는 지도 학습에서 발견되는 비율과 일치하며, 추정치가 정교함을 시사합니다.
MPC 성능:
- 정확한 MPC 알고리즘에 대한 서브-최적성 갭은 예측 호라이즌 $T$ 에 따라 지수적으로 감소합니다.
- 학습된 모델을 사용할 때, 서브-최적성 갭은 학습 오차 $\epsilon(n, \delta)$ 에 의존하는 항에 의해 제한됩니다. 샘플 수 $n$ 이 증가함에 따라 학습된 모델은 더 정확해지며, 폐루프 비용은 최적값에 접근합니다.
수치 시뮬레이션: Duffing 진동자에 대한 실험은 다음을 확인합니다:
- 예측 호라이즌 $T$ 를 늘리면 제어 성능이 향상되어 원점 근처에서의 안정화가 개선됩니다.
- 훈련 샘플 수 $n$ 을 늘리면 제어 비용이 감소하여 이론적 학습 경계가 유효함을 입증합니다.
- 이 방법은 대칭 및 비대칭 제어 집합 모두에서 효과적으로 작동하며, 비대칭 집합의 경우 스위칭 표면에 더 빠르게 접근함을 보여줍니다.

의의 및 주장

본 논문은 데이터 기반 Koopman 연산자를 사용하여 스위칭 비선형 시스템을 제어하기 위한 엄격한 이론적 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

이론과 실제의 연결: 통계적 학습 이론(RKHS 회귀)과 제어 이론(MPC)을 연결하여 데이터 기반 제어에 대한 증명 가능한 성능 보장을 제공합니다.
일반화: 에르고드성이나 특정 시스템 구조(예: 쌍선형성)에 대한 가정을 피함으로써, 유한 제어 입력을 가진 광범위한 비선형 시스템에 적용 가능합니다.
정량화된 강건성: 유한 데이터로부터의 추정 오차가 제어 성능으로 어떻게 전파되는지를 명시적으로 정량화하여, 학습과 제어 사이의 "고확률 브리지(high-probability bridge)"를 제공합니다.
실제 구현: 저자들은 오픈 소스 구현을 제공하며, 이론적 서브-최적성 경계가 Duffing 진동자 시뮬레이션에서 나타난 바와 같이 실제적으로 유효함을 입증합니다.

저자들은 이론적 분석이 특정 가정(예: 유계성, 소스 조건)에 의ền하고 있음을 언급하며 신중한 입장을 유지하며, 향후 연구에서 이러한 결과를 다른 샘플링 전략으로 확장하거나 특정 클래스의 비선형 시스템에 대한 가정을 검증할 수 있음을 밝힙니다. 또한, 실시간 적용을 위해서는 최적 제어에 내재된 조합 탐색(combinatorial search)에 대한 근사가 필요할 수 있음을 인정합니다.