Input-to-State Stability Certification via Projection Residuals for Koopman Learning Control of Nonlinear Repetitive Systems

기술 요약: Koopman 학습 제어를 위한 투영 잔차 기반의 입력-상태 안정성(ISS) 인증

1. 문제 정의

본 논문은 유한한 시도 호라이즌(trial horizon) 동안 작동하는 미지의 이산 시간 비선형 반복 시스템에 대한 데이터 기반 Koopman 학습 제어의 안정성 인증 문제를 다룹다. 제로 오차 수렴이나 명목상의 단조 수렴을 추구하는 고전적인 반복 학습 제어(ILC)와 달리, 본 연구는 학습-시도 축($k$)을 따르는 **실용적 입력-상태 안정성(Input-to-State Stability, ISS)**에 초점을 맞춘다.

데이터 기반 환경에서 발생하는 핵심 과제는 작은 예측 잔차(모델 적합도)가 안정성을 보장하지 않는다는 점이다. 안정성은 다음 요소들에 달려 있다:

1. 채널 정보성(Channel Informativeness): 선택된 유한 호라이즌 입출력 채널이 요청된 출력 보정을 생성할 수 있는 양의 마진(가역성)을 가져야 한다.
2. 도달 가능성(Reachability): 요청된 출력 증분이 학습된 채널의 제약된 도달 가능 집합 내에 존재해야 한다. 만약 그렇지 않다면, **투영 잔차(projection residual)**가 발생하며, 이는 지속적인 외란으로 작-용한다.
3. 지속적 섭동(Persistent Perturbations): 리셋 불일치(reset mismatch), 비반복적 외란, 채널 식별 오류, 배포 시프트(deployment shifts), 수치적 허용 오차와 같은 요인들은 시도(trial)를 거쳐도 사라지지 않는다.

본 연구의 목표는 Koopman 잔차, 투영 오차, 그리고 불확실성을 ISS 입력으로 취급하여, 초기 상태로부터 명시적인 **최종 밴드(ultimate band)**까지 학습 오차를 제한하는 결정론적 인증서를 구축하는 것이다.

2. 방법론

시스템 정식화

시스템은 시도 인덱스 $k$와 시도 내 호라이즌 $t \in \{0, \dots, N-1\}$에 따라 진화하는 비선형 반복 작업으로 모델링된다. 제어기는 매 시도마다 입력을 업데이트하기 위해 (제어 기능이 포함된 확장 동적 모드 분해, EDMDc를 통한) 동결된 Koopman 연산자 근사치를 사용한다.

학습 역학은 시도 축(trial axis) 상의 이산 시간 시스템으로 정식화된다:
$$\bar{E}_k = \Lambda \bar{E}_{k-1} + r_k$$
여기서 $\bar{E}_k$는 선택된 스택된 추적 오차이며, $\Lambda$는 $\|\Lambda\|_\infty < 1$을 만족하는 학습 행렬이고, $r_k$는 모든 섭동원을 집계한다.

인증서의 핵심 구성 요소

저자들은 섭동 항 $r_k$ (ISS 입력)를 다음과 같이 검사 가능한 특정 구성 요소들로 분해한다:

1. Koopman 잔차 ($\omega_k$): 모델 불일치 및 비반복적 외란.
2. 투영 잔차 ($p_k$): 요청된 출력 증분과 학습된 채널의 제약된 도달 가능 집합 사이의 거리. 이는 단순한 수치적 오류가 아닌 구조적 한계이다.
3. 채널 불확실성 ($\Delta G_k \Delta U_k$): 학습된 유한 호라이즌 채널 행렬의 오차.
4. 리셋/관측성 섭동 ($\Delta O_k \Delta z_{k,0}$): 초기 조건 및 관측성의 불일치.
5. 배포 시프트 및 수치적 허용 오차: 캘리브레이션 분포와 배포 분포 간의 차이 및 솔버 오차.

인증 프로토콜

본 논문은 배포 전 후보 제어기를 검증하는 거부 가능 인증 절차(Algorithm 1)를 제안한다:

1. 모델 피팅: 식별 데이터를 통해 Koopman 행렬을 학습한다.
2. 마진 검증: 선택된 채널이 양의 최소 특이값 마진($\sigma_{\min} - \epsilon > 0$)을 갖는지 확인한다. 그렇지 않으면 해당 후보는 거부된다(약한 채널의 인증 불가능성).
3. 투영 감사(Projection Audit): 인증된 요청 집합에 대한 최악의 경우의 투영 예산을 계산한다.
4. 불변성 체크: 오차가 인증된 구(ball) 내에 머물도록 보장하는 수축 조건 $\lambda R + P(R, \bar{Z}_0) + \bar{\xi} \leq R$이 성립하는지 확인한다.
5. 유한 샘플 캘리브레이션: 지정된 리스크 수준으로 전체 에피소드 잔차 점수를 바운딩하기 위해 분할 컨포멀 예측(split-conformal prediction)을 사용하여 캘리브레이션 데이터셋을 활용한다.

이론적 결과

• 정리 1 (결정론적 실용적 ISS): 채널 마진이 양수이고 섭동이 유계(bounded)라면, 학습 오차가 집계된 섭동 예산 $\bar{w}$에 대해 $\Delta_{ISS} = \bar{w} / (1-\lambda)$인 최종 밴드로 기하급수적으로 수렴함을 입증한다.
• 정리 2 (유한 샘플 ISS 예산): 컨포멀 잔차 점수를 채널 불확실성, 투영 잔차 및 배포 시프트에 대한 결정론적 바운드와 결합하여 $\bar{w}$에 대한 확률적 바운드를 제공한다.

3. 주요 기여

1. 실용적 ISS 정식화: 본 논문은 Koopman 학습 제어의 안정성을 모델 적합도와 학습 인증 가능성을 명시적으로 분리하여 시도 축을 따르는 실용적 ISS 문제로 정식화한다.
2. 안정성 객체로서의 투영 잔차: 투영 잔차와 선택된 채널의 마진을 필수적인 인증 객체로 식별한다. 이는 예측 잔차가 작더라도 채널이 약하거나 요청이 도달 불가능할 경우 안정성 인증에 실패할 수 있음을 보여준다.
3. 계산 가능한 인증서 예산: 다음을 결합하여 명시적인 최종 밴드를 구축하는 방법을 제공한다:
   • 전체 에피소드 잔차 캘리브레이션 (분할 컨포컬 방법 활용).
   • 유한 호라이즌 채널 및 리셋 마진.
   • 투영 잔차.
   • 구현 마진 (시프트, 수치적 오차).
4. 감사 프레임워크: 단순히 추적 성능을 비교하는 것이 아니라, 이론의 각 구성 요소(잔차-밴드 스케일링, 약한 채널 거부, 투영 폐쇄성, 최종 밴드 커버리지)를 검증하기 위한 수치적 감사 프레임워크를 개발한다.

4. 수치적 결과 및 검증

본 논문은 네 가지 비선형 반복 시스템(Duffing 진동자(폐루프 및 예산 감사), 3차 감쇠 진동자, 비선형 서보)에 대해 이론을 검증한다.

• 잔차-밴드 스케일링: 실험은 외란, 노이즈 또는 모델 불일치가 증가함에 따라 인증된 최종 밴드가 ISS 이득 $\gamma(s) = s/(1-\lambda)$에 따라 선형적으로 증가함을 확인하며, 이는 이론과 일치한다.
• 약한 채널 거부: 낮은 특이값을 가진 "약한" 선택 채널의 경우, 예측 잔차가 작더라도 인증서에 의해 올바르게 거부됨을 보여준다. 이는 예측 정확도만으로는 충분하지 않음을 강조한다.
• 투영 폐쇄성: 감사는 요청된 출력 보정이 인증된 후보의 도달 가능 집합 내에 머무름을 검증한다.
• 최종 밴드 커버리지: 성공적인 시도에서 관찰된 추적 오차는 이론적으로 예측된 최종 밴드 내로 진입하여 그 안에 머무른다.
• 절제 연구(Ablation Studies): "명목상" 제어기(잔차 예산이 0인 경우)는 인증에 실패하지만, 동일한 제어기가 캘리브레이션된 잔차 예산을 포함할 때 인증 가능해짐을 보여준다. 반대로, 예산을 보수적으로 부풀리면 최종 밴드는 넓어지지만 커버리지는 유지된다.

5. 의의 및 주장

본 논문은 전통적인 수렴 분석과는 구별되는, Koopman 학습 제어를 위한 실용적이고 데이터 기반인 안정성 인증서를 제공한다고 주장한다.

• 관심사의 분리: 모델 적합도(예측 잔차)와 제어 인증 가능성(채널 마진 및 도달 가능성)을 엄격하게 분리한다. 좋은 예측기가 반드시 안정적인 제어기를 보장하는 것은 아니다.
• 명시적 바운드: 점근적 결과와 달리, 이 방법은 유한 데이터, 제약 조건 및 지속적 섭동을 고려하여 배포 전 추적 오차에 대한 명시적이고 계산 가능한 최종 바운드를 제공한다.
• 비이상적 상황에 대한 강건성: 리셋 불일치, 배포 시프트 및 수치적 허용 오차를 사라지는 것으로 가정하지 않고 ISS 입력으로 명시적으로 처리한다.
• 제한된 범위: 저자들은 이 결과가 유한 호라이즌, 태스크 프로토콜 종속적인 인증서임을 강조한다. 임의의 학습된 제어기에 대한 보편적 안정성을 주장하는 것이 아니라, 정의된 프로토콜 하에서 특정 고정된(frozen) 제어 구성에 대한 엄격한 감사 경로를 제공한다.

본 연구는 Koopman 학습 제어가 모델 잔차, 투영 잔차 및 채널 마진이 별도의 검사 가능한 안정성 양량으로 보고될 때에만 안정성을 인증할 수 있다는 결론을 내린다.