Learning Input-Constrained Funnel Controllers from State Trajectory Data

기술 요약: 상태 궤적 데이터로부터 입력 제약이 있는 퍼널 제어기 학습

문제 정의
본 논문은 하드 입력 제약(hard input constraints)을 엄격히 준수하면서 동시에 사전 정의된 성능 사양(과도 응답 및 정상 상태 동작)을 만족하는 비선형 제어-아핀 시스템(control-affine systems)의 피드백 제어기를 설계하는 과제를 다룹니다. 전통적인 규정 성능 제어(Prescribed Performance Control, PPC) 및 퍼널 제어(Funnel Control, FC) 방식은 종종 액추에이터 한계 상황에서 어려움을 겪습니다. 즉, 공격적인 성능 사양은 가용 제어 권한을 초과할 수 있고, 보수적인 설계는 성능을 희생시킬 수 있습니다. 또한, 기존의 학습 기반 접근 방식은 전문가의 정책을 재구성하기 위해 상태-입력 쌍(state-input pairs)을 필요로 하는 경우가 많으나, 많은 실제 시나리오(예: 원격 조작, 모션 캡처)에서는 대응하는 제어 입력 없이 상태 궤적 데이터만을 제공합니다. 핵심 문제는 전문가의 제어 정책을 재구성하지 않고도, 오직 상태 전용(state-only) 데이터를 사용하여 시간 가변적 성능 퍼널과 피드백 제어기를 공동으로 합성하며, 학습된 동작이 하드 액추에이터 경계 내에서 실행 가능한지 보장하는 것입니다.

방법론
저자들은 성능 퍼널과 상태 의존적 피드백 이득(gain)을 공동으로 학습하는 최적화 기반 프레임워크를 제안합니다.

1. 시스템 모델 및 가정: 시스템은 $\dot{x} = f(x) + G(x)u$로 모델링되며, 성분별 하드 입력 제약 $|u_i| \leq \bar{u}_i$를 가집니다. 이 접근 방식은 유계된 불확실성을 가진 명목 모델 $(\hat{f}, \hat{G})$와 시연된 궤적들을 포함하는 컴팩트 집합 $X_c$에 대한 접근을 가정합니다.
2. 퍼널 파라미터화: 성능 퍼널 경계 $\rho(t)$는 큐빅 B-스플라인(cubic B-splines)을 사용하여 파라미터화됩니다. 다음을 보장하기 위한 제약 조건이 부과됩니다:
   • 양의 값 유지(Positivity): 퍼널이 엄격하게 양수를 유지하도록 합니다.
   • 데이터 기반 경계: 퍼널 경계가 상태 궤적으로부터 도출된 경험적 분위수 엔벨로프($\alpha$ 및 $\beta$) 내에 위치하도록 하여, 퍼널이 이상치(outlier)에는 강건하면서도 시연의 지배적인 동작을 포착하도록 합니다.
   • 역학(Dynamics): 퍼널의 1차 및 2차 미분에 대한 제약은 매끄러움을 보장하고 수축률(contraction rate)을 제한합니다.
3. 제어기 파라미터화: 제어기는 명목 모델 보상과 학습된 상태 의존적 이득을 결합합니다. 제어 법칙은 $u = \text{sat}_{\bar{u}}(u_d)$이며, 여기서 원하는 입력 $u_d$는 명목 드리프트(nominal drift)와 퍼널 역학을 보상하고, 방사 기저 함수(Radial Basis Functions)로 파라미터화된 대각 이득 행렬 $K(\xi; w)$는 변환된 오차 $\xi$에 대한 피드백을 제공합니다.
4. 합성 절차: 포화 연산자(saturation operator)로 인해 공동 합성 문제는 비볼록(nonconvex) 문제입니다. 저자들은 **실행 가능성 중심의 활성 집합 합성 절차(feasibility-driven active-set synthesis procedure)**를 개발했습니다:
   • 외부 루프: 주어진 수축률 스케일링 인자 $v$에 대해 퍼널 파라미터($\theta$)를 찾기 위해 선형 계획법(linear program)을 해결합니다.
   • 내부 루프: 고정된 퍼널 파라미터에 대해, 일련의 볼록 이차 계획법(convex quadratic programs)을 해결하여 이득 가중치($w$)를 찾습니다. 이 루프는 포화 함수의 비볼록성을 처리하기 위해 "포화 패턴"(어떤 입력이 포화되었는지 또는 포화되지 않았는지)을 반복적으로 업데이트합니다.
   • 검증: 후보 쌍은 퍼널 내의 모든 샘플링된 시연 지점에서 리아푸노프 감소 조건(Lyapunov decrease condition)이 실제 포화된 입력을 고려하여 만족되는 경우에만 수락됩니다.

주요 기여

• 데이터 기반 공동 합성: 전문가의 입력 데이터나 정책 재구성 없이, 상태 전용 궤적으로부터 시간 가변적 성능 퍼널과 입력 제약이 있는 PPC 제어기를 모두 학습하는 프레임워크를 제공합니다.
• 실행 가능성 중심의 활성 집합 절차: 포화 패턴을 반복적으로 고정함으로써 결과적인 비볼록 합성 문제를 해결하는 새로운 알고리즘적 접근 방식을 제공하며, 이를 통해 합성 단계 동안 입력 포화를 명시적으로 처리할 수 있게 합니다.
• 상보적 이론 보증:
  • 액추에이터 권한에 기반한 **세미 글로벌 보수적 인증(semi-global conservative certificate)**을 통해, 시스템 역학과 모델 불확실성에 비해 제어 권한이 충분히 큰 경우 규정된 성능과 입력 만족을 보장합니다.
  • 립시츠 연속성(Lipschitz regularity)과 데이터 커버리지에 의존하여, 충분히 조밀한 시연 궤적 근처에서 이러한 특성을 보장하는 로컬 데이터 기반 인증을 제공합니다.

결과
본 방법론은 모델 불확실성과 하드 입력 제약이 있는 비선형 결합 탱크(coupled-tank) 시스템에서 검증되었습니다.

• 데이터 생성: 다양한 이득과 퍼널을 가진 여러 PPC 제어기를 사용하여 30개의 이질적인 전문가 궤적을 생성했습니다.
• 학습 결과: 프레임워크는 다양한 시연의 과도 응답 및 정상 상태 동작을 포착하는 단일 폐형식(closed-form) 제어기와 통합된 퍼널을 성공적으로 학습했습니다.
• 성능: 학습된 제어기는 20개의 미보지(unseen) 초기 조건에 대해 폐루프 궤적을 학습된 퍼널 내에 엄격하게 유지했습니다. 결정적으로, 제어 입력은 모든 시뮬레이션에서 하드 액추에이터 경계를 준수했습니다.
• 비교: 모델 없는(model-free) PPC가 미모델링된 드리프트로 인해 실용적 조절(practical regulation)만을 달ей한 것과 달리, 제안된 모델 기반 접근 방식은 드리프트를 보상하고 입력 제한을 준수하면서 원점으로의 지수적 수렴을 달성했습니다.

의의 및 주장
본 논문은 이전에 다뤄지지 않은 문제, 즉 하드 입력 제약 하에서 상태 전용 데이터로부터 성능 사양과 제어기를 공동으로 합성하는 문제를 해결한다고 주장합니다. 저자들은 자신들의 방식이 전문가 정책을 재구성한다는 점에서 모방 학습(imitation learning)과 다르고, 합성 단계 동안 액추에이터 포화를 명시적으로 고려한다는 점에서 표준 PPC와 다르다는 점을 강조합니다. 본 연구의 의의는 시연으로부터 실행 가능한 성능 속성을 추출하고, 이를 보수적 이론 경계와 데이터 기반 로컬 보증에 의해 뒷받는, 물리적 액추에이터 한계를 존중하는 제어기로 강제하는 체계적인 방법을 제공하는 데 있습니다. 본 연구는 알려진 명목 모델과 유계된 불확실성을 가진 비선형 시스템에 집중하고 있으며, 세미 글로벌 인증이 보수적일 수 있음을 인정하며 그 범위를 적절히 설정하였습니다.