Lecture Note for Bounded Controls in Continuous-Time and Control of Several Variables

논문 개요

이 강의 노트는 제어 변수에 상자 제약 (box constraints, 즉 하한과 상한이 있는 구간 제약) 이 부과된 연속 시간 최적 제어 문제의 1 차 이론을 개발합니다. 특히, 제어 집합이 컴팩트 (compact) 할 때 폰트랴긴의 최대 원리 (Pontryagin's Maximum Principle, PMP) 가 어떻게 수정되어야 하는지, 그리고 스칼라 2 차형식 해밀토니안 (quadratic Hamiltonian) 에 대한 투영/클램핑 (projection/clamping) 공식을 강조합니다. 이 자료는 변분법, 켤레 시스템 (adjoint systems), 기본 비선형 해석에 익숙한 고급 학부생 및 박사 과정을 위한 수준으로 작성되었으며, Suzanne Lenhart 와 John T. Workman 의 저서 "Optimal Control Applied to Biological Models"를 기반으로 합니다.

---

1. 문제 정의 (Problem Class)

과학적 모델 (생물학, 경제학, 공학 등) 에서 제어 입력 $u(t)$는 무제한이 아닌 물리적, 기술적, 규제적 이유로 특정 구간 $U = [a_1, b_1] \times \dots \times [a_m, b_m]$ 내에 존재해야 합니다.

• 목적 함수: 볼자 (Bolza) 형태의 함수 $J(u) = \int_{t_0}^{t_1} f(t, x, u) dt + \phi(x(t_1))$를 최대화 (또는 최소화) 합니다.
• 제약 조건: 상태 방정식 $\dot{x} = g(t, x, u)$ 및 초기 조건 $x(t_0)=x_0$, 그리고 $u(t) \in U$ (거의 모든 $t$에 대해).
• 핵심 메시지: 제약이 있는 제어 문제에서는 무제약 상태 방정식을 푼 후 해를 자르는 (post hoc truncation) 방식이 아니라, 최적성 시스템 내부에서 제어 제약이 반드시 강제되어야 합니다.

2. 방법론 및 주요 이론적 도구

2.1 해밀토니안 형식주의와 폰트랴긴 최대 원리 (PMP)

• 해밀토니안 정의: $H(t, x, u, \lambda) = f(t, x, u) + \lambda^\top g(t, x, u)$.
• 제약된 PMP: 최적 제어 $u^*(t)$는 허용 가능한 제어 집합 $U$ 위에서 해밀토니안을 점별 (pointwise) 로 최대화 (또는 최소화) 해야 합니다.
  $$u^*(t) \in \arg \max_{v \in U} H(t, x^*(t), v, \lambda^*(t))$$
• 상태 및 켤레 (Adjoint) 방정식: 상태 방정식 $\dot{x} = H_\lambda$와 켤레 방정식 $\dot{\lambda} = -H_x$는 변하지 않지만, 경계 조건 (transversality condition) 은 유지됩니다.

2.2 스칼라 상자 제약과 상보적 부호 조건

스칼라 제어 $u \in [a, b]$이고 $H$가 $u$에 대해 미분 가능할 때, 최적 제어는 다음과 같은 부호 조건을 만족합니다 (최대화 문제 기준):

• $H_u < 0 \implies u^* = a$ (하한)
• $H_u = 0 \implies a \le u^* \le b$ (내부)
• $H_u > 0 \implies u^* = b$ (상한)
  이는 1 차 변분 원리를 통해 유도되며, 제어 변수가 경계에 있을 때 해밀토니안의 기울기가 바깥을 향해야 함을 의미합니다.

2.3 2 차형식 해밀토니안에 대한 투영 공식 (Projection Formula)

많은 생물학적/경제적 모델에서 해밀토니안은 제어에 대해 엄격하게 오목 (concave) 한 2 차형식입니다:
$$H = \Psi + \beta u - \frac{\rho}{2}u^2, \quad \rho > 0$$
이 경우 무제약 최적해 $\tilde{u} = \beta/\rho$를 허용 구간 $[a, b]$로 투영 (clamping) 한 것이 최적해가 됩니다:
$$u^*(t) = \text{clamp}_{[a,b]}(\tilde{u}(t)) = \min\{b, \max\{a, \tilde{u}(t)\}\}$$
중요: 이 투영은 수치적 보정이 아니라 해밀토니안 최적화의 정확한 해입니다.

2.4 뱅 - 뱅 (Bang-Bang) 구조와 스위칭 함수

해밀토니안이 제어에 대해 선형 (affine) 인 경우 ($H = \Psi + \sigma(t)u$), 최적 제어는 스위칭 함수 $\sigma(t)$의 부호에 따라 상한이나 하한 중 하나로만 존재합니다 (Bang-Bang 제어). $\sigma(t)=0$인 구간에서는 고차 최적성 조건이 필요합니다 (Singular arcs).

2.5 수치 해법: Forward-Backward Sweep Method (FBSM)

제약된 제어 문제를 풀기 위한 표준 간접 수치 기법입니다.

1. Forward: 현재 제어 $u^{(k)}$로 상태 $x^{(k)}$를 전진 적분.
2. Backward: $x^{(k)}$와 경계 조건으로 켤레 $\lambda^{(k)}$를 후진 적분.
3. Update: 해밀토니안을 최대화하는 새로운 제어 $\tilde{u}^{(k+1)}$를 계산하고, 이를 구간 $[a, b]$로 투영하여 $u^{(k+1)}$를 얻습니다.
   • 핵심: "완성된 궤적을 자르는 것이 아니라, 제어 법칙을 투영하라 (Project the control law, not the finished trajectory)."

3. 다변수 및 고급 주제 (Part II)

3.1 다중 상태 및 다중 제어 문제

$n$개의 상태와 $m$개의 제어가 있는 경우, $n$개의 켤레 변수가 도입되어 2 점 경계값 문제 (TPBVP) 의 차수가 두 배가 됩니다. 다변수 제어의 경우, 해밀토니안이 분리 가능하면 각 제어 성분에 대해 독립적으로 투영 공식을 적용할 수 있습니다.

3.2 유한 시간 LQR (Linear Quadratic Regulator)

선형 시스템과 2 차 비용 함수를 가진 경우, 리카티 (Riccati) 미분 방정식을 통해 폐루프 (closed-loop) 피드백 해를 구할 수 있습니다.

• $u^*(t) = -R^{-1}B^\top S(t)x(t)$
• 여기서 $S(t)$는 역방향으로 풀리는 리카티 방정식의 해입니다.

3.3 고차 미분방정식 및 등주 제약 (Isoperimetric Constraints)

• 고차 미분방정식: $n$계 미분방정식은 $n$개의 1 계 상태 변수로 변환하여 표준 형식으로 만듭니다.
• 등주 제약: $\int h(t, x, u) dt = B$와 같은 적분 제약은 보조 상태 변수 $z(t) = \int h dt$를 도입하여 $\dot{z}=h, z(t_0)=0, z(t_1)=B$ 형태의 끝점 제약으로 변환하여 PMP 를 적용합니다.

4. 주요 기여 및 결과

1. 수학적 엄밀성: 제어 제약이 최적성 시스템 (PMP) 에 어떻게 통합되는지에 대한 엄밀한 변분 유도 및 투영 공식을 제시했습니다.
2. 오류 교정: "무제약 해를 구한 후 자르는 (post hoc truncation)" 방식이 일반적으로 최적해가 아니며, 상태와 켤레 변수의 상호작용으로 인해 해의 구조가 근본적으로 달라진다는 점을 명확히 했습니다.
3. 실용적 알고리즘: Forward-Backward Sweep Method 에 제약 조건을 통합하는 정확한 업데이트 규칙 (투영 공식) 을 제시하여, 생물학적 모델 등 실제 응용 문제의 수치 해법 구현에 지침을 제공했습니다.
4. 다양한 확장: 단일 제어에서 다중 제어, 선형 시스템 (LQR) 에서 비선형 시스템, 등주 제약 문제까지 포괄적인 프레임워크를 제시했습니다.

5. 의의 (Significance)

이 논문은 최적 제어 이론을 실제 응용 (특히 생물학적 모델링) 에 적용하는 연구자들에게 필수적인 지침서 역할을 합니다.

• 이론적 명확성: 제약 조건 하에서의 최적 제어 구조 (Bang-Bang, 내부 구간, 투영) 를 명확히 구분하여, 잘못된 수치 해석을 방지합니다.
• 실무 적용성: 복잡한 비선형 모델에서도 적용 가능한 Forward-Backward Sweep 알고리즘의 구체적인 구현 방식을 제공하여, 연구자들이 제약 조건이 있는 최적 제어 문제를 안정적으로 풀 수 있게 합니다.
• 교육적 가치: 고급 학부생 및 박사 과정 학생들에게 변분법과 PMP 의 심화된 적용 사례를 체계적으로 학습할 수 있는 자료가 됩니다.

결론적으로, 이 논문은 제약 조건이 있는 최적 제어 문제에서 "제어 법칙의 투영"이 핵심이며, 이는 수치 해법의 각 반복 단계에서 반드시 수행되어야 함을 강조하는 중요한 기술적 기여를 하고 있습니다.