Worst-case Nonlinear Regression with Error Bounds

1. 문제 정의 (Problem Definition)

제어 시스템 공학 및 모델 예측 제어 (MPC) 와 같은 응용 분야에서 비선형 함수를 근사할 때, 평균 제곱 오차 (MSE) 와 같은 통계적 지표만으로는 충분하지 않습니다. 특히 강인 제어 (Robust Control) 나 제약 조건 만족이 필수적인 경우, 예측 모델과 실제 함수 사이의 최악의 경우 근사 오차 (Worst-Case Error, WCE) 를 보장할 수 있어야 합니다.

기존의 많은 방법론은 평균 오차를 최소화하는 데 초점을 맞추어, 평균적으로는 정확하지만 특정 입력 영역에서 큰 오차가 발생할 수 있는 문제를 야기합니다. 또한, 기존 방법들은 학습 후에도 전체 입력 도메인 (Input Domain) 에 대한 엄격한 오차 상한선을 제공하지 못하는 경우가 많습니다.

이 논문은 비선형 함수 $f(x)$를 주어진 컴팩트 집합 (Compact Set) $X$에서 최대 절대 오차를 최소화하는 대리 모델 (Surrogate Model, 예: 신경망) 을 학습하고, 학습 후 전체 입력 공간에 대한 보장된 오차 상한선 (Error Bounds) 을 도출하는 문제를 다룹니다.

2. 방법론 (Methodology)

논문은 활성 학습 (Active Learning) 전략과 최소 - 최대 (Minimax) 회귀를 결합한 새로운 프레임워크를 제안합니다.

가. 최소 - 최대 (Minimax) 회귀 및 부드러운 근사

• 목표: $\max_{x \in X} |f(x) - \hat{f}(x; \theta)|$를 최소화하는 모델 파라미터 $\theta$를 찾습니다.
• 난제: 최대 (max) 연산자는 비미분 가능 (non-smooth) 하여 L-BFGS 와 같은 효율적인 준뉴턴 (Quasi-Newton) 방법의 적용을 어렵게 만듭니다.
• 해결책: 최대 연산자를 부드러운 근사 (Smooth Approximation) 로 대체합니다.
  • $L_\infty$ 손실 함수를 $\frac{1}{\gamma} \log \sum e^{\gamma |e_k|}$ 형태의 로그 - 합 (Log-Sum-Exp) 함수로 근사하여 미분 가능하게 만듭니다. $\gamma \to \infty$일 때 원래 문제와 동일한 해를 가집니다.

나. 활성 학습 전략 (Active Learning Strategy)

• 학습 데이터의 선택이 WCE 에 큰 영향을 미치므로, 단순히 무작위 샘플링만으로는 부족합니다.
• 순환 과정:
  1. 초기 데이터셋으로 모델을 학습합니다.
  2. 전역 최적화 (Global Optimization) 를 통해 현재 모델의 오차가 가장 큰 지점 (Corner-case) 을 찾습니다.
  3. 해당 지점을 새로운 학습 데이터로 추가하고 모델을 재학습합니다.
  4. 최대 오차가 임계값 ($\epsilon_{err}$) 이하가 되거나 계산 예산이 소진될 때까지 반복합니다.
• 이 과정은 "최악의 경우"를 명시적으로 포착하여 모델의 견고성을 높입니다.

다. 오차 한계 (Error Bounds) 도출

학습이 완료된 후, 전체 입력 공간 $X$에 대해 다음과 같은 오차 한계를 제공합니다:

1. 균일한 상한선 (Uniform Bounds): 전체 영역에 적용되는 단일 상수 오차 값.
2. 입력 의존적 상한선 (Input-dependent Bounds): 입력 $x$에 따라 변하는 상한선 함수 $\bar{e}_{max}(x)$와 하한선 함수 $\bar{e}_{min}(x)$를 학습합니다. 이를 위해 별도의 "봉투 함수 (Envelope Function)"를 신경망으로 학습하여 오차의 크기를 입력에 따라 동적으로 추정합니다.

라. 제약 조건 및 집합 근사

• 부등식 제약: $f(x) \le 0$과 같은 조건을 만족하는 간단한 모델 $\bar{f}(x) \le 0$을 유도할 때, 오차 한계를 이용해 원래 조건을 위반하지 않는 보수적인 (Conservative) 근사를 제공합니다.
• 집합 근사: 비볼록 집합을 볼록 내부 근사 (Convex Inner Approximation) 로 변환할 때에도 동일한 기법을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 부드러운 $L_\infty$ 손실 함수: 비선형 최소 - 최대 회귀 문제를 미분 가능한 형태로 변환하여, 자동 미분 (Automatic Differentiation) 과 L-BFGS 를 활용한 효율적인 학습을 가능하게 했습니다.
2. 최악의 경우 기반 활성 학습: 전역 최적화 기법을 활용하여 오차가 최대인 지점을 능동적으로 탐색하고 학습 데이터에 추가함으로써, 최소한의 샘플로 최대의 정확도를 달성하는 전략을 제시했습니다.
3. 엄격한 오차 보장: 학습된 모델에 대해 전체 입력 도메인에서 보장된 오차 상한선 (상수 및 입력 의존적) 을 계산하는 방법을 제시했습니다. 이는 확률적 보장 (Gaussian Process 등) 이 아닌 결정론적 (Deterministic) 보장을 제공합니다.
4. 다양한 응용 사례 검증:
   • 비선형 함수 근사
   • 비볼록 집합의 볼록 내부 근사
   • 불확실성이 있는 비선형 동역학 모델링
   • 명시적 모델 예측 제어 (Explicit MPC) 법칙의 근사

4. 실험 결과 (Results)

논문은 Python 라이브러리 (maxfit) 를 통해 여러 시나리오에서 알고리즘을 검증했습니다.

• 비선형 함수 근사: 가우시안 함수 등을 근사할 때, MSE 를 최소화하는 전통적인 방법보다 제안된 방법이 WCE 를 현저히 낮추었음을 보였습니다. (MSE 가 작더라도 WCE 는 클 수 있음을 확인)
• 비볼록 집합 근사: 복잡한 비볼록 집합을 볼록 다면체 (Polyhedron) 나 입력-볼록 신경망 (Input-Convex NN) 으로 근사하여, 원래 집합을 완전히 포함하는 보수적인 내부 근사 집합을 성공적으로 생성했습니다.
• 불확실성 모델링: 진자 (Pendulum) 시스템의 연속 시간 모델을 이산 시간 불확실성 모델로 변환하여, 상태 변수별 최대 오차 (상대 오차 약 2.8% ~ 5.7%) 를 정량화했습니다.
• MPC 근사:
  • mpQP (Multi-parametric QP): 162 개의 영역을 가진 복잡한 QP 해를 신경망으로 근사하여, 제약이 없는 영역에서는 오차가 거의 0 이 되었고, 전체 WCE 를 매우 낮게 유지했습니다.
  • 선형 MPC: 비최소 위상 (Non-minimum phase) 시스템의 MPC 제어 법칙을 근사한 결과, 활성 학습을 사용하지 않고 무작위 샘플로 학습한 경우 (WCE $\approx$ 0.4) 에 비해, 제안된 방법 (WCE $\approx$ 0.06) 이 훨씬 우수한 성능을 보였습니다. 폐루프 시뮬레이션에서도 제어 성능이 우수함을 확인했습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 제어 시스템 설계 및 구현에 있어 중요한 기여를 합니다.

• 안전 보장 (Safety Guarantee): 자율 주행, 로봇 제어 등 안전이 중요한 분야에서 근사 모델의 오차에 대한 엄격한 상한선을 제공함으로써, 시스템의 안정성과 제약 조건 만족을 수학적으로 보장할 수 있습니다.
• 계산 효율성: 복잡한 MPC 법칙을 신경망으로 근사하여 온라인 계산 부하를 줄이면서도, 그 오차 범위를 명확히 파악할 수 있게 합니다.
• 한계점: 전역 최적화 (Global Optimization) 를 사용하여 오차가 최대인 점을 찾기 때문에, 문제의 차원 (Dimension) 이 매우 커지면 계산 비용이 급증할 수 있습니다. 따라서 고차원 문제에는 전용 최적화 도구나 근사 기법이 필요할 수 있습니다.

결론적으로, 이 연구는 최악의 경우 (Worst-case) 관점에서 비선형 모델을 학습하고 검증하는 체계적인 프레임워크를 제공하며, 신뢰할 수 있는 데이터 기반 제어 시스템 구축을 위한 핵심 도구가 됩니다.