기술 요약: 산업용 시계열 데이터에서 명시적 간소화된 조각별 다항식 관계 식별

1. 문제 정의

본 논문은 디지털 트윈, 제어 설계, 이상 탐지 등의 응용 분야를 위해 산업용 시계열 데이터에서 비선형 관계를 식별하는 과제를 다룹니다. 범용 근사 특성으로 인해 널리 사용되는 심층 신경망 (DNN) 은 세 가지 특정 제약 조건으로 인해 산업 환경에는 종종 적합하지 않다고 저자들은 주장합니다:

1. 불완전한 훈련 데이터: 산업 장비는 훈련 세트에 완전히 반영되지 않은 다양한 환경에서 작동하므로, 특히 고차원 DNN 에서 과적합 위험이 높습니다.
2. 강제적 설명 가능성: 산업 운영자는 물리 법칙과 부합하고 이상 현상의 근본 원인 분석을 가능하게 하는 모델을 요구합니다. 수만 개의 매개변수를 가진 DNN 은 '블랙박스' 성질로 인해 번거로운 사후 분석 없이는 이러한 요구를 충족하지 못합니다.
3. 고유한 간소성: 산업 시스템은 구조적으로 간소한 물리 법칙에 의해 지배됩니다. 이러한 희소성을 강제하지 않는 모델은 보지 못한 환경에서의 일반화 성능이 떨어질 가능성이 높습니다.

본 논문이 다루는 구체적인 기술적 격차는 암시적 조각별 다항식 모델 (이상 탐지를 위한 잔차를 최소화하지만 명시적 예측 함수 $\hat{y} = f(x)$ 를 제공하지 않음) 에서 명시적 간소화된 조각별 다항식 표현으로의 전환입니다. 가상 센서 설계나 피드포워드 제어와 같은 작업에는 명시적 모델이 필요합니다.

2. 방법론

2.1. 기반: 암시적 조각별 표현

본 접근법은 이전에 제안된 알고리즘 [3] 을 기반으로 하여, $n_m$개의 희소 다변수 다항식 집합 $\{P_\kappa\}_{\kappa=1}^{n_m}$을 식별합니다. 이러한 다항식들은 잔차가 최소화되는 암시적 관계를 정의합니다:
$$e(x, y) := \min_{\kappa=1}^{n_m} |y - P_\kappa(x)|$$
이 암시적 형태에서, 임의의 특징 벡터 $x$에 대해 레이블 $y$는 집합 내의 다항식 중 하나와 가깝지만, 특정 다항식 인덱스는 $x$의 함수로서 명시적으로 매핑되지 않아 재최소화 없이 직접 예측할 수 없습니다.

2.2. 제안된 휴리스틱: 명시적 조각별 구성

명시적 예측기 $\hat{y}$를 도출하기 위해, 본 논문은 '투표자 기반' 집계 전략을 제안합니다. 핵심 아이디어는 특징 공간을 분할하고 암시적 집합에서 가장 적합한 다항식을 각 영역에 할당하는 명시적 조각별 매핑 집합을 구성하는 것입니다.

단계 1: 분할 삼중항 (Partitioning Triplets)
분할 삼중항 $\xi = (\pi, n_d, x_c)$은 다음으로 정의됩니다:

• 다항식 $\pi: \mathbb{R}^n \to \mathbb{R}$.
• 정수 $n_d \ge 2$ (하위 영역 수).
• 중심 $x_c \in \mathbb{R}^n$.
  이 삼중항은 $\pi(x - x_c)$의 분위수를 기반으로 특징 공간을 $n_d$개의 영역으로 분할합니다.

단계 2: 단일 투표자 구성
주어진 삼중항 $\xi$에 대해, 알고리즘은 해당 영역 내 평균 절대 오차 (MAE) 를 최소화함으로써 각 영역 $R^{(i)}_\xi$에 '최적'의 다항식 $P_{\kappa}$를 할당합니다. 이는 단일 명시적 예측기 (투표자) 를 생성합니다:
$$P_\xi(x) := P_{\kappa_\xi(\sigma_\xi(x))}(x)$$
여기서 $\sigma_\xi(x)$는 $x$를 해당 영역 인덱스로 매핑합니다.

단계 3: 반복적 투표자 선택을 통한 집계
단일 무작위 분할이 최적이지 않을 수 있으므로, 알고리즘은 $n_V$개의 투표자 집합을 반복적으로 생성합니다:

1. 무작위 삼중항 $\xi^{(1)}$ (중심 0, 무작위 다항식) 로 초기화합니다.
2. 현재 앙상블 ( $j$개의 투표자의 평균) 의 예측 오차 $\epsilon^{(j)}$를 계산합니다.
3. 새로운 후보 삼중항 $\xi^{(j+1)}$을 생성합니다:
   • 현재 잔차가 가장 높은 상위 5% 샘플에서 무작위로 새로운 중심 $x_c$를 선택합니다.
   • 고정된 차수와 활성 단항식 수를 가진 무작위 다항식 $\pi$를 생성합니다.
4. 수용 기준: 새로운 앙상블의 오차가 수축 조건을 만족하는 경우에만 새로운 투표자를 앙상블에 추가합니다: $\epsilon^{(j+1)} \le \gamma_c \times \epsilon^{(j)}$, 여기서 $\gamma_c \in (0, 1)$입니다.
5. 최대 시도 횟수에 도달하면 과정이 종료됩니다.

최종 명시적 예측은 모든 수용된 투표자의 평균입니다:
$$\hat{y} := \frac{1}{n_V} \sum_{\ell=1}^{n_V} P_{\xi^{(\ell)}}(x)$$

3. 주요 기여

1. 휴리스틱 유도: 본 논문은 분할 삼중항과 투표자 집계 메커니즘을 사용하여 암시적 희소 다항식 잔차를 명시적 조각별 다항식 예측기로 변환하는 새로운 휴리스틱을 제시합니다.
2. 개념 증명 (6 축 로봇): 6 축 Staubli TX2-90 매니퓰레이터에서 방법이 검증되었습니다. 알고리즘은 모든 6 개의 관절 토크에 대한 명시적 모델을 성공적으로 식별하여 고차원 특징 공간 ($n=18$) 으로 확장 가능성을 입증했습니다.
3. 일반화 연구 (4 축 로봇): 4 축 로봇 (Staubli TS0-80) 에 대한 전용 실험은 훈련 데이터보다 훨씬 큰 이동 거리를 가진 '보지 못한 환경' (궤적) 으로의 일반화를 테스트했습니다. 이는 DNN 과 비교하여 간소화된 접근법의 견고성을 강조했습니다.
4. 비교 분석: 본 연구는 예측 정확도, 일반화 격차, 계산 복잡도, 훈련 시간 측면에서 최신 DNN 아키텍처 (MLP, CNN, Transformer) 에 대한 엄격한 비교를 제공합니다.

4. 실험 결과

4.1. 사용 사례 1: 6 축 로봇 (확장성 및 성능)

• 정확도: 테스트 데이터셋에서 제안된 명시적 조각별 다항식 (xpwpol) 모델은 처음 3 개의 축에 대해 DNN 과 비교 가능한 정규화된 잔차 (nMAE/nMSE) 를 달성했습니다. 4~6 축의 경우 잔차가 약간 높았으나 동일한 차수 범위 내에 머물렀습니다.
• 일반화: xpwpol 모델은 놀라울 정도로 낮은 일반화 격차 ($\alpha_c \approx 0.00 - 0.11$) 를 보여주어 과적합이 최소화되었음을 나타냈습니다. 반면, DNN 은 훈련 잔차가 테스트 잔차보다 훨씬 낮아 과적합을 확인하는 상당한 격차 (최대 $\alpha_c \approx 2.31$) 를 보였습니다.
• 복잡도: xpwpol 모델은 최대 약 700 개의 활성 계수 (단항식) 를 사용했습니다. DNN 은 14,000 에서 약 800,000 개의 학습 가능한 매개변수가 필요했습니다.
• 계산 시간: xpwpol 의 모델 피팅은 표준 CPU 에서 몇 초 (예: 35 초에서 173 초) 가 소요되었습니다. DNN 훈련은 GPU 가속이 있더라도 수 시간 (2 시간 이상) 이 필요했습니다.

4.2. 사용 사례 2: 4 축 로봇 (보지 못한 환경으로의 일반화)

• 설정: 훈련은 '작은 이동' 궤적에서 수행되었고, 테스트는 '큰 이동' 궤적 (상당한 분포 변화) 에서 수행되었습니다.
• 결과:
  • DNN: Transformer 모델은 일반화에 실패하여 큰 이동 테스트 세트에서 오류가 급증했습니다 (예: 1 축의 nMAE 가 0.08 에서 1.38 로 급증).
  • xpwpol: 간소화된 모델은 환경 변화에도 불구하고 처음 3 개의 축에서 견고한 성능을 유지하며 낮은 nMAE 값 (예: 0.10 에서 0.37) 을 보였습니다.
  • 예외: 4 축의 경우 DNN 과 xpwpol 모델 모두 어려움을 겪었으며, 이는 해당 축의 특정 물리적 역학이 사용 가능한 데이터나 모델 구조로 잘 포착되지 않았음을 시사합니다.
• 관찰: 이 시나리오에서 xpwpol 모델은 1 차 다항식을 사용하는 단일 분할 삼중항 ($n_V=1$) 만 필요로 했음에도 불구하고 일반화 측면에서 DNN 을 능가했습니다.

5. 중요성 및 주장

본 논문은 제안된 프레임워크가 다음과 같은 상황에서 산업용 시계열 모델링을 위한 DNN 의 실현 가능한 대안을 제공한다고 주장합니다:

• 데이터가 부족하거나 불완전한 경우: 모델의 간소성으로 인해 특정 훈련 환경에 대한 과적합 위험이 줄어듭니다.
• 설명 가능성이 중요한 경우: 명시적 조각별 구조는 운영자가 예측을 특정 센서 하위 집합과 물리 관계로 추적하여 근본 원인 분석을 용이하게 합니다.
• 컴퓨팅 자원이 제한된 경우: 이 방법은 DNN 에 필요한 수 시간과 달리 표준 하드웨어에서 몇 초 만에 피팅을 달성합니다.
• 일반화가 최우선인 경우: '무공짜 점심' 정리가 인정됩니다. 제안된 방법은 모든 지표에서 DNN 을 보편적으로 능가하지는 않습니다 (예: 일부 축의 원시 정확도가 약간 낮음). 그러나 보지 못한 환경으로의 일반화와 모델 해석 가능성 측면에서는 DNN 을 크게 능가합니다.

저자들은 모든 사용 사례에 완벽한 단일 솔루션은 없지만, 제안된 명시적 간소화 접근법은 신뢰성과 모델 이해도가 원시 예측 능력만큼 중요한 산업 환경에서 채택할 가치가 있는 견고하고 효율적이며 설명 가능한 옵션이라고 결론지었습니다.