기술적 요약: 사후 가중 가우시안 프로세스에 의한 대략적 주기성 시계열의 생성 모델링

1. 문제 제기

산업 및 사이버 - 물리 시스템 (예: 로봇 조립 라인) 의 이산 자동화 프로세스는 종종 대략적인 주기적 행동을 보입니다. 연속된 반복은 공통된 궤적을 따르지만, 노이즈, 마모, 환경 변동으로 인해 지속 시간, 진폭, 미세 규모 역학에서 차이가 발생합니다.

가우시안 프로세스 (GP) 를 사용하여 이러한 프로세스를 모델링하는 것은 특정 과제를 제시합니다:

• 엄격한 주기 모델은 정확한 반복을 강제하여 실제 데이터에서 발견되는 필수적인 반복 간 변이를 억제합니다.
• 비주기 모델은 장기 생성에 필요한 강력한 구조적 규칙성을 포착하지 못합니다.
• 기존 준주기적 접근법은 종종 정확한 주기성을 강제하거나 장기 구간에서 평균 감쇠와 분산 팽창을 도입하여 임의의 반복 횟수에 대한 생성 모델로서의 유용성을 제한합니다.

목표는 프로세스의 특징적인 형태를 유지하면서도 반복 간에 매끄럽고 제어된 변이를 허용하는 임의의 길이의 반복 시퀀스를 생성할 수 있는 확률적 생성 모델을 개발하는 것입니다.

2. 방법론

저자들은 2 단계 구성을 제안하여 반복 내 구조를 반복 간 변이와 분리합니다. 핵심 혁신은 가중 사전분포와 관련된 병리적 행동을 피하기 위해 사전분포가 아닌 사후분포를 변조하는 것입니다.

1 단계: 안정적인 반복 템플릿 학습

첫 번째 단계는 엄격한 주기성 GP 사전분포를 사용하여 반복 내 통계를 모델링합니다.

• 가정: 관측된 반복 $y_1, \dots, y_r$은 공통 하이퍼파라미터를 공유하는 동일한 기본 주기 프로세스의 (부분적으로) 독립적인 실현으로 간주됩니다.
• 커널: 입력이 원에 매핑된 주기성 커널 $k_\theta$를 사용합니다.
• 학습 전략: 분해된 가능도 하에서 독립적인 반복들로부터 노이즈 분산 $\sigma^2_\theta$가 식별 불가능하다는 문제를 해결하기 위해, 저자들은 미니배치 학습 전략을 사용합니다. 음의 로그 가능도 (NLL) 는 여러 반복의 작은 배치에 대해 평가됩니다. 이는 모델이 반복 간 변이를 설명하도록 강제하여 노이즈 분산 추정을 안정화합니다.
• 학습 후 조정: 사후분포 구성 중에는 전역 공간 구조를 보존하기 위해 반복들을 동일한 잠재 함수의 관측치로 취급합니다. "여러 반복으로부터의 증거 누적"으로 인한 인위적인 불확실성 감쇠를 방지하기 위해 노이즈 분산 $\sigma^2_\theta$는 유효 반복 수에 따라 재조정됩니다.

2 단계: 사후분포 가중

두 번째 단계는 사전 커널을 변경하는 대신 사후분포 공분산을 직접 수정하여 반복 간 상관관계를 도입합니다.

• 메커니즘: 새로운 가중 커널 $w_\psi$(임베딩 공간의 가우시안 커널) 가 1 단계에서 얻은 사후분포 공분산 행렬 $\hat{\Sigma}_\theta$에 요소별 곱셈 (슈어 곱) 을 적용하여 적용됩니다.
  $$\Sigma_\psi := W_\psi \odot \hat{\Sigma}_\theta + \sigma^2_\psi I$$
• 가중 커널 설계: 커널 $w_\psi$는 제곱 사인 함수의 적분을 포함하는 특정 임베딩 $\phi(t)$를 사용합니다. 이는 커널이 주기 정수배에서 미분값이 소멸하도록 하여 가중 커널에서 원치 않는 위상 이동을 방지합니다.
• 생성 모델: 최종 생성 분포는 다음과 같이 정의됩니다:
  $$\gamma \sim \mathcal{N}(\hat{\mu}_\theta, \Sigma_\psi)$$
  여기서 $\hat{\mu}_\theta$는 1 단계의 평균 (변경 없음) 이고 $\Sigma_\psi$는 변조된 공분산입니다.
• 근거:
  • 평균을 변경하지 않으면 모든 반복에서 평균 구조가 동일하여 구조적 일관성 요구사항을 충족합니다.
  • 공분산을 변조하면 국소적 불확실성이 보존되면서 먼 반복 간의 상관관계가 0 으로 단조 감소하도록 보장합니다.
  • 이 접근법은 예측 평균이 0 으로 감쇠하고 분산이 시간이 지남에 따라 팽창하게 만드는 가중 주기성 사전분포 사용의 "병리"를 피합니다.

3. 주요 기여

1. 새로운 생성 모델: 임의의 반복 횟수를 지원하는 GP 기반의 대략적 주기성 다변량 시계열을 위한 확률적 생성 모델.
2. 2 단계 구성: 안정적인 주기 템플릿 학습 (1 단계) 과 제어된 반복 간 변이 주입 (2 단계) 을 분리하는 방법.
3. 사후분포 변조: 장기 안정성을 달성하기 위해 가중 사전분포가 아닌 커널 변조 사후분포를 도입하여 평균이 일관되게 유지되도록 하고 공분산이 반복 간 유사성의 자연스러운 감쇠를 반영하도록 함.
4. 미니배치 학습 전략: 배치에 대한 가능도 평가를 통해 독립적인 반복이 존재할 때 노이즈 분산 추정을 안정화하는 기술.
5. 실용적 구현: 선형 공지역화 모델 (LMC) 을 사용한 다차원 사례를 포함하여 토이 데이터셋에서 현실적인 합성 궤적을 생성하는 모델 능력의 시연.

4. 실험 결과

이 모델은 노이즈가 없는 시나리오와 노이즈가 있는 시나리오, 그리고 2 차원 데이터를 포함하여 가중 주기성 GP 에서 생성된 합성 데이터셋에서 평가되었습니다.

• 배치 크기 민감도: 실험은 1 단계에서 추정된 분산 $\sigma^2_\theta$가 미니배치 크기 $|B|$에 매우 의존적임을 보여주었습니다. $|B|=1$인 경우 분산은 0 으로 수렴합니다. $|B|$가 증가함에 따라 추정이 안정화되어 고유 변이를 정확하게 포착합니다.
• 노이즈 처리: 노이즈가 있는 설정에서 2 단계 노이즈 매개변수 $\sigma^2_\psi$는 관측 노이즈 수준에 따라 증가하는 반면, 1 단계 노이즈 $\sigma^2_\theta$는 노이즈 수준이 매우 높아질 때까지 상대적으로 안정적으로 유지됩니다.
• 다중 출력 기능: 이 모델은 비정상 주기 커널을 사용하여 2 차원 데이터로 성공적으로 확장되었으며, 다른 주기에서 다양한 정도의 변이를 포착했습니다 (예: 원점을 통과할 때 더 높은 분산).
• 성능: 이 모델은 예측 평균과 테스트 평균 사이의 평균 제곱 오차 (MSE) 를 낮게 달성했으며, 점별 표준 편차를 정확하게 모델링했습니다.

5. 중요성과 주장

이 논문은 생성적 목적으로 대략적 주기성 프로세스를 모델링하기 위해 사전분포가 아닌 GP 사후분포를 수정하는 것이 원칙적인 방법이라고 주장합니다.

• 안정성: 이 모델은 다른 준주기적 접근법에서 볼 수 있는 평균 감쇠나 분산 팽창 없이 임의의 길이의 시퀀스를 생성할 수 있는 장기 생성 안정성을 달성합니다.
• 해석 가능성: 평균 (엄격한 주기성) 과 공분산 (감쇠 상관관계) 을 분리함으로써 모델은 GP 의 해석 가능성과 보정된 불확실성을 유지합니다.
• 응용 분야: 저자들은 이러한 안정성과 해석 가능성이 중요한 구체적인 실용적 응용 분야를 식별합니다:
  • 단위 테스트를 위한 현실적인 합성 데이터 생성.
  • 디지털 트윈 생성.
  • 산업 시스템의 허니팟 채우기.
  • 학습된 통계에서의 편차를 정량화하는 가능도 기반 이상 탐지.

저자들은 향후 작업에 관해 겸손하게 언급하며, 대규모 반복 횟수로 확장하려면 희소 또는 근사 추론 기술이 필요하며, 하류 작업에서의 실용적 이점을 정량화하기 위해 실제 산업 데이터셋에 대한 체계적인 평가가 필요하다고 지적합니다.