技術的概要：事後重み付きガウス過程による近似周期性時系列の生成モデリング

1. 問題定義

産業システムおよびサイバーフィジカルシステムにおける離散的な自動化プロセス（例えば、ロボット組立ライン）は、しばしば近似周期的な挙動を示す。連続する反復は共通の軌跡に従うが、ノイズ、摩耗、環境変動により、持続時間、振幅、微細なダイナミクスにおいて差異が生じる。

これらのプロセスをガウス過程（GP）でモデル化することには、特定の課題が存在する。

• 厳密に周期的なモデルは、完全な反復を強制するため、実データに見られる反復間の必要な変動性を抑制してしまう。
• 非周期的なモデルは、長期的な生成に必要な強い構造的規則性を捉えられない。
• 既存の準周期的アプローチは、多くの場合、厳密な周期性を強制するか、長期的な視野において平均の減衰や分散の膨張を導入するため、任意の数の反復に対する生成モデルとしての有用性が制限される。

目標は、プロセスの特徴的な形状を維持しつつ、反復間で滑らかかつ制御された変動を許容する、任意に長い反復シーケンスを生成できる確率的生成モデルを開発することである。

2. 手法

著者は、反復内の構造と反復間の変動性を分離する2段階の構築法を提案する。中核的な革新は、事前分布ではなく事後分布を調節することであり、重み付き事前分布に伴う病理的な挙動を回避する。

ステージ 1：安定した反復テンプレートの学習

第一段階では、厳密に周期的な GP 事前分布を用いて反復内の統計量をモデル化する。

• 仮定: 観測された反復 $y_1, \dots, y_r$ は、共通のハイパーパラメータを共有する同一の基底となる周期的プロセスの（部分的に）独立した実現として扱われる。
• カーネル: 入力を円上に埋め込む周期性カーネル $k_\theta$ が使用される。
• 学習戦略: 独立した反復下では分解された尤度からノイズ分散 $\sigma^2_\theta$ が識別不可能であるという問題に対処するため、著者はミニバッチ学習戦略を採用する。負の対数尤度（NLL）は、複数の反復からなる小さなバッチ上で評価される。これにより、モデルは反復間の変動を説明することを強制され、ノイズ分散の推定が安定化する。
• 学習後の調整: 事後分布の構築中、反復は同じ潜在関数の観測として扱われ、グローバルな空間構造を維持する。「複数の反復からの証拠の蓄積」に起因する人工的な不確実性の減衰を防ぐため、ノイズ分散 $\sigma^2_\theta$ は実効的な反復数によってスケーリングされる。

ステージ 2：事後重み付け

第二段階では、事前カーネルを変更するのではなく、事後共分散を直接修正することで反復間の相関を導入する。

• メカニズム: 新しい重みカーネル $w_\psi$（埋め込み空間内のガウスカーネル）が、ステージ 1 で得られた事後共分散行列 $\hat{\Sigma}_\theta$ に要素ごとの乗算（シュール積）を適用して適用される。
  $$\Sigma_\psi := W_\psi \odot \hat{\Sigma}_\theta + \sigma^2_\psi I$$
• 重みカーネルの設計: カーネル $w_\psi$ は、二乗された正弦関数の積分を含む特定の埋め込み $\phi(t)$ を使用する。これにより、カーネルは周期の整数倍で微分が消滅し、重み付きカーネルにおける望ましくない位相シフトが防止される。
• 生成モデル: 最終的な生成分布は以下のように定義される。
  $$\gamma \sim \mathcal{N}(\hat{\mu}_\theta, \Sigma_\psi)$$
  ここで、$\hat{\mu}_\theta$ はステージ 1 からの平均（変更なし）であり、$\Sigma_\psi$ は変調された共分散である。
• 根拠:
  • 平均を変更しないことは、すべての反復において平均構造が同一であることを保証し、構造的整合性の要件を満たす。
  • 共分散を調節することで、局所的不確実性を維持しつつ、遠く離れた反復間の相関が単調にゼロへ減衰することを保証する。
  • このアプローチは、予測平均が時間とともにゼロへ減衰し、分散が膨張する重み付き周期的事前分布を使用する際の「病理」を回避する。

3. 主な貢献

1. 新規生成モデル: 任意の数の反復をサポートする、ガウス過程に基づく近似周期性多変量時系列の確率的生成モデル。
2. 2 段階構築法: 安定した周期的テンプレートの学習（ステージ 1）と、制御された反復間変動性の注入（ステージ 2）を分離する手法。
3. 事後分布の調節: 長期的な安定性を達成するために、重み付き事前分布ではなくカーネルで変調された事後分布を導入する。これにより、平均は整合性を保ちつつ、共分散は反復間の類似性の自然な減衰を反映する。
4. ミニバッチ学習戦略: バッチ上で尤度を評価することで、独立した反復が存在する状況下でのノイズ分散推定を安定化させる手法。
5. 実用的な実装: トイデータセット、およびコア領域化線形モデル（LMC）を用いた多次元ケースを含む、現実的な合成軌跡を生成するモデルの能力の実証。

4. 実験結果

モデルは、ノイズなしおよびノイズありのシナリオ、ならびに 2 次元データを含む、重み付き周期的 GP から生成された合成データセット上で評価された。

• バッチサイズ感度: 実験により、ステージ 1 における推定分散 $\sigma^2_\theta$ はミニバッチサイズ $|B|$ に強く依存することが示された。$|B|=1$ の場合、分散はゼロへ収束する。$|B|$ が増加するにつれて、推定値は安定し、内在的な変動性を正しく捉えるようになる。
• ノイズ処理: ノイズ環境下では、第二段階のノイズパラメータ $\sigma^2_\psi$ は観測ノイズレベルとともに増加するが、第一段階のノイズ $\sigma^2_\theta$ はノイズレベルが非常に高くなるまで比較的安定したままとなる。
• 多出力能力: 非定常周期性カーネルを用いてモデルは 2 次元データへ拡張され、異なるサイクルにおける変動の度合い（例えば、原点を横断する際のより高い分散など）を捉えることに成功した。
• 性能: モデルは、予測平均とテスト平均の間で低い平均二乗誤差（MSE）を達成し、点ごとの標準偏差を正確にモデル化した。

5. 意義と主張

本論文は、生成目的のための近似周期性プロセスのモデル化において、事前分布ではなく GP の事後分布を修正することが原理的な方法であると主張する。

• 安定性: モデルは、他の準周期的アプローチで見られる平均の減衰や分散の膨張なしに、任意に長いシーケンスを生成可能な長期的な生成安定性を達成する。
• 解釈可能性: 平均（厳密に周期的）と共分散（減衰する相関）を分離することで、モデルは GP の解釈可能性と較正された不確実性を維持する。
• 応用: 著者は、この安定性と解釈可能性が不可欠な具体的な実用的応用を特定している。
  • ユニットテスト用の現実的な合成データの生成。
  • デジタルツインの作成。
  • 産業システムにおけるホニープットの充填。
  • 学習した統計からの逸脱を定量化することによる尤度ベースの異常検知。

著者は将来の作業については慎重であり、大規模な数の反復へのスケーリングには疎または近似推論技術が必要となること、および下流タスクにおける実用的な利益を定量化するために、実世界の産業データセットでの体系的な評価が必要であることを指摘している。