Weighted Contrastive Learning for Anomaly-Aware Time-Series Forecasting

技術要約：重み付き対照学習による異常検知対応型時系列予測

問題提起
深層時系列予測モデルは、定常的かつ日常的なデータに対しては高い精度を達成するが、異常（例：危機、システム障害、または急激な需要スパイク）によってデータ分布が急激に変化する本番環境では、頻繁に失敗する。ATMの現金物流のような重要なアプリケーションにおいて、このような失敗はサービスの停止や資本効率の低下を招く。特定された核心的な課題は、安定性と感度のトレードオフである。すなわち、モデルは日常的な変動に対しては正確性を維持しつつ（安定性）、軌道を変化させる真の異常に対しては正しく反応しなければならない（感度）。

標準的なアプローチでは、この解決が困難である：

• ファインチューニングを異常拡張データに対して行うと、破滅的忘却が生じることが多い。これは、モデルが異常データへの性能を回復する一方で、正常データに対する性能が著しく低下する現象である。
• 標準的な対照学習は、正常なサンプルと拡張されたサンプルの整合性を高めることで、ロバストな表現を学習する。しかし、正常なサンプルと異常拡張サンプルの間に厳格な整合性を強制すると、分布の変化時に予測に必要な異常信号そのものが抑制されてしまう可能性がある。

手法：重み付き対照的異常検知適応（WECA）
著者らは、良性な変動には不変でありながら、重大な異常には敏感な表現を学習するための学習目的関数として、WECAを提案している。この手法は、標準的なエンコーダ・デコーダ型の予測フレームワーク（$g_\phi$ および $h_\psi$）内で動作し、学習目的に重み付き対照損失を導入する。

1. 重み付き整合（Weighted Alignment）: 元の入力 $x_i$ とその異常拡張された対応物 $\tilde{x}_i$ の間で完全な不変性を強制する代わりに、WECAは摂動の深刻度に基づいて対照的な整合のスケールを調整する。
   • 軽微な変動: 高い類似度ウェイト（$w_{(i,t)} \approx 1$）を割り当て、安定性を確保するために強力な整合を強制する。
   • 深刻な異常: 低いウェイト（$w_{(i,t)} < 1$）を割り当て、表現の乖離を許容する。これにより、シフトした軌道を正確に予測するために必要な分布信号を保持する。
2. 損失関数: 手法は、$\ell_{WECA}$ によってスケールされるInfoNCE型の目的関数を利用する。全学習目的関数は、標準的な予測損失（MAE）と、ハイパーパラメータ $\lambda$ によって制御される重み付き対照項を組み合わせたものである。
3. 異常注入: モデルは、振幅、持続期間、および減衰によってパラメータ化され、歴史的な高インパクト事象（例：需要のスパイクやドロップアウト）を再現するように較正された合成異常で拡張されたデータセットを用いて学習される。

主な貢献

1. 定式化: 本論文は、異常検知対応型予測を、良性な変動には不変でありながら異常には敏感な表現を学習するという二重の目的として定式化した。
2. アルゴリズムの革新: 整合の強さを動的に制御する重み付き対照損失を導入し、アーキテクチャの変更なしに調整可能な不変性と感度のトレードオフを実現した。
3. 実証的検証: このアプローチが、実世界の現金需要データにおける分布シフト下での精度を向上させつつ、通常運用時の性能を低下させないことを示した。

実験結果
手法の評価は、約1,300箇所、2年間にわたる全国規模のATMトランザクションデータセットを用いて行われた。バックボーンモデルにはTimesNetが使用された。

• ベースライン: WECAを以下のモデルと比較した：
  • NT (Normally Trained): 正常データのみで学習。
  • FT (Fine-Tuning): 異常拡張データで適応。
  • CL-IL (Standard Contrastive Learning): 一様なウェイト（$w=1$）を用いたインスタンスレベルの対照学習。
• パフォーマンス指標 (SMAPE):
  • ファインチューニング (FT): 異常影響データ（AD）の性能を7.22ポイント改善したが、正常データ（ND）の性能を2.77ポイント低下させた。これは破滅的忘却を裏付けている。
  • 標準的な対照学習 (CL-IL): ADの性能を4.82ポイント改善したが、NDへの影響は無視できる程度であった（-0.11ポイント）。
  • WECA: 最適なバランスを達成した。ADの性能を6.13パーセントポイント向上させ（SMAPEを37.91%から31.78%へ減少）、NDの精度をほぼ変化させなかった（SMAPEの変化はわずか0.03パーセントポイント）。
• 対照軸の分析: 著者らは、個々のタイムステップを整合させる**時間的（Temporal）対照学習よりも、シーケンス全体を整合させるインスタンスレベル（Instance-level）**の対照学習の方が、このタスクにおいて強力な帰納バイアスを提供することを発見した。後者は、急激な異常の発生を過度に平滑化してしまうリスクがあるためである。

意義と主張
本論文は、WECAが学習時に安定性と感度のトレードオフを解決することを主張しており、デプロイ後の適応やアーキテクチャの変更を不要としている。結果は、異常への堅牢性が、通常レジームにおける信頼性とトレードオフの関係にある必要はないことを示唆している。対照的な整合に摂動の深刻度に応じた重みを付けることで、モデルはノイズを無視しながら、真の分布シフトに反応する能力を保持することができる。これは、予測誤差が直接的に運用の失敗や資本効率の低下につながる産業界のデプロイメントにおいて、特に重要である。

限界
著者らは、使用された異常注入が、観測されたデプロイメントの失敗から抽出されたものではなく、歴史的事象に基づいて較正された合成的なものであることを指摘している。今後の課題として、本手法を現実世界の異常（例：緩やかなドリフト、センサー故障）に対して検証することや、学習型またはタスク適応型のウェイト付けスキームを探索することが挙げられている。