技術要約: CC-AOS

1. 問題の定式化

本論文は、時系列分類における中心的な課題である**有限ホライゾン最適停止（finite-horizon optimal stopping）**を取り扱う。この設定では、システムは各シーケンスの接頭辞（prefix）において、停止して最終決定を下すべきか、あるいはさらなる観測値を取得すべきかを判断しなければならない。この決定にはトレードオフが伴う。早期に停止すれば取得コスト（時間、エネルギー、計算量）を節約できるが、最終決定の誤りリスクが高まる可能性がある。一方で、待機することは予測精度を向上させるが、追加のコストと遅延を招く。

核心となる困難は、動作条件が固定されていない場合に発生する。多くのアプリケーションにおいて、サンプリングコスト（$\lambda$）および最大ホライゾン（$H$）は、リソースの可用性やレイテンシ予算の変化に応じて動的に変化する。既存のデータ駆動型後退帰納法（backward-induction methods）は、通常、一度に単一のコスト・ホライゾン・ペアに対してのみ解を求める。その結果、新しい動作点に適応するためには再最適化と個別のモデルスタックの構築が必要となり、連続的なコスト適応やマルチホライゾン展開を非効率なものにしている。本論文は、連続的なコストと複数のホライゾンによってインデックス付けされた「停止問題のファミリー」を学習し、未知のコスト・ホライゾン・ペアに対しても直接クエリを可能にする統一モデルを追求している。

2. 手法: CC-AOS

著者らは、構造化されたアモルタイズド・ソルバーであるCC-AOS (Cost- and Horizon-Conditioned Amortized Optimal Stopping) を提案している。この手法は、相互に連結された3つのコンポーネントで構成される。

2.1 共有コスト・ホライゾン継続モデル

個々の動作点に対して別々のモデルを適合させる代わりに、CC-AOSは単一の共有継続モデル $C_\theta(s, t, h, \lambda)$ を学習する。

• 入力: モデルは、現在の状態 $s$、絶対時刻 $t$、残りホライゾン $h$、およびサンプリングコスト $\lambda$ に条件付けられる。
• 出力: 1つの観測値を追加取得した後の期待将来最適リスクを表す、継続値 $C_h(s; \lambda)$ を近似する。
• 方策の導出: 停止決定は、終端リスク $g(s)$ と、完全な継続リスク $\lambda + C_\theta(s, t, h, \lambda)$ を比較することによって行われる。

2.2 結合アモルタイズド適合後退帰納法

モデルは、**結合アモルタイズド適合後退帰納（joint amortized fitted backward-induction）**手順を用いて訓練される。

• 訓練プロセス: アルゴリズムは、残りホライゾンの小さいものから大きいものへと反復的に進む。各レイヤーにおいて、現在のモデルの凍結されたスナップショットを使用して、再帰的なベルマン・ターゲットを生成する。
• データ生成: ターゲットは、連続的にサンプリングされたコスト（分布 $q$ から抽出）と、複数の訓練ホライゾンから抽出された遷移を用いて構築される。
• 最適化: リプレイバッファは、タプル $(s, t, h, \lambda, y_h)$ （ここで $y_h$ はターゲット値）を蓄積する。共有モデルのパラメータ $\theta$ は、これらすべての蓄積されたレイヤーおよび動作点にわたって、これらのターゲットに対する回帰損失を最小化するように更新される。

2.3 構造保存アーキテクチャ

学習された継続曲面がコストに対して正しく振る舞うことを保証するため、著者らは正確な値関数の理論的特性をモデルアーキテクチャにエンコードしている。

• 理論的特性: 正確な値関数 $V_h(s; \lambda)$ は、$\lambda$ に対して非減少、凹関数、および $h$-リプシッツ連続であることが証明されている。継続値 $C_h(s; \lambda)$ は、非減少、凹関数、および $(h-1)$-リプシッツ連続である。
• 正規化ソフトMinアフィンヘッド: モデルは、切片（$a_j$）と傾き（$b_j$）に変換されるロジットを出力する。最終的な継続値の推定は、以下のアフィン関数の正規化ソフト最小値（normalized soft-minimum）を介して計算される：
  $$\tilde{C}_\theta = -\rho \log \left[ \frac{1}{J} \sum_{j=1}^J \exp \left( \frac{-a_j + b_j \lambda}{\rho} \right) \right]$$
  傾き $b_j$ は、シグモイド変換を通じて $[0, h-1]$ に制約される。このアーキテクチャにより、学習された関数は、構成上、単調性、凹性、およびホライゾン依存のリプシッツ定数を保持することが保証される。

3. 理論的分析

本論文は、近似誤差と方策パフォーマンスを結びつける厳密な理論的枠組みを提供している。

• 幾何学的保存: 構造化されたヘッドは、真の値関数の単調性、凹性、およびリプシッツ特性を維持することが証明されている。
• 誤差境界: ベルマン近似誤差がホライゾンにわたって線形に累積することを示す残留ベースの境界を導出している。具体的には、学習された値と真の最適値との差は、レイヤーごとのベルマン残留の総和によって抑えられる。
• 方策パフォーマンス: 誘導された貪欲な停止方策の劣最適性は、継続残留の2倍の総和によって抑えられ、適合された継続関数の質と展開される方策の性能との間に直接的な関連性を提供している。

4. 実験結果

実験は、制御されたガウス過程、時変非ガウス混合分布、および FordA エンジンノイズ時系列ベンチマーク の3つの設定で行われた。

4.1 未知の動作点への汎化

FordA データセットにおいて、単一の CC-AOS チェックポイントをホライゾン $H \in \{20, 30, 40, 50\}$ およびコスト $\lambda \in [0.0005, 0.008]$ で訓練した。その後、6つの未知のコスト・ホライゾン・ペア（インターリーブされたホライゾンとコスト）で評価を行った。

• 個別設定ソルバーとの比較: CC-AOSは、すべての6つの未知のペアにおいて、独立して適合された凸関数学習（CFL）よりも低い「終端リスク＋サンプリングコスト」の目的関数を達成した。
• 性能向上: 平均的な目的関数の減少は 15.75% であり、相対的な減少幅は 0.95% から 31.29% の範囲であった。6組のブートストラップ信頼区間のうち5組が完全にゼロを下回っていた。
• 静的閾値との比較: CC-AOSは、平均して検証済みの強力な静的停止閾値とほぼ同等の性能を示したが、これは静的なルールではなく、動的で状態依存の境界を提供するものである。

4.2 アブレーションと効率性

• 構造保存: パラメータ数が一致する非構造化ヘッドに置き換えたアブレーション研究では、非構造化ヘッドは一つの制御された設定においてタスク目的関数がわずかに低くなったものの、単調性と凹性の制約を違反していた（最大 7.10% の違反率）。構造化ヘッドは、このような違反を排除した。
• 計算効率: CC-AOSは、単一の共有モデルを 18.04 秒 で訓練した。対照的に、6つの動作点に対して独立した CFL ソルバーを適合するには約 53 分 かかり、ホライゾンごとのリファレンスを適合するには 33.48 秒 かかった。

5. 意義と主張

本論文は、CC-AOSが「孤立した停止問題を解くこと」から「一貫した解のファミリーを学習すること」への転換を意味すると主張している。

• 統一された表現: 複数の独立して適合されたモデルスタックの必要性を、モデルされた範囲内の任意のコスト・ホライゾン・ペアで直接クエリ可能な単一のチェックポイントに置き換える。
• 幾何学的整合性: コストの幾何学（単調性、凹性、リプシッツ連続性）をアーキテクチャにエンコードすることで、制約のない共有ネットワークが失敗しやすい、連続的なコスト軸に沿った信頼できる振る舞いを保証する。
• 実用的な展開: このアプローチは、効率的なマルチ動作点展開を可能にし、システムが再学習なしに、レイテンシ予算や取得コストの変化に適応することを可能にする。

著者らは、CC-AOSが個別設定のソルバーを大幅に上回る一方で、平均的には強力な静的閾値と同等である（厳密には優越しない）とし、主張に対して控えめなトーンを維持している。主な貢献は、あらゆる指標において普遍的な優位性を主張することではなく、動的で状態依存の停止境界、および直接的なマルチ動作点展開をサポートする共有継続曲面を提供することにある。本研究は、固定されたアップストリーム状態推定器と一定の観測コストを持つバイナリ分類に限定されており、マルチクラス設定や時間依存のコストに関する今後の課題が示唆されている。