技術的概要：RareCP – 効率的なコンフォルマル予測のためのレジーム認識型検索

問題定義

時系列予測には、リスクを考慮した意思決定のための信頼性の高い不確実性定量化（UQ）が必要です。コンフォルマル予測（CP）は、交換可能性の仮定の下で有限サンプルのカバレッジ保証を提供するモデル非依存のフレームワークを提供しますが、この仮定は時系列データの逐次的な性質によって根本的に侵害されます。時間的依存性とドリフトを処理するための既存の適応法は、一般的に以下の 2 つのカテゴリに分類されます：(1) 時間経過に伴う目標カバレッジ率を調整する適応的ミスカバレッジ手法、および (2) サンプルの関連性に基づいて較正重みを割り当てる重み付け CP 手法。

著者らは、これらの既存手法が予測誤差における 2 つの中心的な非定常性の源を明示的に分離することに失敗していると主張しています：

1. 滑らかにドリフトする誤差分布：基礎となるプロセスの変化に伴って、残差の類似性が進化する場合。
2. 共存する明確な誤差レジーム：残差分布が単一の軌道に沿って滑らかに変化するのではなく、明確なコンテキスト間で切り替わる場合。

標準的な手法は、これらの問題に対して一様に区間を拡大するか、固定された類似性重みに依存することで対応することが多く、非効率性（過度に広い区間）やレジームシフト時のカバレッジの低下を招いています。

手法：RareCP

RareCP（コンフォルマル予測のためのレジーム認識型検索）は、固定された予測モデルのためのバックボーン非依存アダプターとして導入されます。これは、局所的に関連する誤差レジームから過去の符号付き残差を検索することで予測区間を較正します。アーキテクチャは、以下の 3 つの主要コンポーネントで構成されます：

1. 局所符号付き残差較正

絶対残差を使用する手法とは異なり、RareCP は符号付き残差（$r_i = y_i - \hat{y}_i$）を較正します。これにより、予測区間の下限と上限が個別に適応し、非対称な区間を可能にします。クエリコンテキスト $a_t$ が与えられたとき、RareCP は残差の重み付き経験累積分布関数（CDF）$\hat{F}_t(\rho)$ を形成し、分位数を抽出して区間 $C_t = [\hat{y}_t + Q_t(\alpha/2), \hat{y}_t + Q_t(1-\alpha/2)]$ を定義します。

2. レジーム認識型 Top-$k$ 検索

誤差の「レジーム構造」に対処するため、RareCP は**エキスパートの混合（MoE）**検索メカニズムを採用します：

• ハイパーネットワーク条件付きエキスパート：いくつかの低容量の検索エキスパートが訓練されます。各エキスパートは、現在のクエリコンテキスト（$a_t$）とデータセット記述子（$\eta_d$、データセット ID と統計情報を含む）を受け取り、アフィン検索マップを出力するハイパーネットワークを使用します。これにより、類似性メトリックを現在のタイムステップとデータセットの両方に特化させることができます。
• コサインアテンション類似性：エキスパートは、マップされたキーとクエリを単位球面上に正規化し、コサイン類似性を使用して、最も関連性の高い Top-$k$ の較正残差を検索します。
• スパース検索：サポートを Top-$k$ 近傍に制限することで、局所性を強制し、無関係なレジームに割り当てられる質量を削減します。
• ゲート混合：軽量なゲートネットワークが、各エキスパートによって構築された局所 CDF を混合するための単体重みを生成します。これにより、システムはクラスタ化された誤差レジーム間を動的に切り替えることができます。

3. 訓練と最適化

• 目的関数：モデルは、ウィンクラー区間スコアの滑らかな緩和を最小化するように訓練されます。
• ティーチャーアンカリング：学習された検索マップの崩壊や不安定化を防ぐため、各学生ハイパーネットワークは、パラメータ空間の蒸留損失を介して、軽量で事前に適合されたティーチャーマップにアンカーされます。
• Leave-One-Out（LOO）：訓練では、クエリターゲットを検索セットから除外する LOO 較正エピソードを使用し、テスト時のシナリオを反映します。
• カバレッジ補正：テスト時には、RareCP は適応的コンフォルマル推論（ACI）と統合され、ドリフトを補正するためにオンラインで目標ミスカバレッジレベル $\alpha_t$ を調整します。

主要な貢献

1. バックボーンとの競争力ある性能：RareCP は、この検索メカニズムを備えたコンフォルマル予測が、最先端の時系列基盤モデル（FMs）のネイティブな分位数ベースの予測区間と競争力のある性能を示すことを実証しており、ネイティブな UQ を持たない任意のポイント予測器（ARIMA など）にも適用可能です。
2. 検索による効率とカバレッジのトレードオフ：本論文は、コンフォルマル較正のためのスパース残差検索を導入します。これは、$K_n$（検索される残差の数）によって制御されるトレードオフを分析します：より小さな $K_n$ は局所的な振る舞いに焦点を当てることで効率を向上させ、より大きな $K_n$ は漸近的な一貫性をサポートします。
3. 構造的バイアス向けのアーキテクチャ：提案された線形コサインアテンション検索アーキテクチャは、時間ドリフトする類似性とクラスタ化された誤差レジームを明示的に処理するように設計されており、制約のない較正重みを必要としません。

実験結果

著者らは、エネルギー、交通、気候、金融の分野にまたがる 10 のコアデータセット（Bench10）と、22 のデータセットのフルスイート（Bench22）を網羅するGIFT-Evalベンチマークで RareCP を評価しました。

• ベースライン：比較には、標準的な CP 手法（SplitCP、ACI、HopCPT、ResCP、KOWCPI）と、基盤モデルのネイティブ UQ ヘッド（TiRex、Chronos、Moirai、TimesFM など）が含まれました。
• 性能：RareCP は、Bench10 において、テストされたすべての 4 つのバックボーン（TiRex、TimesFM-2.5、TabPFN-TS、ARIMA）で、平均正規化ウィンクラースコア（nWink）が最も低くなりました。Bench22 では、ACI に 1 つの特定のバックボーンでわずかに劣るのみで、競争力のある性能を維持しました。
• スケーリング：性能の向上は、より大きな較正ストリーム（10 万件およびフルシリーズテスト）で増加し、より豊かなレジーム構造を持つデータほど、均一な平滑化よりも検索ベースの較正から恩恵を受けることを示唆しています。
• アブレーション：この研究は、各コンポーネントが性能に寄与することを確認しました：
  • 学習された密な類似性は nWink を約 13.9% 改善しました。
  • ハードな Top-$k$ 検索の追加は約 4.6% 改善しました。
  • ハイパーネットワーク条件付けは約 1.7% 改善しました。
  • レジーム混合（MoE）は約 2.1% 改善しました。
  • ティーチャーアンカリングと ACI 補正は、より小さいながらも一貫した改善を提供しました。
• カバレッジ：RareCP は、ほとんどのデータセットで目標（80%）に近い経験的カバレッジを維持しましたが、いくつかのベースライン（KOWCPI など）は、著しいアンダーカバレッジを犠牲にして狭い区間を達成しました。

意義と限界

意義：
本論文は、時系列におけるコンフォルマル較正が、ドリフトと残差レジーム構造を別々にモデル化することから利益を得ることを提唱しています。RareCP は、カバレッジ保証を犠牲にすることなく区間効率を向上させる検索ベースのメカニズムを提供し、深層学習の柔軟性とコンフォルマル予測の厳密さの間のギャップを効果的に埋めます。これは、パラメータ空間におけるティーチャースチューデント蒸留を用いたハイパーネットワークでコンフォルマル重み付け規則のパラメータを償却する最初の手法です。

限界：

• 理論的範囲：理論的解析は、検索ルールが較正前に固定されるか、または較正残差とは異なるデータから学習される、クリーンな設定を仮定しています。これは、強力な検索ルールを学習することと較正のためにデータを予約することの間の有限サンプルトレードオフを完全に解決するものではありません。
• 不均一なドリフト：Bench10 では効果的でしたが、より不均質な Bench22 スプリットではカバレッジが弱く、スパースまたは急激なドリフトは依然として課題であることを示しています。
• 計算コスト：ハイパーネットワークの訓練とティーチャーアンカリングプロセスのため、RareCP は単純なコンフォルマルベースラインと比較して、より高いオフライン訓練コストを有します。

著者らは、将来の研究において、より大規模な学習・較正の分割を探求し、キャッシュされた埋め込みや近似検索を通じて訓練コストを削減しながら、同じ局所的誤差レジームからの残差を使用して区間を較正するという中核原則を維持すべきであると結論付けています。