Retrieval-Corrected Conformal Prediction for Time Series

あなたは気象予報士だと想像してください。雲、風、そして気圧計を見つめ、自信を持ってこう予測します。「午後2時に雨が降ります」。しかし、優れた予報士は自然が気まぐれであることを知っています。彼らは単に一つの時刻を提示するのではなく、幅を持たせて提示します。「午後1時45分から2時15分の間に雨が降るでしょう」。この幅のことを**予測区間（prediction interval）**と呼びます。目標はこの窓を「適切」に作ることです。あまりに広すぎて役に立たない（例えば「今日、いつか雨が降るかもしれない」と言うような）ことも、あまりに狭すぎて傘を持たずに雨に降られてしまうこともあってはなりません。

これらの窓を作るために、科学者たちは**コンフォーマル予測（Conformal Prediction）**と呼ばれる巧妙なトリックを使います。これは「キャリブレーション・チェック（校正確認）」のようなものです。明日の予測を信頼する前に、過去の予測がどれくらい外れていたかを確認します。もし予測が通常10分ずれていたなら、窓の両側に10分の幅を持たせます。これは、データが退屈で予測可能な場合にはうまく機能します。しかし、株価、電力使用量、交通量のような時系列データは、絶えず変化しています。「データの天気」は移り変わるのです。エラーが小さいこともあれば、巨大なこともあります。もし単一の静的なルールを使って窓のサイズを設定すれば、状況が穏やかな時には安全すぎ、混沌としている時には危険すぎるほどリスクが高くなってしまいます。

ここで、蔚山科学技術院（UNIST）の金聖鎮（Sangjin Jin）氏らによる新しい研究が登場します。彼らは、考えを変え続けるデータに対して、どのようにしてこれらの「安全な窓」を構築するかという問題に取り組んでいます。彼らは**Retrieval–Corrected Conformal Prediction（RCCP：検索補正コンフォーマル予測）**と呼ばれる手法を提案しています。RCCPは、過去のすべての間違いに基づいて窓のサイズを推測したり、あるいは直近のミスだけに頼ったりするのではなく、超スマートな司書のように振る舞います。現在の状況と「全く同じ」に見える瞬間を歴史の中から探し出し、それらの特定の瞬間に発生したミスを拾い上げ、それを使ってカスタムの窓を作り上げます。しかし、ここが肝心な点ですが、単に似たような過去のミスを拾ってくるだけでは、安全性を保証するには不十分であることに彼らは気づきました。そのため、彼らは残されたギャップを修正し、窓が鋭利かつ信頼できるものにするための、最終的な「補正」ステップを追加しました。

問題点：「一律のサイズ」という罠

あなたが通学にかかる時間を予想しようとしていると想像してください。これまでの歩きの履歴全体を見ると、時には走って（5分）、時には渋滞に巻き込まれる（20分）ことがあるかもしれません。もし平均を取ってしまうと、窓を12分に設定してしまうかもしれません。しかし、もし今日が重いバックパックを背負った雨の火曜日だとしたら、「平均」は役に立ちません。あなたには、それが「雨の火曜日」であることを知っている窓が必要です。

古い手法は、直近の歩きに基づいたり、似たような日に重みを与えたりすることでこれを解決しようとしました。しかし、著者らはこれらの手法に欠陥があることを見出しました。これらの手法はしばしば証拠を希薄化させてしまいます。実際にはかなり異なっていた「似ている」日を混ぜ込んでしまったり、あるいは複雑な数学を用いて混乱を招いたりすることがあります。それは、干し草の山全体を見て針を探したり、あるいは針のように見える藁を掴もうとしたりするようなものです。針を見逃すか、あるいは針のように見えるだけの藁を掴んでしまうかもしれません。

解決策：「タイムトラベルする司書」

著者らの新しい手法であるRCCPは、**リトリーバー（検索者）とコレクター（補正者）**という二人のチームのように、2つの明確なステップで機能します。

ステップ1：検索（双子を見つける）
まず、システムは現在の瞬間（例えば、重いバックパックを背負った雨の火曜日）を見つめます。次に、全過去の瞬間が集まった「知識ベース」へと飛び込みます。単に直近の数日間を見るのではなく、現在の状況と同じように感じられる「あらゆる過去の瞬間」を検索します。例えば、3年前の、あなたも重いバックパックを背負っていた雨の火曜日を見つけるかもしれません。
これらの「双子」を見つけたら、その特定の日に予測がどれほど外れたかを確認します。あなたは5分で着いたのか、それとも20分かかったのか？ これに基づき、これらの双子のみを用いたカスタムの非対称な窓を構築します。もし双子たちが右側には遅れ、左側には早かったのであれば、窓は右側に長く伸びます。これが「検索（Retrieval）」の部分です。これは、全く同じ境遇に置かれた友人たちに、「どれくらい時間がかかった？」と尋ねるようなものです。

ステップ2：補正（セーフティネット）
ここが天才的な部分です。著者らは、完璧な双子を見つけたとしても、彼らの過去のミスが現在の現実と完全に一致するとは限らないことに気づきました。双々が少しずれていたかもしれないし、あるいは双子のライブラリ自体が少し小さいかもしれません。もし双子のミスをそのまま最終的な答えとして使ってしまうと、依然として間違ってしまう可能性があります。
そこで、RCCPは**補正（Correction）**ステップを追加します。これは「検索された窓」を取り込み、それが100%安全であるためにどれだけ引き伸ばしたり縮めたりする必要があるかを、別のデータセットを用いてチェックします。システムは単一の「補正係数」――魔法の数字――を計算します。もし検索された窓がタイトすぎた場合、係数は1.1（10%引き伸ばす）となります。もし窓が緩すぎた場合は、係数は0.9（10%縮める）となります。
これにより、役割を分離します。リトリーバーは窓の「形」（幅が広いか、偏っているか）を決定し、コレクターは「スケール」（安全であるためにどのくらいの大きさにするべきか）を決定するのです。

得られた結果：より鋭く、より安全な窓

チームはこの手法を、電力使用量、風力発電、太陽エネルギーを含む実世界のデータでテストしました。彼らは、RCCPを、Split Conformal Prediction（単純な平均法）やEnbPI（直近のエラーに基づいて更新される手法）といった他の一般的な手法と比較しました。

結果は目覚ましいものでした。テストにおいて、RCCPは試行したすべての設定においてターゲットとなる安全性レベル（ターゲット・カバレッジ）を達成しました。他の手法は、情報を無駄にするほど広すぎたり、目標を外れすぎたりして、目標に届かないことがよくありました。

具体的には、彼らは窓の質を測定するウィンクラー・スコア（Winkler score）という指標に注目しました（値が低いほど優れています）。RCCPは、あらゆる場面で最も低いウィンクラー・スコアを記録しました。これは、彼らの窓が最も効率的であったことを意味します。つまり、データが予測可能な時には狭く、混沌としている時には広く、安全性を犠失することなく、最も効率的に機能したのです。

特に興味深い発見の一つは、「深刻なミス」についてでした。時として予測区間は失敗し、実際の値が窓の外へ大きく外れてしまうことがあります。著者らは、RCCPは深刻なミスが少ないことを発見しました。たとえ間違っていたとしても、実際の値は窓のすぐ外側に位置しており、大きく外れることはほとんどありませんでした。それは、標的を数センチ外すのと、数マイル外すの違いのようなものです。

また、彼らはこの手法の速度についても確認しました。いくつかの手法は計算に長い時間がかかりましたが、RCCPは驚くほど速く、Airデータセットでのキャリブレーションにわずか70秒しかかかりませんでした（他の手法の中には600秒以上かかるものもありました）。これは、この手法が正確であるだけでなく、リアルタイムでの使用にも実用的であることを示唆しています。

なぜこれが重要なのか

この論文は、「過去の類似性を探すこと」と「最終的な安全チェック」を組み合わせることで、より良いセーフティネットを構築できることを示唆しています。未来が過去と同じであるかどうかを推測する必要はありません。現在に一致する特定の過去を探し出し、そして自分たちの仕事をダブルチェックすればよいのです。

著者らは、適切な「双子」を見つけるために、現在の瞬間をどれだけ上手く記述できるかにこの手法が依存していることも認めています。もし記述が悪ければ、検索は失敗するかもしれません。しかし現時点では、この「検索・補正（Retrieval-Corrected）」アプローチは、株トレーダーから電力網の管理者まで、予測困難な事象を予測しようとするすべての人にとって、強力な新しいツールとなるようです。それは、時系列データの混沌とした塊を、過去がどのように未来をナビゲートするかを教えてくれる物語へと変えてくれるのです。一歩ずつ、補正を加えながら。