🤖 AI

Differencing the Diffusion Trajectory toward Uncertain Components for Time Series Forecasting

DiffDiffは、ノイズを含んだ状態をターゲットからその二階差分へと漸進的にシフトさせることで、予測可能性の非対称性を拡散軌道に直接埋め込み、モデルが歴史的な連続性をアンカーとなるコンテンツとして活用しながら、不確実な成分に対して生成的な努力を集中させることを可能にする、時系列予測のための新しい拡散フレームワークである。

原著者： Chen Su, Yuanhe Tian, Yan Song

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chen Su, Yuanhe Tian, Yan Song

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

未来を推測する技術

来週の天気を予測しようとしている場面を想像してみてください。空を見上げ、風を確認し、ここ3日間雨が降り続いているのを見ているとします。あなたは、明日もおそらく雨が降るだろうということを、ほぼ確信を持って理解しています。それは簡単な部分です。つまり、「ゆっくりと変化するもの」です。しかし、突然の、混沌とした雷雨が「いつ」発生するかを正確に予測するのはどうでしょうか？それは難しいことです。科学の世界では、これを**時系列予測（time series forecasting）**と呼びます。これは、電力使用量、株価、心拍数といった過去のデータの連なりを見て、次に何が起こるかを推測する技術です。

長い間、コンピュータはこの分野で進化を続けてきましたが、「不確実性」の部分で苦戦することがよくありました。コンピュータは、予測可能なトレンド（気温の着実な上昇など）と、予測不能で激しいスパイク（突然の市場暴落など）を同じものとして扱い、未来の全体像を一度に推測しようとしすぎる傾向があります。最近では、**拡散モデル（Diffusion Models）**と呼ばれる新しいタイプのAIが、この分野のスターとなっています。これらのモデルを、ノイズの混じった静止画のような大理石の塊から、少しずつノイズを削り取っていく彫刻家に例えてみましょう。彫刻家はノイズを削り取り、完璧な像を現します。予測における「像」とは未来のデータであり、「ノイズ」とは私たちが予測できないランダムさのことです。目標は、AIにノイズを削り取る方法を教え、可能な限り正確な未来を明らかにさせることです。しかし、ここに落とし穴があります。もし、塊全体から同じ割合でノイズを削り取ろうとすれば、退屈で予測可能な部分に時間を浪費する一方で、刺激的で予測不可能な詳細なディテールまで誤って滑らかに削り取ってしまう可能性があるのです。

新たな彫刻家：DIFFDIFF

本論文では、彫刻家の働き方を変えるDIFFDIFF（Differencing Diffusion）という新しい手法を紹介しています。著者たちは、時系列においては、未来は単なる白紙ではなく、「過去に基づいて容易に推測できるもの」と「純粋な混沌」の混合物であることに気づきました。川を見ているとしましょう。水位はゆっくりと予測可能に上昇しているかもしれませんが（過去に裏付けられた動き）、水面のさざ波は荒々しくランブルしています。標準的な拡散モデルは、川全体を同じものとして扱い、緩やかな水位上昇と荒れたさざ波の両方を同時に「デノイズ（ノイズ除去）」しようとします。これは、ぼやけた写真を修正する際に、空を鮮明にする筆使いと、動いている鳥を鮮明にする筆使いを全く同じで行うようなもので、非効率的です。

DIFFDIFFは、この「削り取る」プロセスをよりスマートにすることで、ゲームのルールを変えます。未来のすべてを平等に扱うのではなく、「差分（differencing）」という特別な数学的トリックを使用します。車が道を走っている様子を見ていると想像してください。車の位置だけを見ていれば、動きはスムーズです。しかし、車がどれくらいの速さで加速したり減速したりしているか（加速度）を見れば、真に予測不可能な変化が見えてきます。DIFFDIFFは焦点を移します。AIがノイズを取り除く際、予測可能な部分（過去から既に分かっていること）への関心を徐々に下げ、真に不確実な部分、つまり急激な変化や変動に集中的に注力し始めます。

このようにすることで、AIは既に知っていることに脳のパワーを浪費するのをやめることができます。そして、そのエネルギーのすべてを、最も困難な課題、すなわち予測不可能なスパイクやディップ（落ち込み）のために温存します。予測可能な部分を完全に忘れてしまわないようにするために、このモデルは「ゲート（門）」システムという巧妙な仕組みを使用します。このゲートは交通管制官のように機能し、AIに対して、過去の滑らかなトレンドに注意を払うべき時と、混沌に集中するためにそれらを無視すべき時を教えます。

研究結果

研究者たちは、電力使用量、交通量、天候パターンを含む7つの異なる実世界のデータセットを用いてDIFFDIFFをテストしました。彼らは、他の6つのトップレベルの拡散モデルと比較を行いました。結果は明白でした。DIFFDIFFは一貫して他のモデルを上回りました。

具体的には、論文では以下のことが示されました：

困難な部分に強い： このモデルは、不確実性が最も高い長期的な未来（最大720タイムステップ先まで）の予測において優れた能力を発揮しました。
効率的である： 実行するために、より多くの計算能力や時間を必要としたわけではなく、持っているパワーをより賢く活用したのです。
「ゲート」が機能している： 過去に注目するか混沌に注目するかを決定するシステムは、異なる種類のデータに適応しました。例えば、非常に規則的で周期的な電力データでは、差分への集中を維持するためにゲートはプロセスを通じて高く開いたままになりますが、高度に確率論的で混沌とした風のデータでは、そこでの差分情報はほとんどノイズであるため、ゲートは抑制された状態になります。

著者らはまた、彼らの手法が単に複雑さを加えたのではなく、焦点を「シフト」させることで機能していることを証明するために実験を行いました。もし「差分」のトリックを取り除けば、モデルの性能は低下します。もし「ゲート」を取り除けば、性能は低下します。しかし、これらを組み合わせると、モデルはまさに必要とされる場所、つまり未来の真に不確実な部分に努力を集中させることができるのです。

要約すると、DIFFDIFFは、AIに対して「当たり前のことを推測するのをやめて、驚きのあることに集中せよ」と教えているのです。これは、学生に対して「『重力』の定義（我々が既に知っていること）を暗記するのに時間を浪費するのではなく、特定の、よろめくリンゴがどのように落ちるかを解明することに時間を使ってください」と言うようなものです。これを行うことで、モデルはより正確であるだけでなく、将来起こりうる範囲（レンジ）をより良く示す予測を生み出します。これは、電力網の管理や異常気象への備えにおいて極めて重要です。

技術要約: DIFFDIFF – 時系列予測における不確実な成分に向けた拡散軌道の差分化

1. 問題提起

確率論的な時系列予測は、過去の観測ウィンドウに基づく将来の値の条件付き分布をモデリングすることを目的としている。デノイジング拡散確率モデル（DDPM）は、制約的なパラメトリック仮定を置かずに複雑な予測分布をモデリングできる強力なフレームワークとして、このタスクにおいて台頭してきたが、標準的な拡散プロセスでは対処できない時系列データにおける根本的な非対称性に直面している。

時系列予測において、未来は空白の状態ではなく、観測された履歴の継続である。したがって、予測の不確実性は一様に分布しているわけではない。履歴と強く相関している成分（例：滑らかなトレンド、季節パターン）は残存する不確実性が極めて低い一方で、履歴では決定できない成分（例：急速な変動、レジームシフト）には残存する不確実性が集中する。既存の拡散ベースの予測器は、外部のルール（例：トレンドのために点予測を凍結するなど）を用いて、拡散プロセスの「前」にターゲットを決定論的成分と不確実な成分に分離することで、この問題に対処しようと試みている。しかし、このアプローチは非対称性を拡散パイプラインの外側に局所化させてしまうため、拡散プロセスによる破壊の軌道が、ターゲットのどの部分がすでに履歴によって固定されているかを知ることができない。その結果、拡散モデルの容量が、生成的な努力が最も必要とされる高不確実性の成分ではなく、決定論的に供給可能なはずの履歴に固定されたコンテンツの再構成に浪費されてしまう。

2. 手法: DIFFDIFF

著者らは、DIFFDIFF（Differencing Diffusion：差分拡散）を提案する。これは、予測可能性の非対称性を拡散の軌道自体に組み込むフレームワークである。外部的なデコンポジション（分解）を行うのではなく、DIFFDIFFはフォワード演算子をステップ依存にし、ノイズの混じった中間状態を、ターゲットの値からその二階差分構造へと漸進的に移行させる。

2.1 ステップ依存のフォワードプロセス

核心となる革新は、フォワードプロセス $q(x_t | x_0)$ にある。標準的な拡散が等方的なガウスノイズを加えるのに対し、DIFFDIFFは一般化されたフォワード周辺分布を定義する：
$q(x_t | x_0) = \mathcal{N}(\sqrt{\bar{\alpha}_t} A_t x_0, (1 - \bar{\alpha}_t)I)$
ここで、 $A_t$ はステップ依存の遷移行列である。

漸進的な差分化: $A_t$ は $(1 - \lambda_t)I + \lambda_t D^2$ と定義され、 $D^2$ は二階差分演算子であり、 $\lambda_t$ は拡散ステップ $t$ とともに単調に増加する。
効果: 初期のステップ（ $t \approx 0$ ）は元のターゲット $x_0$ に近い状態を保つ。拡散が進むにつれて、 $A_t$ はレベルやトレンドといった低周波成分を抑制し、履歴によって固定しやすい成分を排除する一方で、高周波成分（変動や曲率）を保持する。
拡張ターゲット: 境界間の連続性を確保するため、ターゲット $x_0$ は、観測履歴からの短いオーバーラップを含む拡張ウィンドウ $[x_{label}, x_{fut}]$ として定義される。これにより、 $D^2$ が履歴と将来の境界における曲率をエンコードすることが可能になる。

2.2 ステージ適応型条件付きデノイザー

フォワードプロセスが後半のステップで値領域のコンテンツを抑制するため、逆プロセスにはこの情報を再供給できる条件付け経路が必要となる。DIFFDIFFは、履歴の2つの視点を融合させたステージ適応型条件付きデノイザーを採用している：

値領域 (Value Domain): 生の履歴 $x_{hist}$ をエンコードする（レベル、スケール、トレンドを保持）。
差分領域 (Difference Domain): 一階差分 $\Delta x_{hist}$ をエンコードする（局所的な速度と短期的な変動を捕捉）。

これら2つの表現は、タイムステップ適応型ゲート $g$ を介して融合される：
$c = h_{val} + g \odot h_{diff}$
ここで、 $g$ は拡散タイムステップに条件付けられたシグモイド関数である。このゲートは、差分ブランチの寄与を動的に調整する。つまり、ノイズの混じった状態が差分構造をより多く保持しているとき（後半のステップ）にはゲートを開き、値領域のコンテンツだけで十分なとき（初期のステップ）には差分ブランチを抑制する。

2.3 学習とサンプリング

学習: モデルは、絶対的なスケールを復元するためのインスタンス正規化統計量（平均と分散）を予測する補助損失とともに、値領域における位置重み付き再構成損失（ $x_0$ 予測）を最小化する。
サンプリング: 終端分布は標準的なガウス分布 $\mathcal{N}(0, I)$ に近づくため、既存の加速サンプラー（例：DDIM）との互換性が保たれている。逆プロセスは、ステップ依存の行列 $A_t$ を使用して、各ステップで予測を正しい信号表現へとマッピングする。

3. 主な貢献

非対称性の内部化: DIFFDIFFは、外部のデコンポジション・ルールに頼るのではなく、ステップ依存のフォワード演算子を通じて、決定論的・不確実性の非対称性を拡散の軌道に直接組み込んだ初の拡散フレームメントである。
周波数選択的な破壊: フォワードプロセスにおいて二階差分演算子を利用することで、本手法は非一様な信号対雑音比（SNR）プロファイルを作り出す。これにより、低周波（履歴に固定された）成分を高周波（不確実な）成分よりも速く減衰させ、生成能力をターゲットの最も不確実な部分へと効果的に再配分する。
ステージ適応型条件付け: タイムステップ適応型のゲーティング機構の導入により、デノイザーが値領域と差分領域の履歴情報を動的にバランスさせることが可能となり、フォワード演算子によって引き起こされる抑制を補完する。
理論的一貫性: 著者らは、ステップ依存のフォワードプロセスが非マルコフ的性質を持つにもかかわらず、逆プロセスがフォワードの軌道と周辺一致性を維持し、有効なサンプリングを保証することを証明している。

4. 実験結果

著者らは、7つの多様な時系列ベンチマーク（Electricity, ETTm2, Exchange Rate, Traffic, Solar-Energy, Weather, Wind）について、4つの予測ホライゾン（ $H \in \{96, 192, 336, 720\}$ ）にわたってDIFFDIFFを評価した。

性能: DIFFDIFFは、84の設定のうち53の設定において、6つの最先端の拡散ベースライン（CSDI, TimeDiff, TMDM, NsDiff, MA-TSDを含む）を上回った。また、大部分のケースで最高の連続ランク確率スコア（CRPS）を達成した。
アブレーション研究:
- フォワードプロセス（差分化）が改善の主要な源泉であることが特定された。これを含まないバリアントは大幅に性能が低下した。
- ステージ適応型ゲートは極めて重要であった。これを除去したり、固定の融合メカニズムに置き換えたりすると、特に変動性の高いデータセットにおいて性能の低下を招いた。
- 二階差分 ( $D^2$ ) は、一階 ( $D^1$ ) や三階 ( $D^3$ ) の演算子よりも堅牢であることが証明され、曲率の捕捉と外挿エラーの増幅回避のバランスを最適に取っていた。
分析: スペクトル分析により、フォワードプロセスが拡散が進むにつれて、保持される信号エネルギーを高周波成分へとシフトさせることに成功していることが確認された。さらに、ゲートのダイナミクスはデータセットの特性に適応しており、周期的な時系列（Electricity, Traffic）では差分ブランチを開き、高度に確率的な時系列（Solar, Wind）では抑制することが示された。

5. 意義と主張

本論文は、DIFFDIFFが、拡散の軌道に予測可能性の非対称性を直接エンコードすることで、確率論的な時系列予測が大幅に恩恵を受けることを示している。履歴に固定されたコンテンツを漸進的に抑制するように破壊パスを再形成することで、モデルは既知のものの再構成に生成能力を浪費することを避けている。代わりに、履歴によって決定できないダイナミクスという「困難な」成分にリソースを集中させ、固定されたコンテンツについては条件付け経路に供給させる。

著者らは、このアプローチにより、単一のエンドツーエンドの拡散プロセスがターゲットの構造を「認識」できるようになり、外部の分解ルールや複雑なマルチステージ・パイプラインを必要とせずに、優れたキャリブレーションとシャープネス（より低いCRPS）を実現できることを強調している。また、本手法は標準的な拡散サンプリング技術との互換性を維持しており、既存の拡散ベースの予測フレームワークに対する実用的かつ効率的なアップグレードとなっている。