🤖 machine learning

TIDES: Implicit Time-Awareness in Selective State Space Models

本論文は、入力依存性をステップサイズから状態行列へシフトさせることで、ネイティブな不規則時系列処理における時間離散化の物理的意味を保持しつつ、トークンごとの高い表現力を維持し、時系列ベンチマークで最先端の性能を達成する選択的状態空間モデルのバリアントであるTIDESを提案する。

原著者： Taylan Soydan, Miguel A. Bessa, Dirk Mohr, Rui Barreira

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Taylan Soydan, Miguel A. Bessa, Dirk Mohr, Rui Barreira

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに物語を理解させることを想像してみてください。ただし、その物語は非常に奇妙な方法で語られています。語り手が毎秒話したり、5 分待ったり、あるいは日単位で完全に飛ばしたりします。これが不規則な時系列データ（心拍数モニターが変化があるときだけブザーを鳴らす患者や、数時間機能停止する気象センサーなど）で起こることです。

これを処理するために、ロボットには 2 つのスーパーパワーが必要です：

文脈認識：過去を記憶すべきか、忘れるべきかを判断するために、今何が起きているかを知る必要があります。（例：「ああ、心発作が起きた？これは覚えておかないと！」対「ただの正常な心拍？直前ののは忘れよう。」）
時間認識：イベント間の経過時間を理解する必要があります。（例：「最後のブザーから 5 秒経った」対「最後のブザーから 5 時間経った」）

以前のロボットの問題点

この論文は、これまで作られた 2 つの最高峰のロボット（MambaとS5）は、それぞれこのスーパーパワーの片方を持ちながら、もう片方が欠けていると主張しています。

「Mamba」ロボット：このロボットは文脈認識が得意です。特定の単語やイベントを見て、「これには特別に注意を払う必要がある！」と判断できます。ただし、これを行うために、時間を柔軟で作り上げられた数値として扱います。入力に基づいて「偽の時間」を学習します。
- 欠点：このロボットを、間隔が通常 1 分である物語で訓練し、その後、間隔が 1 時間ある物語を読ませると、混乱します。見たことのない状況に「偽の時間」の論理を適用しようとして失敗します。これは、タイマーが「5 分」と表示されたときだけ料理することを学んだシェフが、タイマーが「5 時間」と表示されたときに火力の調整方法がわからないようなものです。
「S5」ロボット：このロボットは時間認識が得意です。時間を現実の時計のように扱います。5 時間が経過すれば、何があっても 5 時間経過したと知ります。
- 欠点：あまりに硬直しています。すべての入力を同じように扱います。「この特定のイベントは重要だから、長く覚えておこう」とは言えません。秒数を正確に数えるが、何を記憶する価値があるか判断する脳を持たないロボットのようなものです。

解決策：TIDES

著者らは、TIDES（Time-Implicit Decay and Eigenvalue Selectivity：時間暗黙的減衰と固有値選択性）と呼ばれる新しいロボットを作成しました。

TIDES をハイブリッドなシェフだと考えてください。

時計（時間）：TIDES は、現実の物理的な時計を保持します。時間を偽造することはありません。イベント間の間隔が 5 時間であれば、ロボットはそれが 5 時間であることを知ります。入力から「偽の時間」を学習しようとしません。これにより、以前にその特定の間隔サイズを見たことがなくても、奇妙で不規則な間隔を完璧に処理できます。
脳（選択性）：賢くなるために時間を偽造するのではなく、TIDES は入力に基づいて内部メモリ設定を変更します。大きなイベントが発生すると、内部メモリに「この特定の情報の忘却プロセスを遅くせよ」と伝えます。退屈なイベントが発生すると、「これをすぐに忘れる」と言います。

マジックトリック：
以前のモデルでは、ロボットは時計の速度（時間ステップ）を変更することで賢くなろうとしました。TIDES は時計の速度を現実的かつ物理的なままに保ちながら、メモリ減衰率（どのくらい速く忘れるか）を変更します。これにより、両方の利点を享受できます：時間の実際の経過を理解しつつ、何を記憶すべきかを知っているのです。

「減衰する閃光」テスト

これが機能することを証明するために、著者らは**「Fading Flash**（減衰する閃光）と呼ばれるシンプルなゲームを発明しました。
40 個の光検出器の列を想像してください。

閃光が発生します。
検出器が光り、その後ゆっくりと減衰します。
減衰する速度は、列のどの「ゾーン」にあるか（遅い、中、速い）によって異なります。
閃光の間の時間はランダムで不規則です。

古いロボットたち：「S5」ロボットは、異なるゾーンに対する異なる減衰速度を学習できませんでした。「Mamba」ロボットは速度を学習できましたが、閃光間の時間を訓練で見たことのないものに変更すると、完全に失敗しました。
TIDES ロボット：それはすべてのゾーンに対する異なる減衰速度を学習し、閃光間の時間が全く新しく奇妙なものであっても完璧に機能しました。

結果

著者らは、TIDES を医療センサーデータや生物学的シミュレーションなどの実世界データセットでテストしました。

時系列データの分類において、新しいチャンピオン（State-of-the-Art）となりました。
生物学的方程式の予測において、新しいチャンピオンとなりました。
決定的なことに、訓練データで単に運が良かっただけではなく、競合他社よりも「分布外データ」（奇妙で未見の時間間隔）をはるかによく処理しました。

まとめ

TIDESは、賢くなるために時間を「偽造」しようとするのをやめた新しいタイプの AI です。代わりに、時間を現実的かつ物理的なままに保ちながら、メモリを柔軟にします。これにより、センサーが脱落したり医療記録が遅れて到着したりするような、厄介で不規則な実世界データを、タイミングが変化しても混乱することなく処理できます。

技術概要：TIDES – 選択的状態空間モデルにおける暗黙的な時間認識

問題定義

臨床観察、環境センサーの読み取り、金融イベントなどの現実世界の逐次データは、めったに規則的なグリッドでサンプリングされません。標準的なシーケンスモデルはしばしば均一な時間ステップを仮定しており、データのリサンプリング（時間情報の破棄）または明示的な時間特徴量による入力の拡張のいずれかを強いています。

状態空間モデル（SSM）の 2 つの主要なファミリーはシーケンスモデリングに対処しますが、不規則な時系列に関して根本的なトレードオフに直面しています：

連続時間 SSM（例：S5）： これらは時間ステップの物理的意味（ $\tilde{\Delta} \equiv \Delta$ ）を保持し、実際の経過時間全体にわたって連続ダイナミクスを積分することで、不規則なタイムスタンプをネイティブに処理できます。しかし、これらは通常**線形時間不変（LTI）**であり、そのダイナミクスは入力内容に基づいて変化しないため、トークンごとの表現力が制限されます。
選択的 SSM（例：Mamba）： これらは離散化ステップ $\tilde{\Delta}$ と射影行列（ $B, C$ ）を入力依存関数とすることで、強力なトークンごとの表現力を達成します。これにより、モデルはトークンごとに実効的な時定数を適応させることができます。しかし、この設計は $\tilde{\Delta}$ を物理的なサンプリング間隔から学習されたゲートへと崩壊させます。その結果、モデルは不規則な時間のネイティブな処理能力を失い、不規則なデータを処理するには、時間デルタを明示的な入力特徴量として扱う必要があります。本論文は、この間接的な結合が、トレーニング中に未見の不規則性領域（時間デルタ）へのモデルの外挿を妨げると主張しています。

手法：TIDES

著者らは、Mamba の表現力と S5 の物理的時間意味論を調和させるように設計された選択的 SSM 変種であるTIDES（Time-Implicit Decay and Eigenvalue Selectivity：時間暗黙的減衰と固有値選択性）を提案します。

中核となる設計原則

TIDES は、入力依存性を離散化ステップ（ $\tilde{\Delta}$ ）から連続時間ジェネレーター（状態行列 $\Lambda$ と射影 $B, C$ ）へ移動させます。

暗黙的な時間認識： 時間ステップ $\tilde{\Delta}$ は、観測タイムスタンプによってのみ決定される厳密に物理的なもの（ $\tilde{\Delta} \equiv \Delta$ ）として残ります。これは入力の学習された関数ではありません。
選択的ジェネレーター： 入力依存性は以下の部分に適用されます：
- $\text{Re}(\Lambda)$ ： 固有値の実部（減衰率）が入力の関数となります。これにより、モデルは内容に基づいて「より速く忘却する」または「より長く保持する」ことが可能になり、必要な選択性を提供します。
- $B$ と $C$ ： 入力および出力射影が入力依存となり、モデルがノイズをフィルタリングし、状態の読み書きを調節することを可能にします。
- $\text{Im}(\Lambda)$ ： 虚部（振動周波数）は静的のままです。著者らは、トークンごとの周波数変調にはクリーンな連続時間解釈が存在しないとし、経験的にそれが性能を低下させることを発見しました。

アーキテクチャの詳細

初期化： モデルは、 $\Lambda, B, C$ に対して HiPPO 由来のバイアスと、ゼロ初期化された射影重みで初期化されます。これにより、モデルは良好な条件付けされた LTI 再帰から開始し、選択性を滑らかな摂動として学習します。
低ランク射影： パラメータ数を管理するため、 $B$ と $C$ 用の密な射影は低ランク構造（ $r \ll PH$ ）に因数分解されます。
深層プロジェクター： 入力経路には、Mamba の前処理と同様に非線形性を導入するため、最終的な射影の前に残差ゲート付き線形ユニット（GLU）ブロックが含まれます。
正規化： 再帰における無制限の摂動を防ぎトレーニングを安定させるため、RMSNorm が離散化の直前に射影されたパラメータ（ $\text{Re}(\Lambda), B, C$ ）に適用されます。
安定した再パラメータ化： $\text{Re}(\Lambda)$ は（指数関数や安定なマッピングを介してなど）再パラメータ化され、入力に関わらず固有値が安定な半平面に留まり、爆発的な再帰を防ぐようにします。

主要な貢献

アーキテクチャ： TIDES は、選択性が連続時間ジェネレーター（ $\text{Re}(\Lambda), B, C$ ）に存在し、離散化ステップが物理的かつ暗黙的な量として残る設計を導入します。これにより、モデルはトークンごとの表現力を犠牲にすることなく、不規則なタイムスタンプをネイティブに処理できます。
メカニズム分析（Fading Flash）： 著者らは、2 つの失敗モードを分離する新しい診断ベンチマークFading Flashを導入しました：
- LTI の硬直性： S5 が複数の減衰率を同時にモデル化できないこと。
- 外挿失敗： Mamba 型モデルがトレーニング分布外の時間デルタ（ $\Delta$ ）に一般化できないこと。
- TIDES は、ゾーン依存のダイナミクスを捉えつつ、未見の $\Delta$ 値全体で堅牢な性能を維持する唯一のアーキテクチャであることが示されました。
経験的結果： TIDES は以下のタスクで新しい最先端（SOTA）の平均順位を達成しました：
- UEA 時系列分類： LogNCDE、RFormer、その他のベースラインを上回りました。
- Physiome-ODE 回帰： LinODEnet および他の不規則時系列予測モデルを凌駕しました。

実験的知見

Fading Flash： この制御実験において、S5 はゾーン依存の減衰を捉えることができませんでした（表現力の低さ）。一方、MambaS（Mamba の代理モデル）はトレーニング範囲外のテスト時 $\Delta$ 値への外挿に失敗し、実効的な減衰率がドリフトしました。TIDES はすべてのゾーンに対して正しい減衰率を学習し、広範なテスト時 $\Delta$ に対して堅牢に留まりました。
ランダムドロップアブレーション： 無作為な時間ステップのドロップを伴う EigenWorms データセットにおいて、TIDES はトレーニング中に未見の極端なドロップ率（ $r_{test}=0.9$ ）においても高い精度を維持しました。対照的に、MambaS と RFormer は高ドロップ率で著しく崩壊し、入力依存の $\tilde{\Delta}$ または固定されたシグネチャウィンドウが不規則なサンプリング領域に一般化できないことを確認しました。
$\text{Im}(\Lambda)$ に関するアブレーション： 固有値の虚部を入力依存にしても性能は向上せず、わずかに低下しました。これは、振動周波数を静的に保つという設計判断を支持するものです。

意義と主張

本論文は、トークンごとの表現力と忠実な物理的時間意味論は両立可能であることを TIDES が実証していると主張しています。ただし、そのためには入力依存性が離散化ステップではなく、連続時間ジェネレーターを経由するようにルーティングされる必要があります。

著者らは、不規則にサンプリングされたシーケンスに対するより広範な設計原則を提唱しています：離散化と表現力を分離する。 物理的なサンプリング間隔は、解析的な離散化ルールを通じてのみモデルに入力されるべきであり、表現力は連続時間ジェネレーターに存在すべきです。この分離により、モデルはトレーニング中に未見のサンプリング領域にも外挿可能でありながら、同時に表現力を持つことが可能になります。

本論文はその範囲において控えめであり、TIDES は不規則時系列（臨床、センサー、シミュレーションデータ）向けに設計されており、入力依存時間ゲートの役割が異なる言語モデリングなどの規則的グリッドタスクにおける Mamba の一般的な代替手段であると主張していないことを明示しています。この作業は、時間処理と表現力の分離という原則が、Neural ODE や連続時間アテンション変種を含む他の連続時間アーキテクチャにも拡張可能であることを示唆しています。