技術要約：時間的ポイントプロセスにおける進展：ベイズ、ニューラル、およびLLMのアプローチ

問題の定義

時間的ポイントプロセス（Temporal Point Processes: TPP）は、連続時間で発生するイベントのシーケンスを特徴付けるための確率モデルである。同期的な時系列データとは異なり、イベントシーケンス（例：神経スパイク、金融注文、ソーシャルメディアの投稿）は非同期であり、しばしば複雑な自己興奮または抑制ダイナミクスを示し、過去の全履歴に依存する場合がある。TPP研究における核心的な課題は、過去の履歴 $H_{t^-}$ が与えられたときに時刻 $t$ でイベントが発生する確率を定義する、条件付き強度関数 $\lambda^*(t)$ をモデリングすることにある。

従来の統計的TPP（例：ポアソン過程、ホークス過程）は解釈性を提供する一方で、複雑なデータセットに対する表現力を制限する厳格なパラメトリック仮定に依存することが多い。対照的に、近年のディープラーニングや大規模言語モデル（LLM）の進展は、より高い柔軟性を提供するが、不確実性の定量化、連続時間における計算効率、および意味的コンテキストの統合に関する課題をもたらしている。本サーベイは、これら進化するパラダイム、特に2020年から2025年までの期間に焦点を当て、包括的なレビューの必要性に対処するものである。

方法論と分類

本論文は、TPPにおける最近の進展を、ベイズ、ニューラル、およびLLMベースのアプローチという3つの主要な方法論的フレームワークに整理している。

1. ベイズ非パラメトリックTPP

このフレームワークは、強度関数自体を無限次元のランダム変数として扱うことで、固定されたパラメトリックな形式を超越する。これは通常、ガウス過程（GP）を用いてモデル化される。

• ポアソン過程: 強度 $\lambda(t)$ は $l \circ g(t)$ としてモデル化される。ここで $g(t)$ はGP事前分布に従い、$l(\cdot)$ はリンク関数（例：指数関数、シグモイド関数）である。推論は、時間および関数空間にわたる積分に起因する「二重の困難さ（doubly intractable）」のため困難である。解決策として、潜在的な棄却点を用いたマルコフ連鎖モンテカルロ法（MCMC）、ラプラス近似（クロネッカー法やスペクトル法を使用）、および変分推論（VI）が含まれる。
• ホークス過程: 条件付き強度は、基底強度 $\mu(t)$ とトリガー関数 $\phi(\tau)$ で構成される。ベイズ非パラメトリックなアプローチでは、両方のコンポーネントにGPを配置する。重要な手法は、分岐潜在変数（イベントが背景イベントであるか、あるいは前のイベントによって引き起こされたものであるかを示す）を用いて、尤度を独立したポアソン過程へと分離し、標準的なGP推論手法（例：ギブスサンプリング、EMアルゴリズム、VI）の使用を可能にすることである。近年の研究では、条件付き共役性を達成するためにポリア・ガンマ・データ拡張も利用されている。

2. ニューラルTPP

ニューラルTPPは、履歴の埋め込みと次なるイベントの条件付き分布をモデル化するために、ディープラーニングアーキテクチャを活用する。本サーベイでは、これらを3つのアーキテクチャ・ファミリーに分類している。

• 回帰型ニューラルTPP (Recurrent Neural TPPs): 各イベントごとに隠れ状態 $h_n$ を逐次的に更新するために、RNN、LSTM、またはGRUを利用する。予測については計算効率が高い（$O(1)$）が、逐次的な学習のボトルネック（$O(N)$）や長距離依存性の捕捉の難しさに直面する。最近では、State Space Model（例：S4, Mamba）との統合により、これらの制限に対処することが試みられている。
• 自己回帰型ニューラルTPP (Autoregressive Neural TPPs): 長距離依存性を捉えるために自己注意機構を備えたTransformerアーキテクチャを採用し、並列学習を可能にする。これらのモデルは、イベントの時間とマークを埋め込みにエンコードし、アテンション・スコアを使用して履歴の表現を生成する。しかし、KVキャッシュによる最適化が行われない限り、通常は二次的な学習複雑度（$O(N^2)$）と線形な予測複雑度（$O(N)$）を伴う。
• 微分方程式ベースのニューラルTPP (Differential Equation-based Neural TPPs): これらのモデル（例：Neural ODE/SDE）は、イベント間の隠れ状態の進化を連続的に定義する。状態は、Neural ODEを介して滑らかに進化し、イベント発生時にNeural SDEを介してジャンプする。これにより、連続的な区間における強度関数の柔軟なモデリングが可能となり、RNNやTransformerの離散的な時間の制限を克服できるが、学習中の高価な数値積分というコストを伴う。
• 拡散ベースTPP (Diffusion-based TPPs): イベントシーケンスの生成をデノイジング（除去）プロセスとして扱う新しいパラダイムである。自己回帰モデルとは異なり、拡散モデルはイベントシーケンス全体（または複数の将来のイベント）を同時に生成するため、長期予測における誤差の蓄積を軽減できる可能性があるが、時間的一貫性の確保と計算コストに課題がある。

パラメータ化戦略: 本論文は、ニューラルTPPが次なるイベントの分布を以下の方法でパラメータ化できることを強調している：

1. 条件付き強度関数 ($\lambda^*$): 最尤推定（MLE）のために数値積分を必要とする。
2. 条件付き密度関数 ($f$): 「強度フリー」のモデリング。積分を回避し、効率的なサンプリングを可能にする。
3. 累積強度 ($\Lambda^*$) または分布 ($F$): 尤度を積分ではなく微分を用いて再定式化し、自動微分を通じて学習効率を向上させる。

3. LLMベースTPP

この新興分野は、イベントシーケンスのセマンティック（意味的）およびマルチモーダルな側面を扱うために、大規模言語モデル（LLM）を統合する。

• LLMに着想を得たTPP: 従来のニューラルTPPを強化するために、LLMのメカニズム（例：プロンプト学習、アブダクション推論）を利用する。継続学習のための PromptTPP や、因果推論のための LAMP などが例として挙げられる。
• 直接的なLLM-TPP統合: LLMをコアとなるシーケンスモデルとして扱う。イベントはトークン化（時間、タイプ、テキスト）され、直接LLMに投入される。TPP-LLM はイベントのテキスト記述を使用し、Language-TPP は連続的な時間間隔をバイトレベルのトークンとしてエンコードすることで、LLMが時間と意味を共同でモデル化することを可能にする。
• 拡張: 近年の研究は、テキスト、ビデオ、タイムスタンプを含むマルチモーダル・ベンチマーク（例：DanmakuTPPBench）や、検索拡張生成（RAG）タスクへとTPPを拡張している。

主な貢献

1. 包括的な分類学: 本論文は、ベイズ、ニューラル、LLMパラダイムにわたるTPPの構造化されたレビューを提供し、2020年以降の分野を更新している。特に、これまで十分にレビューされてこなかったベイズ非パラメトリックTPPと、誕生したばかりのLLMベースのTPPに焦点を当てている。
2. 方法論的統合: さまざなモデリング・アプローチ（例：表現力 vs 計算コスト、離散時間 vs 連続時間）およびパラメータ化戦略（強度ベース vs 密度ベース）のトレードオフを詳細に述べている。
3. 学習と評価の分析: 学習目的（MLE、Wasserstein距離、ノイズ対比推定、フィッシャーダイバージェンス）を比較し、標準化されたベンチマークの欠如を指摘した上で、EasyTPP や DanmakuTPPBench といった最近の取り組みを強調している。
4. アプリケーション・レビュー: 金融、疫学、神経科学などの領域における古典的なアプリケーション（イベント予測、因果発見）を再検討し、現代の手法がいかに従来のベースラインを改善しているかを述べている。

結果と経験的知見

本論文は、新しい実験結果を提示するのではなく、既存文献の経験的知見を合成している：

• 性能: 大規模で複雑なデータセットにおける次イベント予測において、ニューラルTPP（特にTransformerベースのモデル）は、古典的なパラメトリックモデル（例：ホークス過程）を一般に上回る。
• 効率: 条件付き密度関数または累積強度関数をパラメータ化するモデルは、数値積分を回避することで、強度ベースのモデルと同等の精度を維持しつつ、より優れた学習効率を達成することが多い。
• 限界: 長期予測はすべてのクラスにおいて依然として課題である。自己回帰型は誤差の蓄積に苦しみ、非自己回帰型（拡散モデル）は時間的一貫性に苦慮する。
• LLMの影響: LLMベースのアプローチは、意味理解やマルチモーダルな推論を必要とするタスクにおいて有望であるが、純粋な時間的予測ベンチマークにおいて必ずしも支配的ではない。

重要性と将来の方向性

本論文は、統計的な厳密さ（ベイズ手法）、ディープラーニングの柔軟性（ニューラル手法）、および言語能力（LLM）の間のギャップを埋めるタイムリーなリソースであると主張している。また、分野が、単にイベントの発生確率をモデル化することから、豊かなコンテキストを持つ時間的にインデックス付けされたイベントデータを理解することへと移行していることを強調している。

特定された課題:

• データとベンチマーク: 標準化され、精査されたデータセットおよび評価プロトコルの欠如が、公平な比較を妨げている。
• 解釈性: ニューラルTPPはしばしばブラックボックスとして機能するため、因果発見や意思決定支援を困難にしている。
• スケーラビリティ: 連続時間のモデリングと長いシーケンスの組み合わせは、計算上のボトルネック（例：アテンションの $O(N^2)$、数値積分のコスト）を生み出す。
• サンプリング効率: 有効なイベントシーケンスを生成することは、尤度評価と比較して依然として計算コストが高い。
• マルチモーダル統合: 連続的な時間の表現を、離散的で高次元なモダリティ（テキスト、画像）と効果的に整合させることは、依然として未解決の問題である。

著者らは、今後の進展は、統計的な厳密さとニューラルの柔軟性、および言語能力を統合し、より広範な実世界のマルチモーダルな設定への適用を可能にすることにかかっていると結論づけている。