\emph{DRIFT}: A Benchmark for Task-Free Continual Graph Learning with Continuous Distribution Shifts

技術的サマリー：DRIFT：連続的な分布シフトを伴うタスクフリーな継続的グラフ学習のためのベンチマーク

問題定義
継続的グラフ学習（CGL）は、動的に変化するグラフからモデルが学習し、破滅的忘却を軽減することを目的としている。しかし、既存の CGL 研究は主にタスクベースの定式化に依存しており、データストリームは境界が既知で分布の急激な変化を伴う離散的なタスクに人工的に分割されている。著者らは、これらの仮定が推薦システム、引用ネットワーク、知識グラフなどの実世界環境ではほとんど成り立たないと主張する。実世界では、データ分布は連続的に進化し、タスクの正体は観測不可能であり、遷移は瞬時的ではなく漸進的である。したがって、現在の CGL 手法が現実的な非定常なストリーミング設定に一般化できるかどうかは依然として不明である。

手法
このギャップに対処するため、著者らは継続的グラフ学習に対するタスクフリーな視点を提案し、統一された定式化と新しいベンチマークDRIFTを導入する。

1. 統一された定式化: データストリームは、離散的なタスクの列ではなく、潜在タスク分布の時間変化する混合としてモデル化される。任意の時刻 $t$ における分布 $D_t$ は以下のように定義される：
   $$D_t = \sum_{k=1}^{K} \alpha_k(t) D_k$$
   ここで、$D_k$ は潜在タスク分布を表し、$\alpha_k(t)$ は混合係数である。$\alpha_k(t) \in \{0, 1\}$ となるタスクベースの設定とは異なり、タスクフリー設定では $\alpha_k(t) \in [0, 1]$ となり、連続的な重なりを可能にする。

2. ガウスパラメータ化: 現実的な遷移ダイナミクスをシミュレートするため、著者らは混合係数 $\alpha_k(t)$ を、タスク $k$ の時間的位置 $\mu_k$ を中心とするガウスカーネルを用いてパラメータ化する：
   $$\alpha_k(t) = \frac{\exp\left(-\frac{(t-\mu_k)^2}{2\sigma^2}\right)}{\sum_j \exp\left(-\frac{(t-\mu_j)^2}{2\sigma^2}\right)}$$
   パラメータ $\sigma$ は時間的重りの程度を制御する。$\sigma$ が小さい場合はハードなタスクスイッチを再現し、$\sigma$ が大きい場合は滑らかで全球的に混合された分布を生じさせる。これにより、ベンチマークは単一のフレームワーク内でハードな遷移から完全な連続的なドリフトまでのスペクトラムをカバーできる。

3. ベンチマーク構築（DRIFT）:

   • データセット: 4 つの標準的なグラフデータセット（CoraFull-CL, Arxiv-CL, Reddit-CL, RomanEmpire-CL）を、クラス増分分割を用いて潜在タスクに分解する。
   • サンプリング: ミニバッチは、混合係数 $\alpha_k(t)$ に従ってすべての潜在タスクからインスタンスをサンプリングすることで構築され、復元ありまたは復元なしの戦略のいずれかが用いられる。
   • 評価: 明示的なタスク境界が存在しないため、ベンチマークはストリーム全体のパフォーマンスを測定するために**精度曲線下面積（AAUC）を使用し、明示的なタスク分割に依存しない修正された平均忘却（AFs）**指標を使用する。

主要な貢献

• C1: 既存のタスクベース CGL 定式化の限界の特定と、CGL はタスクフリーなストリーミング設定下で研究されるべきであるという主張。
• C2: タスク遷移を時間変化する混合分布としてモデル化する統一された定式化の導入。
• C3: ガウス混合曲線を通じて遷移ダイナミクスの連続スペクトラムをカバーするDRIFT ベンチマークの提案。
• C4: タスクの正体が利用できない現実的な非定常設定下では、既存の継続的学習手法が著しく劣化することを示す実証的証拠。

実験結果
著者らは、4 つのデータセットにおいて、変化する遷移の滑らかさ（$\sigma$）の下で、代表的な CGL 手法（リハーサルベース、正則化ベース、グラフ固有）を評価した。

• 性能の劣化: 明示的なタスク構造が除去されると、既存の手法は大幅な性能低下を被る。例えば、Arxiv-CL データセットにおいて、最良のタスクフリー手法が達成した AAUC は 34.9% であり、上限（共同学習）である 71.6% と比較して、約 37 ポイントのギャップが残った。
• 優位性の収縮: 継続的学習手法が「Bare」ベースライン（CL 戦略なしのオンライン学習）に対して持つ相対的優位性は、遷移が滑らかになるにつれて縮小する。Arxiv-CL において、ハードな遷移下でのベースラインに対する改善は +43.3% だったが、高重みのガウス混合下ではわずか +5.5% にまで低下した。
• タスク依存仮定の失敗: タスク境界に暗黙的に依存する手法（MAS*, SSM, SEM など）は、滑らかな遷移下で破滅的に失敗する。損失ベースのシフト検出に依存する MAS* は、ハードな遷移下では競争力のある性能を示すが、シフト信号が信頼できなくなるガウス混合下ではベースラインレベルまで劣化する。
• 適応と忘却のトレードオフ: 重みの増加（高い $\sigma$）は、暗黙的なリハーサル（混合バッチ）によりオンライン適応を向上させ（AAUC 上昇）、同時に忘却を増加させる（AFs 悪化）。これは、任意の単一の潜在分布に対する実質的な学習信号が弱まるためである。
• ロバスト性: リプレイベースの手法（ER, A-GEM など）と多様性駆動型の DMSG 手法はより高い安定性を示したが、DMSG は変化する重みレベル全体で最も安定した忘却挙動を示した。

意義と主張
本論文は、観測された性能劣化が、多くの既存の CGL 手法が非現実的な境界仮定に暗黙的に依存しており、現実世界のストリーミング環境にうまく一般化していないことを示唆していると主張する。この研究は、タスクの正体が観測不可能な現実的な非定常条件下で継続的グラフ学習を研究することの重要性を浮き彫りにしている。

著者らは、DRIFT を「オープンワールドグラフ設定」への一歩として謙虚に位置づけ、現在の手法が本質的にタスク分割された構造に縛られていることを指摘する。彼らは、将来の研究は境界依存の定式化を超え、連続的な分布ドリフトと重なり合うタスク構造を明示的に考慮する手法を開発しなければならないと結論づけている。また、本論文は、ノード分類に限定されていること、静的データセット上の合成ストリーミングプロトコルの使用、ドリフトをモデル化するためのガウスダイナミクスの特定の使用といった限界を認めており、より複雑な現実世界のドリフトパターンの探求が残されていることを示唆している。