技術要約：継続的強化学習における破滅的忘却

問題提起

継続的学習（学習済みの知識を保持しながら、タスクを逐次的に学習する能力）は、機械学習における未解決の重要な課題であり続けている。この能力を阻む主要な障壁は、新しい情報を学習する際に、以前に獲得した知識を失ってしまう**破滅的忘却（catastrophic forgetting）**である。忘却の軽減に関する研究は、教師あり学習やニューラルネットワークにおいて広範に行われているが、タスクの類似性と、**強化学習（RL）**における忘却の深刻さとの具体的な関係については、いまだ定量化が進んでいない。

本研究では、継続的RLの設定において、新しいタスクの類似性が、以前に学習したタスクに対する性能低下にどの程度影響を与えるかを調査する。本研究の目的は、タスク間の差異の度合いと、破滅的忘却の大きさとの間に、定量化可能な関係が存在するかどうかを明らかにすることである。具体的には、解釈性の高いテーブル型RLエージェントを用いて検証を行う。

メソドロジー

実験フレームワーク

本研究では、グラフベースのタスクを用いた**テーブル型Q学習（tabular Q-learning）**を採用している。エージェントの目的は、特定のゴール状態に到達するために必要なステップ数を最小化することである。テーブル型手法の使用は解釈性を担保し、グラフベースの環境はタスク構造の精密な制御を可能にする。

タスク生成

タスクは、2次元平面上のサイト（点）の集合から派生したボロノイ図を用いて生成される。

• 構造: グラフのノードはボロノイ図の頂点に対応し、エッジは隣接する領域間の接続を表す。
• 類似性の制御: 関連するタスクのシーケンスを生成するために、ボロノイ図の内部サイトを摂動させる。ベースとなるサイトの集合（$x_0$）と、新しいサイトの集合（$x_1$）を、ガウス分布からサンプリングする。新しいタスク構成（$x_\alpha$）は、以下の線形補間によって作成される：
  $$x_\alpha = \cos\left(\frac{\pi}{2}\alpha\right)x_0 + \sin\left(\frac{\pi}{2}\alpha\right)x_1$$
  ここで、$\alpha \in [0, 1]$ は摂動の度合いを制御する。$\alpha=0$ はベースとなるタスクを表し、$\alpha=1$ は完全に摂動されたタスクを表す。
• 一貫性: エージェントがタスクを比較できるように、**回転システム（rotation system）**を実装している。これは、絶対的な座標ではなく、ノード周囲の相対的な時計回りの順序に基づいてアクション（戻る、左、右）を割り当てるものである。これにより、エージェントは空間的な歪みに依存せず、グラフのトポロジー構造を解釈することができる。

タスク類似性の測定

本研究では、エージェントが幾何学的な距離ではなくステップ数を最適化するため、タスクの類似性をグラフ間のトポロジー構造の差異に基づいて定義する。

• 指標: グラフ編集距離（Graph Edit Distance）の計算困難性（NP困難）を考慮し、本研究では2つの計算可能な指標を組み合わせて利用する：
  1. ワッサースタイン距離 ($W_2$): ボロノイ細胞の面積の空間分布の差を測定する。
  2. ハウスドルフ距離 ($\delta_H$): 2つのグラフの頂点集合間の最大距離を測定する。
• 結合指標: 最終的な類似度尺度 $\Delta(G_1, G_2)$ は、正規化されたワッサースタイン距離とハウスドルフ距離の平均とする。

評価プロトコル

1. フェーズ1（ベース学習）: ベースとなるグラフ（$G_0$）に対して、収束するまでエージェントを訓練する。性能はゴールに到達するまでのステップ数で測定される。
2. フェーズ2（新タスク学習）: 同じエージェントを、異なるトポロジーを持ちつつも同じゴール状態の定義を持つ新しいグラフ（$G_\alpha$）に対して訓練する。
3. フェーズ3（忘却の測定）: 元のベースグラフ（$G_0$）に対して、再びエージェントをテストする。
4. 定量化: 忘却は、新しいタスクの学習後にベースタスクを解くために必要なステップ数の増加量として、新しいタスクの学習前の性能と比較して定量化される。

主な結果

タスクの複雑さと類似性（$\alpha$）の様々なレベルにわたって、100回の実験試行を実施した。

• 複雑なダイナミクス: 結果は、タスクの類似性と忘却の間に複雑なダイナミクスが存在することを示しており、タスクの類似度およびタスクの複雑度の間で、忘却の深刻さに大きな変動が見られた。
• 変動性: データは、忘却の結果において高い程度の変動性を示し、タスク類似度の指標にも偏った分布が見られた。
• 統計的有意性: 極めて重要な点として、本研究では、タスクの類似性が単独で、継続的強化学習における忘却に影響を与えるという統計的な有意性の証拠は見出せなかった。 変数間の関係は依然として不明確であり、特定のパターン（線形、単調、あるいはその他の形式）は確認されなかった。
• 相互依存性: 観察された結果は、忘却がタスクの類似性と複雑さの両方に依存している可能性を示唆しているが、その具体的な性質については解決に至っていない。

意義と主張

本論文は、タスクの違いが強化学習における破滅的忘却を具体的にどのように駆動するかという、定量化に関する文献上の空白に対する探索的な調査として位置づけられている。

• 控えめな主張: 著者は、観察結果が忘却の類似性と複雑さの両方に依存していることを示唆しているものの、決定的な因果メカニズムや特定の関数関係を証明したと主張しているわけではない。
• 負の結果としての貢献: 主要な貢献は、この特定のテーブル型・グラフベースの設定において、タスクの類似性単独では忘却の深刻さを予測する統計的に有意な指標には見えないという発見である。これは、類似性があらゆるRLの文脈において忘果リスクの単純なプロキシ（代用指標）であるという仮定に疑問を投げかけるものである。
• 今後の方向性: 本論文は、観察された変動性を解決するためには、より堅牢な実験設計や代替の指標が必要であることを指摘し、タスクの類似性と破滅的忘却の潜在的な相互作用を包括的に理解するためにさらなる研究が求められると結論付けている。

本研究は、新しい緩和アルゴリズムや具体的な応用を提案するものではなく、むしろ構造的な変数を分離するために解釈可能なモデルを用いた、問題空間の基礎的な分析を提供するものである。