Improving Continual Learning of Knowledge Graph Embeddings via Informed Initialization

技術的サマリー：情報に基づく初期化による知識グラフ埋め込みの継続的学習の改善

問題定義
知識グラフ（KG）は、新しいトリプルの追加を通じて頻繁に進化する動的な構造です。レコメンデーションシステムなどのシナリオでは、これらの更新は小さく頻繁に行われることが多く、完全な再トレーニングなしに知識グラフ埋め込み（KGE）が適応する必要があります。継続的学習（CL）技術は、新しいエンティティの埋め込みを学習しつつ既存のものを更新することで、この課題に対処します。しかし、現在の CL 手法における決定的なボトルネックは、新しい埋め込みの初期化にあります。

静的なトレーニングから引き継がれた標準的な手法では、新しいエンティティ埋め込みをランダムに初期化します（Xavier 初期化や He 初期化など）。このアプローチには 2 つの重大な問題があります：

1. トレーニング効率：ランダム初期化は、新しい埋め込みを最適な位置から遠く離れた位置に配置するため、収束までに多くのトレーニングエポックと時間を要します。
2. 破滅的忘却：新しいトリプルに既存のエンティティが含まれる場合、不適切に初期化された新しい埋め込みによって生じる大きなトレーニング損失が、最適化中にトリプル全体に対して大幅な調整を強います。これにより、以前学習された表現が乱され、古い知識の喪失（破滅的忘却）を招きます。

既存の CL 固有の初期化手法（LKGE や incDE など）は、TransE などの特定の翻訳モデルの幾何学的制約に基づいて新しい位置を推測しようとします。しかし、これらのアプローチはモデル固有であることが多く、可逆的なスコアリング関数に依存しています。これは、多くの現代の KGE モデル（意味的マッチングモデルや ConvE のようなニューラルネットワークベースのモデルなど）には存在しないため、広範なアーキテクチャには適用不可能です。

手法
著者は、継続的学習シナリオにおける新しいエンティティ埋め込みのためのモデル非依存かつスキーマに基づく情報付き初期化戦略を提案します。この手法は、KG スキーマ（エンティティクラス）と以前学習された埋め込みの分布を活用して、初期表現を生成します。

コアアルゴリズムは以下の通り進行します：

1. クラス重心：KG スキーマで定義された各エンティティクラス $c$ について、そのクラスに属する既存のすべてのエンティティの埋め込みの平均として、重心埋め込み $v_c$ を計算します。
2. クラス内変動：各クラス内の埋め込みの標準偏差 $\sigma_c$ を計算し、クラス内の多様性を捉えます。
3. 初期化：クラス集合 $C_e$ に属する新しいエンティティ $e$ について、その初期埋め込みは、そのクラスの重心の平均に、確率的な摂動を加えて計算されます：
   $$\mathbf{e} = \frac{1}{|C_e|} \sum_{c \in C_e} (\mathbf{v}_c + \gamma \cdot \boldsymbol{\sigma}_c \odot \mathbf{r}_c)$$
   ここで、$\gamma$ は摂動の大きさを制御するハイパーパラメータ、$\mathbf{r}_c$ はランダムベクトル、$\odot$ は要素ごとの積を表します。

このアプローチにより、新しいエンティティは、そのクラス所属から導出された潜在的な意味情報を持って開始され、おそらく最終的な表現に近い位置に配置されます。確率的成分は、同一のクラス所属を持つエンティティが同一の埋め込みを受け取る退化したケースを防ぎます。初期化後、新しいトリプルを使用して埋め込みを更新するために、任意の標準的な継続的学習手法（微調整、EWC、リハーサルなど）を適用できます。

主な貢献

1. 情報付き初期化戦略：KG スキーマと既存の埋め込みを利用する、継続的学習における KGE の初期化のための新規手法。アーキテクチャの変更を必要とせず、多様な KGE モデルに適用可能。
2. 効率性と性能の実証的検証：提案された戦略が、ランダム初期化およびモデル固有の初期化のベースラインと比較して、トレーニング時間（エポック）を大幅に短縮し、予測性能を向上させることを実証。
3. 新しい評価指標：ニューラルネットワークにおけるインクリメンタルタスク学習から派生し、KGE 継続的学習における知識の保持と獲得を定量化するための適応された指標（$\Omega_{base}$ および $\Omega_{new}$）の導入。
4. 包括的な評価：さまざまな継続的学習アルゴリズム（Fine-tuning、EWC、EMR、LKGE、incDE）および KGE モデルファミリー（翻訳モデルと意味的マッチングモデル）全体で手法を評価する広範な実験。

実験結果
著者は、FB15K-237 から派生し、さまざまなサイズのインクリメンタル更新を特徴とする 3 つのデータセット（FBinc-S、FBinc-M、FBinc-L）でアプローチを評価しました。主な知見は以下の通りです：

• 性能向上：スキーマベースの初期化は、ランダム初期化、そして多くの場合モデル固有の初期化よりも一貫して優れていました。知識の保持（$\Omega_{base}$）と獲得（$\Omega_{new}$）の両方を改善しました。例えば、微調整や EMR などの正則化されていない手法では、スキーマ初期化により、小規模データセットにおいて知識保持が最大 30%、新しい知識の獲得が最大 65% 向上しました。
• トレーニングの加速：情報付き初期化は、収束に必要なエポック数を大幅に削減しました。ランダム初期化と比較して、ほとんどの手法において収束までの時間が 2.16 倍から 2.67 倍短縮されました。
• モデル非依存性：この手法は、翻訳モデル（TransH、RotatE、TransR）と意味的マッチングモデル（DistMult、HolE、ProjE）の両方で効果的であることが証明されました。ランダム初期化下で破滅的忘却を起こしやすいモデル（RotatE、TransR など）において、スキーマ初期化はこれらの影響を軽減しました。
• 計算コスト：初期化プロセス自体の計算コストは無視できるレベル（単一のトレーニングエポックよりも数桁高速）であり、更新間でクラス重心と標準偏差を維持するだけで済むため、効率的にスケーリングします。

意義と主張
本論文は、情報付き初期化が KGE の継続的学習において根本的でありながら、しばしば見過ごされているステップであると主張しています。意味的に根拠のある出発点を提供することにより、この手法は以下の点を実現します：

• 知識獲得の加速：新しい情報がより速く学習され、インクリメンタル更新の計算コストが削減されます。
• 破滅的忘却の軽減：最適な位置までの初期距離を最小化することで、新しいトリプルの最適化中に既存の埋め込みに対して必要な破壊的な調整を減らします。
• 汎用性の向上：以前の CL 固有の手法とは異なり、このアプローチは特定の KGE モデルの幾何学的制約に縛られていないため、既存の継続的学習パイプラインへの汎用的なプラグインとなります。

著者は、この戦略が下流タスクの予測性能を向上させ、継続的学習の効率を高めることを結論付けており、動的な知識グラフを管理するためのツールキットへの貴重な追加であると述べています。