Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network

技術要約：テンソルの潜在因子分解におけるハイパーパラメータ学習

問題提起
大規模な動的重み付き有向ネットワーク（DWDN）は、パーソナライズされた推薦、インテリジェントな交通、電力網インフラなどの領域における、時変的な相互作用をモデル化するために不可欠である。テンソルの潜在因子分解（LFT）法は、これらのネットワークを高次元かつ不完全（HDI）なテンソルとしてモデル化し、低ランク近似を行うことで、潜在的な表現を抽出するために広く用いられている。しかし、LFTの性能は、潜在特徴行列に関連するハイパーパラメータ、具体的には正則化係数（$\lambda_1, \lambda_2, \lambda_3$）の選択に大きく依存する。現在の実務において、これらのパラメータは通常、手動チューニングやグリッドサーチを通じて決定されている。これらの伝統的な手法は計算コストが高く、非効率であり、予測誤差を最小化する最適なパラメータの組み合わせを特定できないことが多い。

手法
ハイパーパラメータ・チューニングの非効率性を解決するため、本論文では、差分進化（Differential Evolution: DE）に基づく自動ハイパーパラメータ最適化フレームワークであるDE-LFTを提案する。コアとなる手法は、DEアルゴリズムをLFTモデルの訓練プロセスに直接統合することである。

1. モデル定式化： LFTモデルは、3次テンソル（DWDNを表す）の観測された要素を、3つの低ランク潜在因子行列（$U, S, T$）を用いて近似する。要素 $\hat{x}_{u,s,t}$ の予測値は、次元 $K$ にわたる潜在因子の積の総和として計算される。
2. 最適化戦略： 固定された、あるいは手動で探索される正則化パラメータの代わりに、DEアルゴリズムが集団ベースのヒューリスティックとして機能する。これは、変異、交叉、および選択操作を通じて、候補解を反復的に進化させる。
3. 目的関数： DEアルゴリズムは、平均絶対誤差（MAE）および平方根平均二乗誤差（RMSE）によって測定される予測誤差を最小化する、正則化係数（$\lambda_1, \lambda_2, \lambda_3$）の最適な集合を見つけるために、ハイパーパラメータ空間を探索する。
4. 訓練プロセス： LFTモデルは確率的勾配降下法（SGD）を用いて訓練され、同時にDEアルゴリズムが正則化パラメータを最適化することで、モデルの精度を適応的に向上させる。

主な貢献

• 自動化フレームワーク： 本論文は、LFTに対する正則化パラメータの選択を自動化する新しいフレームワークを導入し、手動チューニングや網羅的なグリッドサーチへの依存を排除する。
• DEの統合： テンソル分解の訓練ループに差分進化を統合することに成功し、モデルがハイパーパラメータ空間を適応的に探索することを可能にした。
• 性能向上： このアプローチは、広範なパラメータチューニングに伴う計算コストを削減しながら、予測精度を高めるように設計されている。

実験結果
提案されたDE-LFT手法は、4つの実世界のベンチマークDWDNデータセットを用いて評価された。データセットは80%のトレーニングセットと20%のテストセットに分割された。性能は、手動でチューニングされたパラメータを用いた標準的なLFT、およびグリッドサーチ最適化を用いたLFTと比較された。

RMSEおよびMAEによって測定された結果は、以下を示している：

• グリッドサーチは、より広いパラメータ空間を探索することにより、手動チューニングよりもわずかな改善を提供した。
• DE-LFTは、4つのデータセットすべてにおいて一貫して最高の性能を達成した。
• 具体的には、DE-LFTは最も低い誤差率を実現した。例えば、Yelpデータセットにおいて、DE-LFTはRMSE 0.9724、MAE 0.7668を達成し、手動チューニング（RMSE: 1.0186）およびグリッドサーチ（RMSE: 1.0012）の両方を上回った。同様の傾向は、CDs、Network7a、およびNetwork6aのデータセットにおいても観察された。

意義と主張
本論文は、提案されたDE-LFTフレームワークが、動的ネットワークにおけるテンソル分解のハイパーパラメータ選択におけるボトルネックを効果的に解決することを主張している。最適な正則化係数を自動的に学習することにより、本手法は広範な人間による介入を必要とせずに、LFTモデルの予測精度を向上させる。著者らは、差分進化がこの文脈におけるハイパーパラメータ空間の探索において、伝統的な手動またはグリッドベースのアプローチよりも効果的なツールであり、実世界のデータにおいて一貫してより低いMAEおよびRMSE値をもたらすと結論付けている。