技術要約：低ランク分布行列補完

問題定義

本論文は、古典的な低ランク行列補完タスクを一般化した、**分布行列補完（distributional matrix completion）**の問題を扱う。この設定では、対象となる行列 $\rho^* \in \mathcal{P}(\mathcal{X})^{m_1 \times m_2}$ の各要素は、スカラー値ではなく、ドメイン $\mathcal{X}$ 上の確率分布で構成されている。

観測モデルは、以下の2つの不完全性の層によって特徴付けられる：

1. 部分的観測（Partial Observation）: バイナリマスク $T(i,j)$ によって示されるように、行列の要素の一部のみが観測される。
2. 間接的観測（Indirect Observation）: 観測された要素であっても、基礎となる分布 $\rho^*(i,j)$ に直接アクセスすることはできない。代わりに、$\rho^*(i,j)$ から生成された有限個の独立同一分布（i.i.d.）サンプル集合 $\{X^{(ij)}_1, \dots, X^{(ij)}_{N_{ij}}\}$ が観測される。ここで、サンプルサイズ $N_{ij}$ は要素ごとに異なる場合がある。

目標は、これら部分的かつ間接的な観測から、完全な分布値行列 $\rho^*$（またはその表現）を復元することである。この問題は、場所間の交通流の変動のモデリングや、異なる会計年度および機関にわたる収益予測の分布の分析といったアプリケーションにおいて発生する。

手法

カーネル平均埋め込み (KME)

無限次元の確率分布を扱い、密度関数の多様体制約を回避するために、著者らは各分布 $\rho^*(i,j)$ を再生核ヒルベルト空間（RKHS） $\mathcal{H}$ における**カーネル平均埋め込み（KME）**を用いて表現する：
$$\mu^*(i, j, \cdot) = \mathbb{E}_{X \sim \rho^*(i,j)} [K(X, \cdot)] \in \mathcal{H}$$
$\rho^*$ を復元することは、KME行列 $\mu^* \in \mathcal{H}^{m_1 \times m_2}$ を復元することと同義である。分布間の距離は最大平均偏差（MMD）を用いて測定される。

関数的展開による低ランクモデリング

著者らは、分布値行列に対して**タッカーランク（Tucker rank）**構造を提案している。彼らは $\mu^*$ を $\mathbb{R}^{m_1} \otimes \mathbb{R}^{m_2} \otimes \mathcal{H}$ の3次テンソルとして捉える。$\mathcal{H}$ はしばしば無限次元であるため、標準的なテンソルランクの定義を直接適用することはできない。

これに対処するため、本論文では関数的展開演算子（$U_1, U_2, U_3$）を導入し、テンソルを2つの空間の積へと写像する（例：$U_1: \mathbb{R}^{m_1} \otimes \mathbb{R}^{m_2} \otimes \mathcal{H} \to \mathbb{R}^{m_1} \otimes (\mathbb{R}^{m_2} \otimes \mathcal{H})$）。これらの演算子は、そのランクによってマルチリニアランク（multilinear rank） $(r_1, r_2, r_3)$ を定義する線形演算子を誘導する。

• 構造的含意: 低いマルチリニアランクは、KMEの関数的成分が低次元の部分空間に存在すること、および関連する期待値関数行列（例：平均行列）が低ランクであることを意味する。

推定フレームワーク

著者らは、核ノルムペナルティを用いた正則化M推定量 $\hat{\mu}$ を提案する。これは以下の損失関数を最小化することで定義される：
$$\hat{\mu} = \arg\min_{\mu} \left[ \frac{1}{m_1 m_2} \sum_{(i,j): T(i,j)=1} \left\| \mu(i, j, \cdot) - \hat{\mu}_{emp}(i, j, \cdot) \right\|_{\mathcal{H}}^2 + \lambda \Psi(\mu) \right]$$

• 損失項: 推定されたKMEと、観測サンプルから導出された経験的KMEとの間の二乗MMD。
• 正則化: $\Psi(\mu) = \sum_{j=1}^3 \beta_j \|U_j \mu\|_*$。ここで $\|\cdot\|_*$ は誘導された線形演算子の核ノルムを表す。これは、3つのモードすべてにおいて低ランク性を促進する。

計算手法

$\mathcal{H}$ の無限次元性にもかかわらず、**表現定理（Representer Theorem）**により、解 $\hat{\mu}$ は観測されたカーネル関数の有限次元スパン内に存在することが保証される。

1. 問題は、係数テンソル $B \in \mathbb{R}^{m_1 \times m_2 \times \tilde{N}}$ に関する有限次元テンソル最適化問題へと再パラメータ化される。
2. 大規模なサンプルサイズを扱うために、著者らはカーネル近似技術（例：Nyström法やランダムフーリエ特徴量）を用いてグラム行列を近似することを提案している。
3. 最適化は、加速された**交互方向乗数法（ADMM）**を用いて解かれる。

主な貢献

1. 新規な問題定式化: 論文は、分布値の要素を持つ行列補完を定式化し、部分的かつノイズを含むサンプルデータから分布を復元するという課題に対処している。
2. 理論的枠組み: 関数的展開演算子を用いて分布値テンソルのタッカーランクの定義を導入し、無限次元の関数データと有限次元のテンソル解析の間の溝を埋めた。
3. アルゴリズムの革新性: 提案された推定量は、誘導された線形演算子に対する核ノルム正則化を利用している。決定的な点として、著者らは解が有限次元表現を持つことを証明しており、これにより凸最適化による計算可能な形式となっている。
4. 統計的保証: 論文は、集約された二乗MMDに関する非漸近的誤差境界を確立している。
   • 収束率は、スカラー行列に対する古典的な核ノルム正則化行列補完と一致する。
   • 既存の最近傍法（例：Feitelberg et al., 2024）とは異なり、提案手法の整合性は、各要素のサンプル数 ($N_{ij}$) が発散する必要はない。代わりに、行列の次元 ($m_1, m_2$) が増大するにつれて、情報の共有を通じて低ランク構造を活用することで整合性が達成される。

実験結果

合成データ

• 設定: ガウス混合分布を用いたシミュレーション行列。最近傍（NN）法（Feitelberg et al., 2024）および、サンプルの平均や分散に適用された古典的な行列補完（SOFTIMPUTE）との比較を行った。
• 知見:
  • 提案手法（LRKME）は、観測された要素および未観測の要素の両方において、特に分散や高次統計量の推定において、NN法を一貫して上回った。
  • LRKMEはSOFTIMPUTEも上回っており、単なるスカラーの要約ではなく、完全な分布情報を利用する利点を示した。
  • 2次元の設定では、多変量ワッサースタイン距離の計算困難性によりNN法は除外されたが、LRKMEは有効であり続けた。

実世界への応用

• データセット: ニューヨーク市のタクシー移動データを用い、265の出発地と目的地の間の日次移動数の分布をモデリングした。
• 課題: 高い欠損率（>39%）と、要素ごとの極めて変動の大きいサンプルサイズ（1から3672まで）。
• 知見: テストセットにおいて、LRKMEはNN法（0.0212）と比較して、有意に低い経験的相対誤差（0.0015）を達成した。特定のケースの視覚的確認により、LRKMEはNN推定量と比較して、ヘビーテイルな分布や集中パターンをより良く捉えていることが示された。

意義と主張

本論文は、以下の特性を持つ、初の分布行列補完手法を提供すると主張している：

1. 一般的な観測パターン（変動するサンプルサイズを含む）に対応できる。
   2.ワッサースタイン距離に基づく手法の計算上のボトルネックなしに、多次元分布へ自然に拡張できる。
   3.各要素のサンプル数の漸近的な増大に依存せず、行列の低ランク構造を利用することで、グローバルな整合性保証を提供する。
   4.有限次元表現と凸最適化を通じて、計算効率の高い解を提供する。

著者らは、本研究を、既存の最近傍アプローチから一歩進んだ、より堅牢で理論的に裏付けられた、スケーラブルなフレームワークを提供する重要なステップとして位置づけている。