技術的概要：経験的ベイズによる 1 ビット行列補完

問題定式化

本論文は、$Y \in \{0, 1\}^{p \times q}$ なる二値行列の未観測要素を予測する1 ビット行列補完の問題を取り扱います。連続値の観測値を扱う標準的な行列補完タスクとは異なり、1 ビット行列補完は、推薦システムにおける明示的フィードバック（ユーザーの相互作用対非相互作用）、ソーシャルネットワークのリンク予測、二値の選好比較などのシナリオで生じます。

基礎となるモデルは、各観測要素 $Y_{ij}$ が確率 $f(M_{ij})$ をもつベルヌーイ分布に従うと仮定します。ここで、$M \in \mathbb{R}^{p \times q}$ は潜在行列、$f$ はリンク関数（本研究では主にプロビットリンク）です：
$$Y_{ij} | M \sim \text{Bernoulli}(f(M_{ij})), \quad (i, j) \in \Omega$$
ただし、$\Omega$ は観測インデックスの集合を表します。核心的な仮定は、潜在行列 $M$ が近似低ランク構造を有するということであり、これは多次元項目反応理論（IRT）およびロジスティック行列因子分解と共有される性質です。目的は、$Y_\Omega$ に基づいて、$(i, j) \notin \Omega$ なる未観測要素 $Y_{ij}$ を予測することです。

既存のアプローチは、通常、低ランク性を強制するために制約付き最尤推定（例：トレースノルム、最大ノルム、または明示的なランク制約）に依存しています。しかし、これらの手法は多くの場合、手間のかかるハイパーパラメータ調整を必要とし、不確実性の定量化のための自然な枠組みを欠いています。

手法

著者らは、特異値縮小特性で知られる James–Stein 推定量の行列一般化であるEfron–Morris 推定量に触発され、1 ビット行列補完のための**経験的ベイズ（EB）**アルゴリズムを提案します。

1. 階層モデル

制約付き最尤推定の代わりに、この手法は潜在行列 $M = (m_1, \dots, m_p)^\top$ の行に対してガウス事前分布を導入します：
$$m_i \sim \mathcal{N}_q(\mu, \Sigma), \quad i = 1, \dots, p$$
2 つの変種が提案されます：

• EB1: 平均をゼロ ($\mu = 0$) と仮定します。
• EB2: 列ごとの異質性（例えば、あるアイテムが一般的に人気があるか、難しいこと）を説明するために、非ゼロの平均 $\mu$ を推定します。

2. ハイパーパラメータ推定（モンテカルロ EM）

ハイパーパラメータ $\Sigma$（および EB2 における $\mu$）は、**モンテカルロ期待値最大化（MCEM）**アルゴリズムを用いて周辺尤度 $\log p(Y_\Omega | \Sigma)$ を最大化することで推定されます：

• E ステップ: マルコフ連鎖モンテカルロ（MCMC）を用いて事後分布 $\pi(M | Y_\Omega; \Sigma)$ からサンプリングを行います。具体的には、著者らはプロビットリンクに対してデータ拡張（Albert and Chib, 1993）を利用し、$Y_{ij} = \mathbb{I}(Z_{ij} \geq 0)$ となるような潜在ガウス行列 $Z$ を導入します。これにより、$M$ と $Z$ を交互に更新する閉形式のギブスサンプリングが可能になります。
• M ステップ: E ステップからの事後サンプルを用いて、完全データ対数尤度（Q 関数）の期待値を最大化することでハイパーパラメータを更新します。$\Sigma$ の更新は、サンプリングされた $M$ の行の経験共分散に対応します。

3. ベイズ予測

ハイパーパラメータが推定されると、未観測要素はベイズ予測分布を通じて予測されます：
$$\Pr[Y_{ij} = 1 | Y_\Omega] = \int f(M_{ij}) \pi(M | Y_\Omega; \hat{\Sigma}) \, dM$$
この積分は、MCEM プロセス中に生成された事後サンプルを用いて近似されます。重要な点は、このアプローチが $M$ の事後不確実性に対して積分を行うことで、点推定だけでなく較正された確率推定も提供することです。

主要な貢献

1. 新規アルゴリズム: Efron–Morris 推定量からの特異値縮小の原理を活用する、1 ビット行列補完のための経験的ベイズ枠組みの開発。
2. 自動調整: 特定のランクや正則化パラメータの選択などの手動ハイパーパラメータ調整を不要とする。これは、ハイパーパラメータが周辺尤度最大化を通じてデータから直接推定されるためである。
3. 不確実性の定量化: 点推定手法とは異なり、EB アプローチはパラメータの不確実性を考慮した予測確率を自然に提供し、より信頼性の高い較正された信頼区間をもたらす。
4. 異質性の処理: 非ゼロ平均事前分布への拡張（EB2）により、明示的な特徴エンジニアリングなしでモデルが列ごとの不均一性を適応的に捉えることを可能にする。

実験結果

著者らは、提案手法（EB1 および EB2）を最先端のベースラインであるMMGN（Liu et al., 2025）、TraceNorm（Davenport et al., 2014）、およびMaxNorm（Cai and Zhou, 2013）と比較評価しました。

シミュレーション研究

• 精度: 行列サイズ（$p, q$）、ランク（$r$）、スケール（$s$）、観測密度を変化させた合成実験において、EB 手法はベースラインと比較して一貫して低いヘリング距離およびカルバック・ライブラー（KL）ダイバージェンスを達成しました。
• 頑健性: MMGN は高速でしたが、極端な確率（0 または 1）を生成することがあり、KL ダイバージェンスが発散する原因となりました。EB 手法は、様々なランクや信号対雑音比において安定した性能を維持しました。
• 効率性: EB 手法は MMGN と計算コストが同等であり、TraceNorm や MaxNorm よりも著しく高速でした。

実データ応用

• Jester データセット: ジョーク評価のデータセットにおいて、EB2 は最高の分類精度（0.7305）と最小の交差エントロピー損失を達成しました。重要なのは、EB 手法が較正性において優れており、期待較正誤差（ECE）値が 0.02 未満であったことです。これは MMGN や MaxNorm を大幅に凌駕しました。
• MovieLens 100K: 映画評価データセットにおいて、EB 手法は再び競争力のある精度と低い交差エントロピーを提供しました。注目すべきは、MMGN が過剰に自信を持った境界予測により無限の交差エントロピーを生成したのに対し、EB 手法は安定していたことです。EB 手法の ECE は低く（< 0.05）、信頼性の高い不確実性の定量化を確認しました。

意義と主張

本論文は、提案された経験的ベイズ手法が、以下の 3 つの重要な指標の間で優れたバランスを達成すると主張しています：

1. 予測精度: 誤り率の面で既存手法を上回るか、同等の性能を常に発揮する。
2. 較正の信頼性: 不確実性下での意思決定に不可欠な、よく較正された確率推定を提供する。これは既存の 1 ビット行列補完技術においてしばしば欠けている特徴である。
3. 計算効率: TraceNorm/MaxNorm の高いコストを回避しつつ、既存の最速手法（MMGN）と同等の計算コストを維持する。

著者らは、この研究を、手動ハイパーパラメータ調整の負担を除去しつつ、二値行列補完における不確実性の定量化に対する理論的に裏付けられたアプローチを提供する実用的な解決策として位置づけています。また、この手法は「完全にランダムに欠落（MCAR）」を仮定しており、今後の研究として「ランダムに欠落（MAR）」または「ランダムに欠落しない（MNAR）」のメカニズムへの対応、および変分ベイズによるスケーリングが提案されています。