A Gaussian mixture model for discovering latent group structures in classification problems with multiple classes

技術要約：潜在的なグループ構造を発見するためのガウス混合モデル

問題提起
多数のカテゴリ（$K$）を伴う分類問題において、潜在的なグループ構造（例：Gene Ontology、疾患分類、ImageNet）が頻繁に観察される。これらの構造を活用することは、階層的学習や微細な分類を向上させる可能性があるが、既存のアプローチは、不完全であったり、利用不可能であったり、あるいは観測データと整合していなかったりする可能性のある、定義済みの手動タクソノミーやドメイン・オントロジーに依存することが多い。対照的に、これらの構造を発見するためのデータ駆動型手法は、重大な課題に直面している。具体的には、ツリーベースの手法はNP困難な最適化や局所最適化の問題を抱え、グラフベースの手法は形式的な統計的保証を欠き、標準的な混合モデルは、ソフトクラスタリングの定式化を用いることで、真のカテゴリ間変動とサンプリングの不確実性との間の分離を不明瞭にする傾向がある（特にクラスサイズが有限である場合）。著者らは、潜在的なグループ構造を主要な推論目的として自動的に発見し、解釈できる、原理に基づいた完全なデータ駆動型の統計的手法の欠如を指摘している。

手法
著者らは、これらの課題に対処するために、グループ化ガウス混合モデル（Grouped Gaussian Mixture Model: GGM）および対応する期待値最大化（EM）アルゴリズムを提案している。

• モデルの枠組み: GGMは、特徴ベクトルの階層的な生成プロセスの中に潜在的なグループ構造を埋め込むことで、従来のガウス混合モデルを拡張している。

  • $(X_i, Y_i)$ を観測値とする。ここで $Y_i \in \{1, \dots, K\}$ はクラスラベルであり、$X_i \in \mathbb{R}^p$ は高次元の特徴ベクトルである。
  • 各クラス $k$ には、確率 $\alpha_m$ で潜在的なグループ所属 $Z_k \in \{1, \dots, M\}$ （ここで $M \ll K$）が割り当てられる。
  • クラス固有の平均ベクトル $\mu_{km}$ は、多変量正規分布 $N(\nu_m, \Omega)$ から抽出される確率変数として扱われる。ここで $\nu_m$ と $\Omega$ はグループレベルのパラメータである。
  • クラス $k$ およびその所属グループ $m$ が与えられたとき、観測値 $X_i$ は $N(\mu_{km}, \Sigma)$ から抽出される。
  • 決定的な点として、本モデルはクラス平均を固定点ではなくランダム効果として扱うことで、共分散 $\Sigma$ およびグループレベルの共分散 $\Omega$ を通じて、サンプリングの不確実性を明示的に考慮している。

• 推定アルゴリズム:

  • 著者らは、ランダムな平均ベクトルを積分除去することで、対数尤度関数を導出している。
  • パラメータ（$\theta = \{\alpha, \nu, \Omega, \Sigma\}$）とグループ回収を同時に行うための反復的なEMアルゴリズムを開発した。
    • Eステップ: 現在のパラメータ推定値を用いて、クラス $k$ がグループ $m$ に属する事後確率 $\pi_m(I_k)$ を計算する。
    • Mステップ: 対数尤度の一次条件から導出された閉形式のマッピング関数を用いて、パラメータを更新する。
  • スケーラビリティ: 大きな $K$ および $p$ を扱うために、テンソル化された実装が提案されている。このアプローチは、繰り返しの $K$ 回の行列反転を避けるために、クラスに依存しない固有値分解を利用する。これにより、Eステップの計算複雑度が $O(Kp^3 + KMp^2)$ から $O(Kp^3 + KMp)$ （初期分解後）へと削減され、ベクトル化されたテンソル縮退を通じてGPU加速が容易になる。

• グループ回収: 潜在的なグループ構造は、推定された事後確率 $\hat{\pi}_m(I_k)$ を最大化するグループ $m$ に各クラス $k$ を割り当てることで回収される。

理論的特性
本論文は、混合確率、発散するクラス数（$K \to \infty$）、および共分散の正則性に関する条件下での厳密な漸近理論を確立している。

• 収束率: グループレベルのパラメータ（$\alpha, \nu, \Omega$）の推定量は、クラス数に依存して $O_p(K^{-1/2})$ の速度で収束する。対照的に、クラス内共分散 $\Sigma$ の推定量は、総サンプルサイズに依存して $O_p(N^{-1/2})$ で収束する。
• 漸近的直交性: 理論は、グループレベルのパラメータとクラス内共分散 $\Sigma$ の間の漸近的直交性（したがって独立性）を明らかにしている。これは、潜在的なグループの発見が、クラス内共分散の推定とは統計的に区別されることを明確にしている。
• 一致性と正規性: 最大尤度推定量の整合性と漸近的正規性が示されている。

結果

• シミュレーション研究:
  • クラスサイズ vs グループサイズ: 実験により、クラス数（$K$）を増やすことは潜在的なグループ発見の精度を大幅に向上させる一方で、クラスあたりのサンプルサイズ（$N/K$）を増やしてもグループ回収への影響は最小限である（ただし $\Sigma$ の推定は改善される）ことが示された。これは、グループレベルのパラメータが個々のサンプル数ではなく、クラス数に依存するという理論的知見と一致している。
  • 性能比較: GGM法は、K-means++ や スペクトラルクラスタリング を含む競合手法を、潜在的なグループ構造の回収において大幅に上回った。この優位性は、グループ間の平均の分離が小さい場合に特に顕著であった。
• 実世界への適用:
  • 本手法は、BERT埋め込みから派生した特徴量を持つ、238カテゴリ・476,000個の製品インスタンスを含むeコマースデータセットに適用された。
  • 人間の専門家によって手動で注釈付けされた24のグループという「ゴールドスタンダード」と比較して、GGMは 86.13% の発見精度を達成した。
  • これは K-means++ (60.92%) やスペクトラルクラスタリング (79.83%) を上回る結果であった。
  • 得られたグルーピングは解釈可能であり、人間の直感とも密接に一致していた（例：「電気ケトル」と「スロークッカー」を「電気ケトル＆調理器具」の下にグループ化するなど）。誤分類は、機能的な重複に起因する限定的なもののみであった。

意義と主張
本論文は、GGMが、定義済みのタクソノミーに依存することなく、潜在的なカテゴリ構造を明らかにするための原理に基づいた、完全なデータ駆動型の統計的枠組みを提供すると主張している。

• 解釈可能性: ソフトクラスタリング手法とは異なり、GGMはカテゴリ間の依存関係を明示的にモデル化し、真の変動とサンプリングノイズを分離するため、より解釈可能なグループ構造をもたらす。
• 統計的厳密性: 本研究は、ツリー型またはグラフ型の発見手法において欠落しがちな、形式的な統計的保証（一致性、漸近的正規性、および直交性）を提供している。
• 実用的有用性: 本手法は、高次元かつ大規模な設定（例：eコマース）においても効果的であることが示されており、手動でのタクソノミー構築が極めて困難な大規模製品カタログの整理に対するスケーラブルな解決策を提供する。

限界と今後の方向性
著者らは、グループ数 $M$ を事前に指定する必要があることや、固定された特徴次元 $p$ を仮定していることなど、現在の限界を認めている。今後の課題として、$M$ の自動決定、超高次元設定への拡張、および高度に不均衡なグループ構造への対応が挙げられている。