SSLfmm: An R Package for Semi-Supervised Learning with Mixed Missingness

「SSLfmm: 混合欠測を伴う半教師あり学習のためのRパッケージ」に関するテクニカルサマリー

問題の定式化
本論文は、訓練データのすべての特徴ベクトルは完全に観測されているが、クラスラベルは一部のデータに対してのみ利用可能であるという、半教師あり学習（SSL）のシナリオに対処している。この設定において、しばしばモデル化されない重要な側面は、ラベルの可用性を支配するメカニズムである。標準的なSSLの手順は通常、欠落したラベルを未知の潜在クラスとして扱うが、「なぜ」それらが欠落しているのかというプロセスまではモデル化しない。しかし、著者らは、欠落のプロセス自体が分類に関連する情報を含んでいる可能性があると主張している。具体的には、本論文では以下を区別している：

• 完全ランダムな欠測 (MCAR): ラベルの可用性は、観測された特徴量やクラスとは無関係である。
• ランダムな欠測 (MAR): 欠落したラベルの確率は、観測された特徴量（具体的には分類の不確実性／エントロピー）には依存するが、欠落したラベル自体には依存しない。
• 混合欠測 (Mixed Missingness): ラベルの欠落が、MCARメカニズムまたはMARメカニズムのいずれかから生じるシナリオ。極めて重要な点は、欠落のソース（MCARかMARか）が、観測可能（データに記録されている）であるか、あるいは潜在的（観測されておらず、集約された欠測インジケーターのみが利用可能）であるかの違いである。

手法
著者らは、クラス分布とラベル欠測プロセスを共同でモデル化する、ガウス有限混合モデルを用いた尤度ベースのフレームワークを提案している。核となる統計的定式化は以下の通りである：

1. クラスモデル: 各クラス $i$ は、事前確率 $\pi_i$ を持つ多変量ガウス密度 $f_i(y; \omega_i)$ と関連付けられる。
2. 欠測モデル:
   • エントロピーに基づくMARメカニズムの場合、欠落したラベルの確率は、観測値のシャノン・エントロピー $e(y; \theta)$ のロジスティック関数によってモデル化される： $q_j = \text{logit}^{-1}(\xi_0 + \xi_1 \log e(y_j; \theta))$、ここで $\xi_1 > 0$ である。
   • 混合メカニズムの場合、欠落したラベルの確率は、MCAR確率 $\alpha$ とMAR確率 $(1-\alpha)q_j$ の混合としてモデル化される。
3. 推定 (ECMアルゴリズム): パラメータは、期待値条件付き最大化（ECM）アルゴリズムを用いて推定される。
   • Eステップ: 事後クラス確率を計算し、欠落したクラス指標を条件付き期待値に置き換える。
   • Cステップ:
     • 欠測ソースが観測可能な場合、アルゴリズムは既知のソースインジケーターに基づき、MCAR確率 $\alpha$ とMARパラメータ $\xi$ を個別に更新した後、クラスパラメータ $\theta$ を更新する。
     • 欠測ソースが潜在的な場合、アルゴリズムは各欠落ラベルの具体的なメカニズム（MCARかMARか）を潜在変数として扱う。その後、欠落したラベルがMCARチャネルから生じたのか、あるいはMARチャネルから生じたのかの事後確率を計算し、$\alpha$、$\xi$、および $\theta$ を反復的に更新する。

Rパッケージ SSLfmm
本論文では、これらの手法を実装したRパッケージ SSLfmm を紹介している。主な機能は以下の通りである：

• 統一されたインターフェース: 単一の関数 fit_sslfmm() が、完全ケース、MCAR、エントロピーに基づくMAR、およびMCAR/MAR混合解析を処理する。
• ソースの取り扱い: indicator = "observed"（ユーザーが欠測ソースを指定する）と indicator = "latent"（ソースが推論される）の両方をサポートしている。
• 機能: モデルの適合、予測（クラス、事後確率、エントロピー）、性能評価（精度、F1、ログロス、ブリアスコア）、混合欠測データのシミュレーション、およびエントロピーに基づく診断ツールを含む。
• 堅牢性: 非凸な尤度（特に潜在ソースモデルの場合）に対処するため、複数の初期値と有界数値最適化を使用している。

結果と図解
著者らは、主に2つの図解を通じてパッケージを検証している：

1. 再現可能なシミュレーション: 1,000の観測値と31.9%の欠落ラベル（混合MCAR/MARによって生成）を用いたシミュレーションにおいて、観測ソース適合と潜在ソース適合を比較した。
   • 両方の定式化は、欠落ラベルのサブセットに対して同様の分類性能（精度 $\approx$ 0.806–0.809）を達成した。
   • 潜在ソースモデルは、生成パラメータ（$\alpha, \xi_0, \xi_1$）を妥当な精度で回収することに成功したが、推定値は観測ソース適合よりもやや変動が大きかった。
   • エントロピー診断により、MARメカニズムの下で生成された観測値は、モデルの設計通り、より高い分類エントロピーを示すことが確認された。
2. 準合成的な適用（血液輸血データ）: ラベルを人工的に削除してMCARおよびMARのサブセットを作成した実データを用い、等共分散および不等共分散の仮定の下で、MCAR、MAR、および混合モデルを比較した。
   • 混合モデルは、欠落ラベルのサブセットにおけるハード分類精度、均衡精度（balanced accuracy）、およびマクロF1スコアにおいて、純粋なMCARモデルおよび純粋なMARモデルを一貫して上回った。
   • 混合モデルは、真の構築値（0.10）に近いMCAR確率（$\alpha$）を推定した。
   • エントロピー診断は、「MAR」サブセット（分類が困難な点から構成されたもの）が、MCARおよび「観測された」サブセットよりも高いエントロピーを持つことを示しており、適合したモデルの解釈可能性を裏付けている。

意義と主張
著者らは、SSLfmm を単なる汎用的なクラスタリングエンジンではなく、モデルベースの半教師あり学習と尤度ベースの欠測データモデリングの架け橋となる専門的なツールとして位置づけている。

• 明確な貢献: 既存のパッケージ（例：mclust, Rmixmod）が成分分布に焦点を当てているか、あるいは欠落した「特徴量」を扱うのに対し、SSLfmm は欠落した「ラベル」の確率過程を明示的にモデル化している。
• 新規性: 欠測ソースが観測可能か潜在的かのいずれかであり、それぞれに対して異なるECMアルゴリズムを利用する、混合MCAR/MARメカニズムをサポートする最初の実装である。
• 実用的な有用性: 本パッケージにより、研究者は共通のフレームワーク内で、ラベルの欠測に関する仮定を適合、比較、および診断することができる。
• 限定的な範囲: 著者らは限界も認めている。現在の実装は、特徴量が完全に観測されており、かつクラス条件付き分布がガウス分布であることを前提としている。また、欠測ソースが潜在的な場合、MCARとMARの寄与を分離するための情報が限られている可能性があり、適合したパラメータを診断結果とともに慎重に解釈する必要があると警告している。彼らは、混合モデルが常に優位になると主張しているのではなく、ラベルの可用性に関する仮定が推定と予測にどのように影響するかを研究するための柔軟なフレームスを提供しているのである。