Outlier-Robust Multi-Group Gaussian Mixture Modeling with Flexible Group Reassignment

1. 研究の背景と問題定義

背景:
多くの実データ（医療、気象、ワインの品質評価など）では、専門家の知識や文脈情報に基づいて事前にデータがグループに分割されている。しかし、これらの事前定義されたグループ割り当ては、以下の理由により不確実であったり、不正確であったりする。

1. グループ間の移行: 疾患の進行段階（健康から重症へ）や、境界領域にある観測値のように、明確な境界が存在しない場合。
2. 異常値（Outliers）: 測定機器の故障などにより生じるセル単位の異常値（Cellwise outliers）が、グループ構造を歪めたり、隠蔽したりする。

既存手法の限界:

• 教師あり分類: 事前ラベルを固定すると、データが示す真の構造（グループ間の移行や再割り当ての必要性）を見逃す。
• 教師なしクラスタリング: 事前ラベル情報を無視するため、専門家の知見を活用できない。
• 従来の頑健な手法: 行単位（Rowwise）の異常値には対応できても、特定の観測値の一部の項目（セル）のみが異常である「セル単位異常値」に対しては、モデル推定が不安定になるか、適切な再割り当てを行えない。

本研究の目的:
事前定義されたグループ情報を利用しつつ、データに基づいて観測値を柔軟に他のグループへ再割り当てすることを可能にし、かつセル単位異常値に対して頑健な統計モデルを開発すること。

---

2. 提案手法：MG-GMM と cellMG-GMM

2.1 モデル：多グループガウス混合モデル (MG-GMM)

従来のガウス混合モデル（GMM）では、すべての観測値が同一の混合分布から生成されると仮定するが、本研究では以下のようにモデルを拡張する。

• 構造: 各グループ $g$ に属する観測値は、単一の分布ではなく、すべてのグループ分布からなるガウス混合分布から生成されると仮定する。
• 混合確率: グループ $g$ の観測値がグループ $k$ の分布から来る確率を $\pi_{g,k}$ とする。
• 柔軟な再割り当て: 事前グループ $g$ が主分布であるという制約 $\pi_{g,g} \geq \alpha$ ($\alpha \geq 0.5$) を設ける。
  • $\alpha = 1$: 再割り当て不可（完全な教師あり）。
  • $0.5 \leq \alpha < 1$: データの証拠に基づき、観測値を他のグループへ再割り当て可能。$\alpha$ を小さくするほど柔軟性が増す。

2.2 推定手法：cellMG-GMM（ペナルティ付き観測尤度）

セル単位異常値を検出・処理するために、ペナルティ付き観測尤度法を採用する。

• 欠損値としての異常値: 異常値を「欠損値」として扱い、尤度計算から除外する。ただし、どのセルが欠損（異常）かは推定対象とする。
• 目的関数:
  $$\text{Obj} = \sum_{g,i} \left[ -2 \ln \left( \sum_{k} \pi_{g,k} \phi(x^{(w)}; \mu^{(w)}, \Sigma^{(w)}) \right) + \sum_{j} q_{g,ij}(1-w_{g,ij}) \right]$$
  • 第 1 項：欠損パターン $w$ を考慮した観測尤度。
  • 第 2 項：異常フラグ（$w_{g,ij}=0$）の数を抑制するペナルティ項。$q_{g,ij}$ は、そのセルを異常とみなすコスト（標準化残差の分布に基づく閾値）。
• 正則化: 共分散行列の推定安定化のため、対角行列との凸結合（MRCD 的なアプローチ）を導入し、特異性を防ぐ。

2.3 アルゴリズム

EM アルゴリズムに基づく反復解法を採用。

1. W-Step: 現在のパラメータを用いて、各セルを「観測」か「異常（欠損）」かに分類し、目的関数を最小化する欠損パターン $W$ を更新。
2. EM-Step: 更新された $W$ を固定し、混合確率 $\pi$、平均 $\mu$、共分散 $\Sigma$ を最大尤度推定する（欠損値補完の考え方を用いる）。
3. 収束: 共分散行列の変化が閾値以下になるまで反復。

---

3. 主要な貢献

1. 新しいモデルの提案 (MG-GMM):

   • 事前ラベルを「固定」せず、「柔軟に再割り当て可能」な半教師ありアプローチを確立。
   • 観測値が複数のグループの分布の混合から生じることを許容し、グループ間の移行（Transition）を定量的に分析可能にした。

2. セル単位異常値への頑健性 (cellMG-GMM):

   • GMM の枠組みにセル単位異常値検出を組み込んだ初の手法。
   • 観測値全体を除外するのではなく、異常な変数（セル）のみを特定し、他の変数からの情報を活用してグループを再割り当てする「二重処理」を実現。

3. 理論的保証 (Breakdown Point):

   • クラスタリングにおける「崩壊点（Breakdown Point）」の理論を、行単位汚染からセル単位汚染の文脈へ拡張。
   • 理想的な設定下において、cellMG-GMM 推定量が位置、共分散、重みに対して特定の割合までの汚染に対して頑健であることを証明（定理 1）。

---

4. 実験結果

4.1 シミュレーション研究

• 設定: 2 グループおよび 5 グループ、バランス/アンバランス、次元数 $p$ の変化、異なる異常値強度（$\gamma_{cell}$）を考慮。
• 比較対象: 非頑健な GMM (mclust)、行単位頑健な MRCD、セル単位頑健な cellMCD/cellGMM など。
• 結果:
  • 推定精度: セル単位異常値が存在する条件下で、cellMG-GMM は KL 発散（共分散推定精度）において他の手法を凌駕する。特にグループ間の平均が異なる現実的なシナリオで顕著。
  • 異常値検出: 精度（Precision）、再現率（Recall）、F1 スコアにおいて、cellMG-GMM は cellMCD や cellGMM と同等かそれ以上の性能を示す。
  • 高次元・特異性: 次元数が高くサンプル数が少ない状況でも、正則化により安定した推定が可能。

4.2 実データ応用

1. アルツハイマー病データ (DARWIN):

   • 健康群と患者群の境界にある患者を特定。
   • 特定の患者が「健康」グループへ再割り当てされるケースや、逆に「患者」グループへ移行するケースを特定し、診断の曖昧さや進行段階を可視化。
   • 圧力（pressure mean）などの変数において、特定の患者群で高い残差変動（異常性）が検出され、測定条件や未診断の要因を指摘。

2. ワイン品質データ:

   • 専門家による品質評価（低・中・高）と、化学的特性に基づくモデル推定グループの不一致を分析。
   • 専門家評価が低くても化学的特性が良いワイン、あるいはその逆のケースを特定。
   • 塩化物（chloride）やクエン酸（citric acid）のセル単位異常値を検出し、それらがクラスタ構造を歪めていたことを示した。

3. オーストリアの気象データ（補遺）:

   • 地理的グループと気象パターンの不一致を特定（例：平地グループに属するが標高が高く山岳気象を示す観測点）。
   • 風速や気圧のセル単位異常値を検出し、観測地点の露出度による影響を分析。

---

5. 結論と意義

• 方法論的意義:
  • 事前ラベルとデータ駆動型のクラスタリングのギャップを埋める「半教師あり」かつ「頑健」な枠組みを提供。
  • セル単位異常値を扱いつつ、観測値のグループ再割り当てを同時に行う初めての手法。
• 実用的意義:
  • 医療診断（疾患の進行段階の特定）、品質管理（専門家評価と数値データの整合性確認）、気象観測など、多様な分野で「境界領域」や「異常な観測」を解釈可能にする。
  • パッケージ ssMRCD (R) として実装され、再現性が高い。

この論文は、複雑な多変量データにおいて、事前知識とデータ構造の不一致を定量的に評価し、異常値に強靭な推論を行うための強力なツールを提供するものです。