技術的概要：セル別頑健判別分析

問題定義

線形判別分析（LDA）や二次判別分析（QDA）などの古典的判別分析（DA）は、クラスパラメータを推定するために算術平均と経験共分散行列に依存しています。これらの推定量は外れ値に対して非常に敏感です。従来の頑健統計学は、クラス中心から遠く離れたデータ点全体を指す「ケース別外れ値」に焦点を当ててきましたが、現代のデータ分析では「セル別外れ値」に直面することが増えています。セル別外れ値とは、データ行列内の予期せぬエントリであり、ケースの一部のセルのみが汚染され、残りのセルは貴重な情報を含んでいる状態を指します。

数個の外れ値セルを理由にケース全体を除去すると、重要な情報損失が生じます。さらに、ケース別頑健手法は、セル別汚染が存在する場合、外れ値セルのわずかな割合であってもケースの大部分を汚染するため、しばしば機能不全に陥ります。既存の文献は、訓練データに対するセル別頑健推定（例：Aerts and Wilms, 2017）に対処してきましたが、重要なギャップが残っています。それは「頑健なアウト・オブ・サンプル予測」です。現在の手法は、それ自体が外れ値セルや欠損値（NA）を含む可能性のある新しいテストデータを分類することに苦慮しており、誤分類を招くことがよくあります。

手法

著者は、訓練段階と予測段階の両方に対処するセル別頑健判別分析の統合フレームワークであるcellLDAとcellQDAを提案します。

1. 頑健な訓練（イン・サンプル）

この手法は、cellMCD推定量（Raymaekers and Rousseeuw, 2024）を用いて、各クラス $g$ に対する位置（$\mu_g$）と散布行列（$\Sigma_g$）を推定します。

• 目的: cellMCDは、フラグが付けられていないセルのみで計算された部分二乗マハラノビス距離を含む、ペナルティ付き負対数尤度を最小化します。
• フラグ付け: これは同時にバイナリマスク行列 $W_g$ を推定します。ここで $w_{ij}=0$ はフラグが付けられた（外れ値または NA の）セルを、$w_{ij}=1$ はクリーンなセルを示します。
• LDA への適応: 線形 DA の場合、中心化されたデータをプールし、固定された中心を用いて cellMCD を適用することで、共有された散布行列を推定します。

2. アウト・オブ・サンプル予測（テストデータ）

核心的な新規性は、セル別外れ値と NA を含むテストケースを処理する予測段階にあります。

• Cellflagger: 新しいテスト点 $x$ に対して、尤度ベースの「cellflagger」がセルを反復的にフラグ付けします。これは特定のクラス $g$ に対してどのセルが外れ値であるかを決定するために、ペナルティ付き目的関数を最小化します。セルの標準化残差が頑健な許容区間（$\chi^2$ 分位点に基づく）を超えた場合、そのセルはフラグ付けされます。
• 汚染モデル: 著者は、セル別汚染フレームワーク（Alqallaf et al., 2009）を複数のクラスに拡張する新しい統計モデルを導入します。このモデルは以下を仮定します。
  • クリーンなセルは多変量正規分布 $N(\mu_g, \Sigma_g)$ に従う。
  • 外れ値セルは重尾ラプラス分布に従う。
  • 外れ値セルは特定の確率 $p_{gj}$ で発生する。
• 頑健な判別関数: 上記のモデル下でのデータと汚染インジケーターの結合尤度に基づき、新しい判別関数 $\delta_g(x, w_g)$ が導出されます。この関数は以下の要素を含みます。
  1. フラグが付けられていないセルの標準的な対数尤度。
  2. フラグが付けられたセルの数に対するペナルティ項（汚染のベルヌーイ確率に基づく）。
  3. 外れ値セルの大きさを考慮する項（ラプラス密度に基づく）。
• 欠損データの処理: このフレームワークは、cellflagger を適用する前に、対応する重みを 0 に固定（恒久的に除外されたものとして扱う）することで NA を自然に処理し、判別関数が利用可能なクリーンなセルのみを合計することを保証します。
• ケース別外れ値検出: テストケースが $d/2$ 以上のフラグ付けされたセルを持つ場合、または残りのセル上で大きなマハラノビス距離を持つ場合、それは新しい「外れ値」クラス（クラス 0）に割り当てられます。

主要な貢献

1. 統合フレームワーク: このアプローチは、パラメータ推定、外れ値検出、分類を単一のペナルティ付き最大尤度原理の下で統合します。
2. 頑健な予測: 以前のセル別頑健手法とは異なり、このアプローチは外れ値セルを含む可能性のあるテストデータを分類するメカニズムを提供し、軽微なデータエラーを持つケースの誤分類を防ぎます。
3. 欠損値の処理: この手法は、分類前に補完を必要とすることなく、欠損データを自然に受け入れます。
4. 解釈可能性: 著者は、分類結果を可視化し、クリーンなケース、外れ値セルを持つが正しく分類されたケース、およびケース別外れ値を区別するためのグラフィカルツール（クラスマップとセルマップ）を導入します。

結果

シミュレーション

この手法は、$d=5$ および $d=20$ の次元を持つシミュレートデータ上で、さまざまな汚染シナリオ（セル別、ケース別、混合）および相関構造の下で評価されました。

• クリーンなテストデータ: 訓練データにセル別外れ値が含まれていた場合、cellQDAとcellLDAは高い精度を維持し、古典的 DA（CQDA/CLDA）およびケース別頑健手法（RQDA/RLDA）を上回りました。
• 汚染されたテストデータ: テストデータにセル別外れ値が含まれていた場合、cellQDAとcellLDAのみが頑健な性能を維持しました。古典的手法およびケース別頑健手法は、テストセット内の外れ値セルを処理するように設計された判別規則を持たなかったため、精度が大幅に低下しました。
• 混合シナリオ: 訓練データとテストデータの両方が汚染されていた場合、提案された手法は既存の頑健なベースライン（GLQDA/RLDA）を一貫して上回りました。

実データへの適用

この手法は、9 つの栄養変数を持つ 804 件のスイスのお菓子（クッキー、アイスクリーム、ケーキ、プリン）のデータセットに適用されました。

• 精度: cellQDAは、CQDA（0.569）、RQDA（0.805）、GLQDA（0.767）を上回る、最も高い交差検証精度（0.832）を達成しました。
• 解釈: グラフィカルな表示により、cellQDAは他の手法によって誤分類されたり、グローバルな外れ値としてフラグ付けされたりした、異常な栄養プロファイルを持つ製品（例：特定の「Weight Watchers」ブランド）を正しく分類することが明らかになりました。セルマップは、分類を駆動する特定の異常な成分（例：予期せぬ高塩分/低塩分）を成功裏に特定しました。
• 欠損データ: この手法は、テストセルの最大 60% が欠損に設定された場合でも高い精度（76%）を維持し、完全データに適用された古典的 DA を大幅に上回りました。

意義と主張

この論文は、この研究の主な意義が判別分析のための頑健なアウト・オブ・サンプル予測手法の開発にあると主張しています。頑健な訓練は確立されていますが、観察全体を破棄することなくセル別外れ値を含む新しいデータを分類する能力は、新しい貢献です。

著者は、推定、フラグ付け、分類の各ステップがすべて同じペナルティ付き尤度モデルから導出されるため、このアプローチは一貫していると強調しています。この統合により、欠損値の自然な処理が可能となり、フラグ付けされたセルの数を統計的に根拠を持ってペナルティ化する方法が提供されます。シミュレーション結果は、これらの手法が、訓練段階とテスト段階の両方でデータ汚染が発生する現実的なシナリオにおいて、クリーンなデータでの効率を犠牲にすることなく、優れた性能を提供することを示しています。