技術要約：Cluster LOCO：クラスター解釈のための特徴量重要度

問題提起

クラスタリングは、社会科学からゲノミクスに至るまで、あらゆる分野の探索的解析、データ圧縮、および科学的発見において用いられる、教師なし学習の基本的なツールである。しかし、データセットの規模と複雑さが増すにつれ、クラスタリング・ソリューションの信頼性、監査可能性、および再現性が重大な懸念事項となっている。主要な課題は、「なぜ特定のクラスタリング構造が発見されたのか」を解釈するための堅牢な手法が不足していることである。

特徴量重要度は、教師あり学習（例：置換重要度やSHAP値によるもの）では確立されているが、クラスタリングにおいては未だ発展途上である。既存のアプローチは、一般的に以下の2つのカテゴリーに分類される：

1. 本質的に解釈可能なアルゴリズム： これらはクラスタリングモデル自体に制約を課すものであり（例：決定木ベースのクラスタリング）、柔軟性とスケーラビリティを制限する。
2. 事後的な説明（Post-hoc explanations）： これらは特定のアルゴリズム（例：K-means）に紐付いているか、あるいは内部妥当性指標（例：シルエット係数）や、特徴量がソリューションの汎用性にどのように寄与するかを正確に反映していない可能性のある安定性指標に依存している。

さらに、シングルセル・ゲノミクスなどの分野における一般的なワークフローは、「ダブルディッピング（二重取り）」の問題に陥ることが多い。これは、クラスターを定義するために同じデータを使用し、その後に特徴的な特徴量（マーカー遺伝子）を特定するというプロセスであり、偽発見率を増大させる。したがって、単に事後にグループを区別する能力ではなく、クラスタリング・ソリューション自体の安定性と汎用性に特徴量がどの程度寄与しているかを定量化する、モデルに依存しない事後的なフレームワークが必要とされている。

手法：Cluster LOCO

著者らは、モデルに依存しない特徴量重要度スコアのファミリーである Cluster LOCO (Leave-One-Covariate-Out) を提案する。この核心となる直感は、教師あり学習のLOCOフレームワークから派生している。すなわち、ある特徴量を除去した際に、保持されたデータに対するクラスタリング・ソリューションの汎用能力が著しく低下する場合、その特徴量は重要であるとみなされる。

1. コア概念：特徴量の遮蔽による汎用性

内部妥当性指標（多くの場合、コンパクトネスのような幾何学的仮定に依存する）の変化を測定する手法とは異なり、Cluster LOCOは 汎用誤差（generalizability error） の変化を測定する。

• 汎用性： 学習サブセットから学習されたクラスターラベルが、転移分類器を用いて保持されたキャリブレーション・サブセット上でどの程度正確に予測できるかとして定義される。
• 特徴量の遮蔽（Feature Occlusion）： 特徴量の重要度は、データセットから特定の機能（特徴量）が除去（遮蔽）されたときに、汎用誤差がどの程度増加するかによって定量化される。

本フレームワークは、主に2つのアルゴ層を導入している：

A. Cluster LOCO-Split

この手法は、標準的なデータ分割アプローチに基づいている：

1. 分割： データ $X$ を、トレーニングセット ($X_{tr}$) とキャリブレーションセット ($X_{cal}$) に分割する。
2. クラスタリング： 選択されたクラスタリングアルゴリズム $C_\theta$ を両方のセットに適用し、ラベル $z_{tr}$ および $z_{cal}$ を得る。
3. 転移分類器の学習：
   • ベースとなる分類器 $\hat{f}_{tr}$ を $(X_{tr}, z_{tr})$ で学習させる。
   • 「特徴量 $j$ を除いた」分類器 $\hat{f}_{-j}^{tr}$ を $(X_{tr, -j}, z_{tr})$ で学習させる。
4. スコアの算出： 重要度スコア $\hat{\Delta}_j$ は、特徴量 $j$ なしで学習されたモデルによるキャリブレーションセットへの予測誤差と、全特徴量を用いたモデルによる誤差の差である：
   $$\hat{\Delta}_j = \text{Error}(z_{cal}, \hat{f}_{-j}^{tr}(X_{cal, -j})) - \text{Error}(z_{cal}, \hat{f}_{tr}(X_{cal}))$$
   誤差指標には、負の調整ランド指数（ARI）、ハンミング距離、またはマルチクラス・ヒンジ損失などが用いられる。

B. Cluster LOCO-MP (Minipatch)

データの分割に伴う計算上の制限や不安定性（特に不均衡なクラスターや高次元データの場合）に対処するため、著者らは Cluster LOCO-MP を導入している。この手法は ミニパッチ・アンサンブル を活用する：

1. ミニパッチの構築： 単一の分割の代わりに、少数の観測値 ($n \ll N$) と特徴量 ($m \ll M$) をサブサンプリングした $B$ 個のランダムなミニパッチを生成する。
2. コンセンサス・クラスタリング： 各ミニパッチに対してクラスタリングを行い、ラベルをリファレンス・クラスタリング（またはペアワイズの重複）に合わせることで、コンセンサス・ラベル集合を作成する。
3. アンサンブル予測：
   • LOO (Leave-One-Out)： 対象となる観測値を除外したミニパッチによる予測を平均化するアンサンブル予測器 $\hat{H}$。
   • LOCO-LOO： 対象となる観測値と特徴量 $j$ の両方を除外したミニパッチによる平均化アンサンブル予測器 $\hat{H}_{-j}$。
4. スコア計算： 重要度スコアは、$\hat{H}_{-j}$ と $\hat{H}$ の間の誤差の差である。このアプローチは、相関のある特徴量を自然に扱うことができる。なぜなら、異なるミニパッチが相関するペアのうち一方の特徴量のみを含んだり含まなかったりするため、単一分割の手法でよく見られる重要度の過小評価を防ぐことができる。

C. Cluster LOло-RAMPART

上位 $k$ 個の特徴量を特定することが目的である高次元アプリケーション向けに、著者らは Cluster LOCO-MP を RAMPART フレームワークと統合している。これは、ランク付けされた下位半分の特徴量を各ラウンドで破棄していく適応的な手順であり、これにより最も有望な候補に計算リソースを集中させる。

D. 拡張

本フレームワークは、クラスター固有（cluster-specific） の重要度スコアをサポートしている。誤差をデータセット全体ではなく特定のクラスターごとに集計することで、ユーザーはどの特徴量が特定のグループ（例：特定の細胞型）の形成を駆動しているかを判断できる。これにより、グローバルなスコアとともにローカルな解釈性を提供できる。

主な貢献

1. モデルに依存しないフレームワーク： Cluster LOCOは、あらゆるクラスタリングアルゴリズム（例：K-means、スペクトラルクラスタリング、階層的クラスタリング）に適用可能であり、特定の形式でクラスタリングモデルを最初から再学習する必要はなく、データのクラスタリングとラベルの予測が可能であればよい。
2. 汎用性に基づく指標： 内部的な幾何学的妥当性から、クラスタリング・ソリューションの汎用性へと焦ต่อไป、特徴量の寄与に関するより堅牢な尺度を提供する。
3. スケーラビリティ： Cluster LOCO-MP の導入により、ミニパッチ・アンサンブルリングを通じて大規模かつ高次元のデータセットへの適用が可能となり、従来の Leave-one-out アプローチの計算上のボトルネックを克服している。
4. 適応的スクリーニング： RAMPART との統合により、スパースで高次元な領域における効率的な特徴量選択の経路を提供する。

結果

著者らは、Cluster LOCO を 5 つのベースライン手法（Prototype-Based Feature Importance (PBFI)、Fuzzy C-Means SHAP、Permutation Feature Importance (PFI)、Layer-Wise Relevance Propagation (LRP)、および IMPACC）と比較評価した。

合成シミュレーション

• 非線形構造： 互いに絡み合った半円（非線形分離可能）を持つ合成データセットにおいて、K-means ベースの PFI、SHAP、LRP などの標準的な手法は、真の信号となる特徴量を特定できず、ノイズに高い重要性を割り当てることが多かった。これに対し、Cluster LOCO-Split は正しい信号特徴量とその相対的な重要度の順序を正常に復元した。
• 高次元領域： ノイズ次元（$p_{noise}$ が最大 990）が増加するガウス混合、ガンマ混合、および絡み合ったムーン/サークルのシミュレーションにおいて、Cluster LOCO-MP および Cluster LOCO-RAMPART は、既存の手法を一貫して上回った。これらは、ノイズ特徴数の増加に伴い FCM-SHAP や PFI が大幅な性能低下を示す一方で、上位 10 個の真の信号特徴量を堅牢に復元した。

実世界の応用：シングルセル・トランスクリプトミクス

本フレームワークは、免疫細胞型のマーカー遺伝子を特定するために、末梢血単核細胞（PBMC）データセットに適用された。

• グローバルな重要度： Cluster LOCO-MP は、K-means ベースの手法（PBFI、PFI）よりも多くの生物学的に検証されたマーカー遺伝子（例：単球に対する FTL）を特定した。PBFI や PFI は、トップランキングにおいて既知のマーカーを特定できなかった。
• クラスター固有の重要度： CD14+ 単球、樹状細胞、NK 細胞、および CD34+ 造血幹細胞の分析において、Cluster LOCO-MP は LRP や標準的な微分発現解析（DEG）よりも一貫性があり、生物学的に解釈可能なランキングを提供した。
• 曖昧さの処理： CD34+ 造血幹細胞のような、クラスタリングが困難な集団に対して、Cluster LOCO-MP は既知のマーカー（PRSS57, EGFL7, CYTL1）をトップ 10 にランク付けすることに成功したが、LRP や標準的な DEG 解析はこれらのマーカーを特定できなかった。これは、単なる事後の統計的有意性ではなく、基礎となるクラスタリング構造を反映する本手法の能力を浮き彫りにしている。

意義と主張

本論文は、Cluster LOCO が教師なし学習の解釈における重要なギャップを埋めるものであると主張している。事後的かつモデルに依存しない 汎用性に基づく特徴量重要度の尺度を提供することで、実務家は以下のことが可能になる：

• どのような特徴量が発見された構造を駆動しているのかを理解するために、クラスタリング・ソリューションを監査する。
• 下流の解析（例：マーカー遺伝子の発見）における「ダブルディッピング」という統計的な落とし穴を回避する。
• 特定のアルゴリズムの仮定に縛られることなく、複雑で非線形、かつ高次元なクラスタリング・ワークフローに特徴量重要度を適用する。

著者らは、Cluster LOCO を慎重なモデル選択の代替品としてではなく、選択されたクラスタリングモデルの結果を検証し、解釈するための不可欠なツールとして位置付けており、これにより、クラスタリング主導の科学的発見の信頼性と再現性を高めている。本手法は、標準的な scikit-learn エスティメータと互換性のあるオープンソースの Python ライブラリとして実装されている。