Cross-Model Consistency of Feature Importance in Electrospinning: Separating Robust from Model-Dependent Features

技術的概要：紡糸における特徴量重要度のクロスモデル一貫性

問題定義
紡糸は、溶液濃度、電圧、流量などの運転パラメータのわずかな変動が、繊維の形態や材料性能を著しく決定する、極めて敏感なナノファブリケーションプロセスである。機械学習（ML）は、これらのプロセス - 構造関係をモデル化し、特徴量重要度を推論するために利用されるようになっているが、既存の研究の多くは単一のモデルに依存している。このアプローチは、結果として得られる特徴量重要度が信頼性があり、基礎となる物理を反映していると暗黙的に仮定している。しかし、紡糸研究に典型的な「小データ領域」（しばしば限定的で不均質なデータセットを特徴とする）において、異なるモデルファミリーは、本質的に異なる内部表現を学習しながらも、同程度の精度で同じデータに適合し得る。その結果、単一のモデルから導き出された特徴量重要度に関する結論は、真の物理的関係ではなく、モデルの帰納的バイアスを反映する可能性があり、潜在的に信頼性の低い実験指針につながる。

方法論
異なるモデル間における特徴量重要度の一貫性に関する体系的な評価の欠如に対処するため、著者らは、96 件のポリビニルアルコール（PVA）紡糸実験から構成されるキュレーションデータセットを用いたクロスモデル分析を実施した。本研究は、以下の方法論的枠組みを採用した。

• データセット: Ziabari らおよび Cogni-e-SpinDB から得られたデータは、4 つの要因（溶液濃度、印加電圧、流量、ノズル - コレクター間距離）をそれぞれ 4 レベルでサンプリングした応答曲面法（RSM）設計を用いた。目標出力は平均繊維直径であった。
• モデルの多様性: 帰納的バイアスを広くカバーするために、5 つのファミリーにまたがる 21 の異なるモデルを訓練した。
  • 線形モデル: 線形回帰、リッジ、ラッソ、エラスティックネット。
  • 木ベースモデル: ランダムフォレスト、勾配ブースティング、XGBoost、LightGBM、AdaBoost、決定木、ヒストグラムベースの勾配ブースティング。
  • カーネルベースモデル: RBF カーネルおよび多項式カーネルを用いたサポートベクトル回帰（SVR）。
  • ニューラルネットワーク: 様々な構成を持つ多層パーセプトロン（MLP）。
  • インスタンスベースモデル: K 近傍法（KNN）。
• 特徴量重要度の定量化: 全てのモデルに対して一貫して SHAP（SHapley Additive exPlanations）値を計算し（木ベースモデルには TreeSHAP、その他には KernelSHAP を使用）、グローバル重要度スコアを生成した。
• 信頼性分析: モデル間の合意を定量化するために、ランクベースの分析を実施した。主要な指標には以下が含まれる。
  • 各特徴量に対する平均ランク（$\bar{r}_j$）およびランクの標準偏差（$\sigma_{rj}$）。
  • モデルペア間のスピアマン順位相関。
  • 最も影響力のある特徴量に関する合意を測定するためのトップ-$k$合意分析。

主要な結果
本研究は、予測性能と解釈の信頼性の間に決定的な区別があることを明らかにした。

1. 予測性能: 木ベースのアンサンブルが最も高い予測精度（$R^2 \approx 0.9$）を達成し、次いでカーネルベースおよびインスタンスベースの手法が続いた。線形モデルは中程度の性能を示したが、ニューラルネットワークは小規模な訓練セットの限界に合致する、より低く不安定な結果を示した。重要なのは、異なるファミリーに属するモデルの相当なサブセットが同程度の精度を達成し、特徴量重要度の違いを予測品質の違いから分離するために必要な条件を満たしていたことである。
2. 特徴量重要度の一貫性:
   • 溶液濃度: 完全にロバストなパラメータとして特定された。すべてのモデルによって最も影響力のある特徴量（ランク 1）として評価され、ばらつきはゼロ（$\sigma_r = 0$）であった。これは、粘度およびポリマー鎖の絡み合いに関するドメイン知識と一致する。
   • 流量および印加電圧: これらのパラメータは、そのランクにおいて高い変動性（$\sigma_r > 0.9$）を示した。その見かけ上の重要度はモデルに強く依存しており、例えば、流量はモデルファミリーによっては中程度に重要から最も影響力が低いまで変動した。
   • ノズル - コレクター間距離: 中間的な信頼性（$\sigma_r = 0.526$）を示し、中程度の安定性はあるものの、平均ランクの一貫性は低かった。
3. モデル間合意: 全てのモデルペアにおける平均ペアワイズスピアマン順位相関は 0.584 であり、全体的な合意は中程度であることを示している。木ベースモデル同士では高い内部相関が見られたが、線形モデルとニューラルネットワークなど、本質的に異なるファミリー間では著しい乖離が観察された。トップ 1 合意は完璧（1.000）であったが、トップ 3 特徴量については 0.778 に低下した。

主要な貢献

• モデル依存性の経験的証拠: 本論文は、予測精度が同程度であっても、紡糸における特徴量重要度に関する結論がモデルファミリー間で普遍的に一貫しているわけではないことを示す、最初の体系的な評価を提供する。
• 信頼性スペクトラム枠組み: 「ロバストな」特徴量（モデル間で一貫している）と「モデル依存の」特徴量（モデル選択に敏感）を区別する方法を導入し、小データ領域における ML 結果の解釈のための原理的な基盤を提供する。
• ドメイン知識の検証: 本研究は、溶液濃度のみが支配的な駆動力としてロバストに特定されることを確認し、物理的直感を検証すると同時に、単一モデルの出力から他のパラメータの重要性を推論することの信頼性のなさを浮き彫りにした。

意義と主張
著者らは、予測性能と解釈の信頼性が機械学習モデルの異なる特性であると主張する。中心的な主張は、小規模な実験データセットにおいて、単一のモデルから導き出された特徴量重要度は、基礎となるプロセス - 構造 - 物性の関係ではなく、モデルの帰納的バイアスによって駆動されるという、認められていないリスクを伴うという点である。

本論文は、紡糸における解釈的洞察のために単一のモデルに依存することはリスクが高く、実験的努力の浪費につながる可能性があると結論づけている。その代わり、著者らは、特定されたパラメータが真に影響力があることを保証するために、クロスモデル検証を必要なステップとして提唱している。このアプローチは、限られたデータから特徴量重要度を推論するために ML が用いられる他の分野にも広く適用可能であり、モデルの不確実性下における解釈的結論の信頼性を評価する枠組みを提供する。本研究は、小データ問題そのものを解決するものではなく、むしろそのようなデータから信頼性の低い結論を導くリスクを軽減する方法を提供するものである。