A Reproducible Log-Driven AutoML Framework for Interpretable Pipeline Optimization in Healthcare Risk Prediction

技術概要：医療リスク予測における解釈可能なパイプライン最適化のための再現性のあるログ駆動型 AutoML フレームワーク

問題定義
医療における正確かつ再現性のある疾患リスク予測は、異質な特徴量、限られたサンプルサイズ、そして深刻なクラス不均衡によって阻害されている。自動機械学習（AutoML）は手作業の負担を軽減するために登場したが、既存のフレームワーク（Auto-sklearn、TPOT、AutoGluon など）は主にモデル選択とハイパーパラメータ調整に焦点を当てている。それらは特徴量選択、正規化、データ拡張などの前処理ステップを、固定された、あるいは緩やかに最適化されたコンポーネントとして扱う傾向がある。その結果、前処理戦略と学習アルゴリズムとの間の複雑な相互作用は、特に小規模で不均衡な臨床データセットにおいて、十分に探求されていない。さらに、多くの AutoML 探索プロセスの確率的性質は、解釈性、再現性、およびパイプラインの挙動を体系的に分析する能力を制限している。

手法：yvsoucom-iterkit フレームワーク
著者は、パイプライン最適化を完全に再現可能な構成レベルのシステムとして再定義する、決定論的かつログ駆動型の AutoML フレームワーク「yvsoucom-iterkit」を提案する。確率的探索手法とは異なり、このフレームワークは 10 の構成可能コンポーネントの直積によって定義される統一された組み合わせ探索空間（$\mathcal{P}$）を探索するために、決定論的列挙を採用する。

1. 特徴量選択戦略（$F$）と数（$K$）
2. 正規化手法（$N$）と順序（$O$）
3. データ拡張手法（$A$）
4. 不均衡処理手法（$B$）
5. 分類モデル（$M$）
6. 訓練/テスト分割比率（$S$）
7. 決定閾値（$T$）
8. 乱数シード（$R$）

主要なアーキテクチャ的特徴：

• ログ駆動型実行： すべてのパイプライン構成は追跡可能なログエンティティとして符号化される。システムは、構成、前処理ステップ、モデルパラメータ、中間出力、評価指標を含むすべての実験詳細に対して構造化されたログを生成する。これにより、構成から結果までの完全な追跡可能性が保証される。
• 決定論的列挙： フレームワークはすべての有効なパイプラインブランチを事前に列挙し、ヒューリスティックまたは確率的な探索に依存することなく、探索空間の体系的かつ網羅的（または制御された）な探索を可能にする。
• 多レベル分析： フレームワークは階層的な分析アプローチをサポートする。
  • ブランチレベル： グローバルな指標の分布とクラスタリングを分析する。
  • パイプラインレベル： 高性能な構成を特定する。
  • コンポーネントレベル： 個々のコンポーネント値の平均、分散などの性能統計を集約し、その効果を分離する。
  • コンポーネント間相互作用： 結合分布を分析して、コンポーネント間の依存関係を明らかにする。
  • ロバスト性： 非パラメトリック検定（フリードマン検定、ウィルコクソン検定）および正規化ロバストランクスコア（NRRS）を使用して、複数の乱数シードにおける安定性を評価する。
• 類似性分析： 値レベルの二乗平均平方根（RMS）差分分析により、異なるコンポーネント値間の機能的冗長性を定量化する（例："MixUp"と"拡張なし"の比較）。

実験設定
このフレームワークは、2 つの代表的な医療データセットで評価された。

1. ピマ・インディアンズ糖尿病： 小規模で中程度の不均衡を持ち、純粋に数値的な特徴量を持つデータセット。
2. 医療脳卒中データセット： 混合された数値およびカテゴリカル特徴量を持ち、深刻なクラス不均衡を有するより複雑なデータセット。

実験では、性能とロバスト性を評価するために、複数の乱数シードを用いて18,720 のパイプライン構成（3,120 のデータブランチコレクションにグループ化）が実行された。

主要な結果

• 構造化され冗長な探索空間： 評価により、AutoML 探索空間は高度に構造化され、部分的に冗長であることが明らかになった。多くの異なる構成がほぼ同等の性能をもたらすため、実効次元性は組み合わせ空間よりも著しく低い、多対一のマッピングが存在することが示唆された。
• コンポーネントの重要性：
  • ピマデータセットでは、性能は主にデータ拡張（ランダムフォレストの重要度：Macro-F1 に対して 0.454）によって駆動され、次いでモデル選択（0.198）と不均衡処理（0.101）が続く。
  • 脳卒中データセットでは、不均衡処理が支配的（0.406）であり、次いで正規化順序とモデル選択が続く。
• コンポーネントの類似性と冗長性：
  • 特徴量選択のバリエーション（biMax 対 biMean）は低い RMS 距離（0.0252）を示し、互換性があることを示した。
  • MixUp 拡張は"拡張なし"と非常に良く一致し（RMS 0.0279）、ガウシアンノイズはより大きな乖離（0.10）を示した。
  • 不均衡処理のための Tomek リンクは"不均衡処理なし"と非常に密接に一致した（RMS 0.0325）。
• 性能とロバスト性のトレードオフ：
  • アンサンブルモデル（ランダムフォレスト、XGBoost、勾配ブースティング）は、精度と安定性の間の最良のバランスを達成した。ピマデータセットでは、低い変動性（$\sigma \approx 0.023–0.026$）で Macro-F1 約 0.88 に達した。
  • SVMは高いピーク性能（ピマデータセットで Macro-F1 約 0.689）を達成したが、最も高い変動性（$\sigma \approx 0.029$）を示し、確率的摂動に対する感度の高さを示した。
  • 脳卒中データセットの課題： Weighted-F1 は高い（約 0.94）ものの、深刻なクラス不均衡により Macro-F1 は低い（約 0.67）ままだった。これは、この分野における少数派クラスの予測の難しさを浮き彫りにした。

意義と主張
本論文は、yvsoucom-iterkitが AutoML を「ブラックボックス」最適化問題から透明性があり分析可能な実験プロセスへと転換させると主張する。パイプライン構成を決定論的かつログ追跡可能なエンティティとして扱うことで、このフレームワークは以下のことを可能にする。

1. 体系的な探索： モデル中心の AutoML で見過ごされがちな、前処理とモデリングの間の相互作用空間の網羅的なカバレッジ。
2. 解釈性： 性能の駆動要因を特定のコンポーネントに分解する能力（例、ピマデータセットでは特徴量選択数よりも拡張戦略の方が重要であると特定する）。
3. ロバスト性評価： 単一実行の最適化を超え、確率的変動を考慮した統計的に裏付けられた評価へと移行し、高性能モデルが安定性を欠く可能性があることを明らかにする。
4. 探索空間の削減： 機能的冗長性の特定により、探索空間の剪定が可能となり、将来の AutoML の取り組みを、すべてのパラメータの網羅的調整ではなく、高影響コンポーネント（モデル選択、不均衡処理）に焦点を当てるように導く。

著者は、医療における効果的な AutoML 最適化は、安定性のためにアンサンブル手法を活用し、深刻なクラス偏りを持つデータセットでは不均衡処理戦略を優先する、相互作用するコンポーネントの縮小されたセットに焦点を当てるべきであると結論づけている。このフレームワークは、経験的実践とバイアス - 分散トレードオフの理論的考察を架橋する、再現性があり構造を認識したパイプライン最適化の基盤を提供する。