技術概要：CoFEH

問題定義

特徴量エンジニアリング（FE）は機械学習パイプラインの要であるが、従来の自動化手法にとっては依然としてボトルネックとなっている。既存のアプローチは、以下の 3 つの根本的な限界に苦しんでいる：

1. 意味的無関心性（Semantic Agnosticism）： 事前定義された探索空間と試行錯誤に依存し、ドメインの事前知識を活用していない。
2. 硬直したトポロジー： 生成 followed by 選択といった固定されたパイプライン順序を強制し、異種操作の動的な相互交差や柔軟な構成を阻害している。
3. 制限された操作セット： 組み込みアルゴリズムや基本的な算術演算のクローズドなライブラリに限定されており、事前定義されたプリミティブを超えたタスク固有の操作を発見できない。

さらに、大規模言語モデル（LLM）は意味的に根ざした無制限の演算子を生成する有望な代替手段を提供するが、現在の LLM ベースの FE 手法は通常、特徴量生成のような孤立した部分タスクに焦点を当てており、自由形式のパイプラインの構築には失敗している。重要なのは、これらの手法が下流モデルのハイパーパラメータ最適化（HPO）と FE をほとんど結合していないことである。これにより、特徴表現とモデル容量の間の強い依存関係を無視した「貪欲な」逐次ワークフロー（FE の後 HPO）が生じ、システムがしばしば非最適な局所最小値に陥ることになる。

手法：CoFEH フレームワーク

著者は、堅牢なエンドツーエンドの AutoML のために LLM 駆動の FE とベイズ HPO を相互交差させるように設計された CoFEH（Collaborative Feature Engineering and Hyperparameter Optimization）を提案する。このシステムは 3 つの中核コンポーネントから構成される：

1. LLM 駆動の Tree-of-Thought（ToT）FE オプティマイザ

自由形式の FEという課題に対処するため、CoFEH はパイプライン構築をモンテカルロ木探索（MCTS）によって解かれる逐次意思決定問題として再定式化する。

• 状態表現： 任意の変換段階におけるデータセットは、探索木内の状態ノードとして扱われる。
• 制御可能な推論： LLM は、データセットのメタデータ、祖先パイプライン、および動的な指示（directive）（$d$）を含む構造化されたプロンプトに基づいて、新しい FE 操作を生成する：
  • 初期化（Initialization）： 根ノードに対して高品質な初期操作を生成する。
  • 探索（Exploration）： 探索空間の未知領域を調査するための新規操作を提案する。
  • 利用（Exploitation）： 高パフォーマンスの歴史的な操作を再利用・適応させることで、現在の状態を洗練させる。
• グローバルメモリ： パレートベースの検索メカニズムが、成功した操作（推論チェーン、特徴量部分集合、スコア、相対的な改善度）をアーカイブし、利用フェーズにおいて LLM を導く。

2. 相互条件付けメカニズム

協調的 FE–HPOという課題を解決するため、CoFEH は LLM（FE）とベイズ最適化（BO）（HPO）の間に双方向の情報フローを確立し、孤立したチューニングを回避する。

• FE に条件付けられた HPO： BO の代理モデルは、FE パイプラインを特徴づけるためにデータセット状態から抽出されたメタ特徴量（$\phi(s)$）を使用する。これにより BO はパイプラインとハイパーパラメータの結合影響をモデル化し、特定データセット状態（$s^*$）に対する最適な設定（$\lambda^*$）を推奨できる。
• HPO に条件付けられた FE： MCTS の選択フェーズとプレイアウトフェーズは HPO の結果によって情報提供される。ノードの「最良のパフォーマンス」指標は、その特定データセット状態に対して発見された最適ハイパーパラメータによって決定され、LLM がデフォルト設定ではなく最適モデル構成下で特徴量の品質を評価することを保証する。

3. 動的オプティマイザセレクタ

タスク適応的スケジューリングに対処するため、CoFEH は FE と HPO の間の最適化予算の割り当てを、**予測 Upper Confidence Bound（PUCB）**ポリシーを用いた多腕バンディット（MAB）問題としてモデル化する。

• セレクタは、経験的成功率（$Q(a)$）と時間変化する事前重み（$\omega_a$）に基づいて、各反復で FE ステップを実行するか HPO ステップを実行するかを動的に決定する。
• 事前重みスケジューリング： システムは、データが「モデル準備完了」であることを保証するために FE へのバイアスから始まり、予算が尽きるにつれてこのバイアスを 50/50 の均衡に向けて線形に減衰させる。これにより、中立的なシナリオではバランスの取れた予算配分が保証されつつ、実際にはタスク固有の経験的報酬が配分を誘導することを可能にする。

主要な貢献

1. 自由形式パイプラインの最適化： 制約のないパイプライントポロジーと演算子を探索する LLM 駆動の ToT オプティマイザ。前処理、変換、生成、選択を動的に構成する真の自由形式の特徴量エンジニアリングを可能にする。
2. 相互条件付けメカニズム： FE と HPO が互いの意思決定を情報提供し合う新しい双方向結合。逐次最適化の「貪欲な近視眼」を防ぎ、結合空間における大域的最適解の発見を可能にする。
3. 動的リソース配分： 与えられたタスクに対する各手法の実用的有用性に基づいて、FE と HPO の間で計算予算を適応的に配分する PUCB ベースのセレクタ。
4. 経験的検証： 従来の AutoML システムおよび既存の LLM ベースのベースラインの両方を CoFEH が上回ることを示す広範な実験。

実験結果

著者は、XGBoost、MLP、および CASH（Combined Algorithm Selection and Hyperparameter Optimization）の 3 つの下流モデルシナリオにわたる28 の公開データセット（19 の分類、9 の回帰）で CoFEH を評価した。

• スタンドアロン FE： CoFEH はすべてのベースラインの中で最良の平均順位（1.82）を達成し、従来の手法（Mindware、OpenFE）および他の LLM ベースのアプローチ（OCTree、ELLM、LFG）を大幅に上回った。
• 結合 FE+HPO： エンドツーエンド設定において、CoFEH は自身のスタンドアロン FE パフォーマンスと比較して7.03% の相対誤差削減を示し、すべてのベースラインを上回った。平均順位 1.75 を達成し、新たな最先端（state-of-the-art）を確立した。
• 汎化性： このフレームワークは異なるモデルタイプ（MLP、CASH）間で堅牢な汎化性を示し、トップパフォーマンスを維持するとともに、有意な誤差削減を達成した（例：CASH シナリオで +45.1% の改善）。
• コスト効率： CoFEH は Gemini-2.0-flash バックボーンを使用し、タスクあたり約 0.07 ドルのみを必要とする最高のコストパフォーマンストレードオフを達成した。一方、従来の検索中心の手法（OpenFE、Mindware）ははるかに多くの実行時間を必要とした。
• アブレーション研究： 相互条件付けメカニズムまたは動的セレクタを除去するとパフォーマンスが大幅に低下し、結合された情報管理と適応的リソーススケジューリングの両方の必要性が確認された。

意義と主張

本論文は、CoFEH が LLM の意味的推論能力とベイズ最適化の数値的効率の間のギャップを埋めると主張している。硬直した逐次ワークフローから相互交差した協調的最適化戦略へと移行することで、CoFEH は LLM が FE では優れているが FE-HPO 結合では劣るという「能力統合のパラドックス」を克服する。

著者は、CoFEH が以下のことを達成すると主張している：

• 人間のような専門家の自由形式パイプラインを作成するための LLM の潜在能力を最大限に引き出す。
• 分離された FE と HPO に起因する非最適な局所最小値の問題を解決する。
• 画像やテキストデータに対してプロンプトの変更を通じて適応可能な、スケーラブルで拡張性のある将来の AutoML 作業の基盤を提供する。

この研究は、特徴量発見とモデルチューニングを孤立した段階ではなく、統合され相互に強化されるプロセスとして扱う、包括的な ML パイプライン最適化への重要な一歩として提示されている。