OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms

以下は、ICLR 2026 の論文「OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms」の詳細な技術的サマリーです。

1. 問題提起

本論文は、機械学習（ML）研究を理論的な仮説から、生産環境で利用可能で検証済みの実装へと移行させる際の摩擦の大きいプロセスに対処します。ニューラルアーキテクチャ検索（NAS）や AutoML といった既存の自動化技術は、固定されたアルゴリズム構造内でのハイパーパラメータや層の選択の最適化には成功しましたが、全く新しいアルゴリズム的ロジックの発見という課題は未解決のままです。現在、直感的でない新しいアイデアを実行可能でエラーのないコードに変換し、標準的なパイプライン（例：scikit-learn）と統合することは、依然として手動で行われ、デバッグに多大な労力を要する作業です。著者らは、大規模言語モデル（LLM）の役割を、静的なテキスト生成器から、自律的なアルゴリズム発見を可能にする実行可能な学習システムへと転換することを提案します。

2. 手法：OMEGA フレームワーク

OMEGA は、アイデアの生成から実行可能コードの評価に至るまで、ML アルゴリズム作成のライフサイクル全体を自動化するために設計されたエンドツーエンドのフレームワークです。これは主に 4 つの段階で動作します。

A. アイデア生成

このフレームワークは、アルゴリズム的コンセプトを生成するために 2 つの相補的なアプローチを利用します。

1. LLM オントロジー検索: システムは、既存のモデルと研究原則のリストを LLM に提示し、各モデルに対して 10 個の独自の変更点を生成させます。これらのアイデアは解析され、コード生成のためのプロンプトとして使用されます。
2. 人間によるプロンプト入力: 人間の研究者は、新しいコンセプトを直接フレームワークに提出でき、これらは LLM によって生成されたアイデアと同様に処理されます。

B. コード生成と自己修復

アイデアが定義されると、LLM は 2 つの厳格な制約のもとでコードを生成します。

1. scikit-learn 準拠: 生成されたモデルは BaseEstimator から継承し、.fit() メソッドと .predict() メソッドを実装する必要があります。これにより、既存の ML ワークフローと互換性のあるドメイン固有言語（DSL）としてモデルが機能することが保証されます。
2. 自己修復パイプライン: 実行可能性を確保するため、フレームワークは反復的なデバッグループを採用しています。コード生成が失敗した場合、エラーのスタックトレースを LLM にフィードバックしてコードを再生成します。このプロセスは、固定された回数だけ繰り返されます。コードが修正できない場合は破棄されます。これにより、評価に進むのはエラーのないコンパイル可能なコードのみが保証されます。

C. 評価：Infinity-Bench

生成されたアルゴリズムを評価するために、著者らは Infinity-Bench を導入しました。これは、scikit-learn と OpenML から収集された 20 の多様な分類データセットを含むベンチマークリポジトリです。

• 多様性: データセットは、サイズ、特徴量のタイプ（数値/カテゴリ）、および分野（生物学、医学、教育）において異なります。
• 指標: データセットの難易度によって変動する生データとしての精度の代わりに、フレームワークは Min-Max 正規化ランキングスコア を使用します。
  • 各データセット $d$ において、スコア $n_{m,d}$ は、モデルの精度 ($s_{m,d}$) を最悪 ($min_d$) と最良 ($max_d$) のモデルに対して正規化することで計算されます。
    $$n_{m,d} = \frac{s_{m,d} - min_d}{max_d - min_d}$$
  • 最終的なパフォーマンススコアは、これら 20 のデータセット全体にわたるこれらの正規化ランキングの平均値です。

D. ライブラリ作成

パフォーマンスが優れたモデルは Python ライブラリ（omega-models）にパッケージ化され、標準的なワークフローへのシームレスな統合を可能にします。

3. 主要な貢献

1. OMEGA フレームワーク: シンプルなプロンプトを、コンパイルエラーのない scikit-learn 互換の ML 分類器に変換する、自動化されたエンドツーエンドのシステム。
2. Infinity-Bench: 20 の多様なデータセットにわたる相対的なパフォーマンスと堅牢性に基づいて分類モデルを評価するための堅牢なベンチマーク。
3. 新規アルゴリズムの発見: 確立されたベースラインを上回る 2 つの具体的な新規アルゴリズムの生成。
   • MetaSynthesisClassifier: 人間によるプロンプト入力に基づくスタッキング汎化モデル。
   • DirectionalForest: 特徴量の方向性を利用する、LLM によって自律的に生成されたアンサンブルモデル。
4. LLM 比較分析: 4 つの主要な LLM（Gemini 2.5 Flash、GPT-4.1 mini、Claude Sonnet 4.5、xAI の grok-code-fast-1）のコード生成能力を比較した研究。
5. 自己改善戦略: プロンプトの改善とコードの改善を反復的に比較し、どちらが効果的かについて分析した研究。

4. 結果

A. ベースラインとのパフォーマンス比較

OMEGA フレームワークは、標準的な scikit-learn ベースライン（例：RandomForest、MLPClassifier、LogisticRegression）を上回るモデルを生成することに成功しました。

• トップパフォーマー: ベンチマークの上位 3 位は OMEGA によって生成されたモデル（MetaSynthesisClassifier、VotingEnsembleClassifier、およびユーザープロンプト入力版）であり、それぞれ Min-Max スコア 0.9474、0.9445、0.9401 を達成しました。
• ベースラインとの比較: 標準的な scikit-learn モデルはより低い順位となりました（例：RandomForest は 0.9285、LogisticRegression は 0.8708）。

B. 新規アルゴリズムの分析

• MetaSynthesisClassifier: 階層的なスタッキング汎化アプローチを採用しています。特定のサンプルを除外したデータでベース推定器を訓練し（漏洩を防ぐため）、メタ推定器がこれらのベース予測の最適な重みを学習します。これは多様体複雑性の異なる状況において卓越した堅牢性を示しました。
• DirectionalForest: 特徴量の方向性を取り入れた自律的な発見です。クラス平均とグローバル平均の偏差の符号に基づいて方向性ベクトルを計算します。決定木を訓練する前に入力特徴量を変換（$x_{dir} = x \odot d$）することで、特徴量の重要度の方向を効果的に正規化し、高次元空間における分散を低減します。

C. LLM 比較

• Gemini 2.5 Flash は、10 の多様なプロンプトにわたる平均スコア（0.9162）で最も高い実行可能分類モデルの生成能力を示しました。
• プロンプトの質対モデルの同一性: Gemini が先行しましたが、モデル間のパフォーマンスギャップは比較的小さく、特定の LLM よりも初期プロンプトの質がより重要であることを示唆しています。

D. 自己改善（プロンプト対コード）

著者らは、プロンプト を反復するか、コード を反復するか、どちらがより良い結果をもたらすかをテストしました。

• 発見: ほぼすべての LLM において、プロンプトチューニングはコードのみの最適化よりも一貫して優れていました。
• 例: Claude の場合、プロンプトの改善はベースに対して 8.88% の向上をもたらしましたが、コードの改善はわずか 4.85% でした。
• 示唆: この文脈では、LLM への概念的指示を洗練させることが、自身のコードのデバッグを依頼するよりも効果的です。

5. 意義

OMEGA フレームワークは、自動化された AI 研究に向けた重要な一歩を表しています。アイデアの生成と実行可能で検証済みのコードとの間のギャップを埋めることで、新規 ML アルゴリズムの発見の障壁を下げます。

• スケーラビリティ: LLM がアルゴリズム的ロジックについて推論し、人間の介入なしに競争力のある生産環境対応のコードを生成できることを実証しています。
• 民主化: これらのモデルをパッケージ化することで、技術者だけでなく非技術的なエンジニアも LLM によって生成されたアルゴリズムを活用できるようになります。
• 将来の研究: この分野における「AI 科学者」の成功は、仮説から論文に至るまでの研究パイプライン全体が完全に自動化され、人間の手作業による導出を超えて ML 革新のペースを加速させる可能性のある未来を示唆しています。