SEA-TS: Self-Evolving Agent for Autonomous Code Generation of Time Series Forecasting Algorithms

本論文は、メトリクス優位モンテカルロ木探索やコードレビューによるプロンプト更新、グローバルな推論制御といった新技術を採用し、時間系列予測アルゴリズムを自律的に生成・進化させるエージェント「SEA-TS」を提案し、既存手法や人手設計の基線を上回る精度と新規なアルゴリズム構造の発見を実現したことを報告しています。

要約

この論文は、**「時間経過に伴うデータ（天気、電力使用量、株価など）を予測するプログラムを、人間の手を借りずに AI 自身がゼロから作り上げ、進化させる」**という画期的な技術について書かれています。

タイトルは**「SEA-TS（シー・エー・ティー・エス）」**です。

これをわかりやすく説明するために、**「天才的な料理人の見習い」**という物語に例えてみましょう。

---

🍳 物語：天才料理人の見習い「SEA-TS」

1. 従来の方法 vs 新しい方法

• 従来の方法（人間が作る）：
  料理長（人間）がレシピ（モデル）を考え、試作して、味見して、また作り直します。
  • 問題点： 食材（データ）が足りない新しいお店ではレシピが作れない。季節が変わると味が変わってしまう。そして、味を 1 点上げるのに、何時間も何時間もかかってしまい、限界に達すると「もうこれ以上美味しくできない」と諦めてしまいます。
• SEA-TS の方法（AI が作る）：
  料理人ではなく、**「自分自身で成長する AI 料理人の見習い」**が厨房に入ります。この見習いは、失敗しても怒られず、失敗から学び、次の瞬間にはより美味しい料理を作れるように「自分自身を書き換えて」進化し続けます。

2. SEA-TS の 3 つの「魔法の道具」

この見習いがなぜそんなに上手くなるのか？それは 3 つの特別なルールがあるからです。

① 「統計の魔法」で味見をする（MA-MCTS）

• 仕組み： 普通の AI は「美味しかったら +1 点、まずかったら -1 点」と単純に評価します。でも、SEA-TS は**「今日の料理会の平均点から、どれくらい飛び抜けて美味しいか」**を計算します。
• 例え： 全員が 50 点の料理を作っている中で、60 点の料理は「すごい！」と評価されます。でも、全員が 90 点の料理を作っている中で 91 点の料理は「まだちょっと足りない」と厳しく評価されます。
• 効果： これにより、AI は「単なる偶然の成功」ではなく、「本当に革新的な味（アルゴリズム）」を見つけ出すために、賢く探索します。

② 「失敗ノート」と「メモ帳」の進化（コードレビューとプロンプト更新）

• 仕組み： 見習いが作った料理（プログラム）が成功しても、裏に「未来の食材（未来のデータ）」をこっそり使っていないか、プロの料理人がチェックします。もしミスがあれば、その「失敗の理由」を**「メモ帳（プロンプト）」**に書き込みます。
• 例え： 「あ、昨日の鍋で『明日の天気』を参考にしてしまったね！次回からは『昨日までの天気』しか見てはいけない！」とメモします。
• 効果： このメモ帳は、1 回だけでなく、すべての次の料理作りに引き継がれます。同じミスを二度と繰り返さず、失敗から学んだ知恵が蓄積されていくのです。

③ 「世界のベストとワースト」を見比べる（グローバル・ステアブル・リーソン）

• 仕組み： 見習いは、自分が作った料理だけでなく、**「今まで作られた中で一番美味しい料理（ベスト）」と「一番まずい料理（ワースト）」**を常に比較します。
• 例え： 「あのベストな料理は『火加減』がポイントだったけど、ワーストの料理は『火が強すぎた』な。じゃあ、自分は『中火』にしよう」と、他の人の成功や失敗から直接アイデアを盗みます。
• 効果： 自分だけの狭い世界で試行錯誤するのではなく、過去の全経験から学び、飛躍的に進化できます。

3. 驚きの結果：AI が発見した「新しい料理法」

このシステムを実際に太陽光発電や家庭の電気使用量の予測に使ったところ、人間が何年もかけて作った最高のレシピよりも、もっと精度の高い予測ができました。

しかも、AI は人間が思いつかなかった**「新しい料理法（アルゴリズム）」**を勝手に発明しました。

• 例： 「太陽は午後になると必ず弱まる」という物理の法則を、プログラムの中に「自然なルール」として組み込んだり、 station（発電所）ごとに「朝と夜の癖」を覚えさせたりしました。
• 意味： これらは、人間が「こうしよう」と指示したわけではなく、AI 自身が「そうすればもっと正確になる！」と独創的に発見したものです。

🌟 まとめ

SEA-TSとは、**「失敗を恐れず、過去の知恵をメモ帳に蓄え、世界中の成功例を参考にしながら、自分自身をアップデートし続ける AI 料理人」**です。

これにより、データが少ない新しい場所でも、状況が変わっても、人間が限界を感じるところを超えて、**「もっと正確で、もっと賢い未来予測」**を自動的につくり出すことができるようになりました。これは、AI が単なる「道具」から、「創造的なパートナー」へと進化した瞬間と言えるでしょう。

技術概要

SEA-TS: 時系列予測アルゴリズムの自律的コード生成のための自己進化エージェント

本論文は、時系列予測タスクにおいて、従来の機械学習開発プロセスの限界を克服し、大規模言語モデル（LLM）を「機械学習エンジニア（MLE）」として自律的にコードを生成・最適化するフレームワークSEA-TS（Self-Evolving Agent for Time Series Algorithms）を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題（Problem）

時系列予測はエネルギー、金融、物流など多くの分野で不可欠ですが、従来の機械学習開発パイプラインには以下の 3 つの重大な課題が存在します。

1. データ不足（Data Scarcity）: 新規導入システムや希少事象の予測など、十分な履歴データが存在しない「コールドスタート」局面が多く、信頼性の高いモデルの構築が困難です。
2. 分布シフト（Distribution Shift）: 設備の劣化、政策変更、ユーザー行動の変化などにより、実世界のデータ分布は常に変動します。これにより、過去のデータで訓練されたモデルの性能が低下し、頻繁な手動での再調整が必要となります。
3. 限界効用逓減（Diminishing Marginal Returns）: 性能が天井に近づくと、わずかな精度向上のために莫大な工数が必要となり、手動による反復改良は経済的に非効率になります。

既存の LLM ベースの自動 ML エージェント（AIDE や ML-Master など）は、以下の制限を抱えています。

• 報酬ハッキング: 論理的欠陥（時系列タスクにおけるデータリークなど）を含むコードが、人工的に高いスコアを出して選別されてしまう。
• 単純な報酬メカニズム: 固定された報酬（例：改善があれば +1）では、画期的な突破と微細な改善を区別できず、探索が非効率になる。
• 限定的な推論文脈: 親ノードや兄弟ノードの情報しか参照せず、探索履歴全体における最良・最悪の解からの知見を共有できない。
• 静的なプロンプト: 発見された失敗パターンや成功パターンに基づいて、システムプロンプトが動的に更新されない。

2. 手法（Methodology）

SEA-TS は、Metric-Advantage MCTS、コードレビューと実行プロンプトの更新、グローバル・ステアラブル・リーソニングという 3 つの革新を統合した自己進化ループを特徴としています。

2.1 全体アーキテクチャ

システムは閉ループで動作し、以下の 5 つのフェーズを反復します。

1. ノード選択: UCT（Upper Confidence Bound for Trees）を用いて拡張するリーフノードを選択。
2. プロンプト構成とコード生成: 親ノード情報、グローバル比較、アーカイブからのサンプルなどを統合したプロンプトで LLM にコードを生成させる。
3. サンドボックス実行と評価: 生成されたコードを実行し、評価指標（WAPE, MAE など）を取得。
4. コードレビューとプロンプト更新: 実行エラーがないコードに対し、論理的欠陥（データリーク等）を自動レビューし、その知見を「実行プロンプト（Running Prompt）」に反映させる。
5. ツリー更新: 報酬計算、バックプロパゲーション、MAP-Elites アーカイブの更新を行う。

2.2 主要な技術的革新

(1) Metric-Advantage Monte Carlo Tree Search (MA-MCTS)

従来の固定報酬の代わりに、統計的に正規化された**メトリック・アドバンテージ（Metric Advantage）**を使用します。

• 仕組み: 過去の全メトリック分布の平均（$\mu$）と標準偏差（$\sigma$）を用いて、現在のメトリック $M_j$ のアドバンテージ $A_j$ を z スコアとして計算します（例：$A_j = (\mu - M_j)/\sigma$）。
• 効果: 画期的な改善（$A_j \gg 1$）には大きな報酬が与えられ、微細な改善には相対的に小さな報酬が与えられます。これにより、探索の方向性を統計的に意味のある信号で誘導し、効率的な探索を実現します。

(2) コードレビューと実行プロンプトの更新（Code Review with Running Prompt Refinement）

• 自動論理レビュー: 実行成功したすべてのコードに対し、LLM がデータリーク、正規化の誤り、学習・テストデータの混入などの論理的欠陥を厳密にチェックします。欠陥がある場合は報酬を -1 にし、親ノードへのバックプロパゲーションを抑制します。
• 実行プロンプトの動的更新: レビュー結果やグローバル比較の知見を、継続的に更新される「実行プロンプト（Running Prompt）」に統合します。これにより、同じミスを繰り返さないよう、システム全体が自己学習し、修正パターンが蓄積されます。

(3) グローバル・ステアラブル・リーソニング（Global Steerable Reasoning）

• 各評価ノードを、探索履歴全体の**最良解（Global Best）と最悪解（Global Worst）**と比較します。
• 異なる探索経路（トラジェクトリ）間の知識転移を可能にし、単なる局所的な改良ではなく、木全体をまたぐような「ジャンプ」による改善を促します。

(4) MAP-Elites 品質多様性アーカイブ

• 多様なアーキテクチャ（ツリーベース、分解、アテンション、ハイブリッド等）や特徴量エンジニアリングの sophistication などを多次元でインデックス化し、多様な高品質な解の集合を維持します。これにより、局所最適解への収束を防ぎます。

3. 主要な貢献（Key Contributions）

1. 汎用性の高い自己進化 MLE エージェントフレームワーク: 統計的意味を持つメトリック・アドバンテージ、自動コードレビュー、グローバル推論を統合し、自律的なアルゴリズム開発を可能にしました。
2. 統計的に意味のある報酬メカニズム: 探索効率を劇的に向上させる Metric Advantage 報酬の導入。
3. 自律的発見による新規アーキテクチャの創出: 人間の手動設計を超えた、時系列予測分野で未報告の新しいアーキテクチャパターンを自律的に発見し、公開ベンチマークおよび産業データで SOTA 性能を達成しました。

4. 実験結果（Results）

SEA-TS は、公開ベンチマークと産業用プロプライエタリデータセットの両方で評価されました。

4.1 公開ベンチマーク（Solar-Energy）

• 結果: 既存の SOTA モデル「TimeMixer」に対して、MAE が 40% 削減（2.929 → 1.757）されました。
• 発見されたアーキテクチャ: 「DiurnalMultiScaleGatedLinear」という 6 ヘッドのゲート付きネットワーク。マルチスケールな季節性・トレンド分解と、各ステーションごとの学習済み日周パターン、固定基底フーリエヘッドなどを組み合わせ、物理制約（非負、日中の重み付け損失）を反映しています。

4.2 産業用データセット

• 太陽光発電（PV）予測: 人間が設計したベースライン（TimeMixer）に対し、WAPE が 8.6% 削減（25.75% → 17.12%）。
  • 発見: 「Monotonic Decay Head（単調減衰ヘッド）」という、正午後の太陽放射が単調に減少するという物理法則を学習可能なアーキテクチャとしてエンコードした新規パターン。これはプロンプトに明示されておらず、エージェントが自律的に発見しました。
• 家庭用負荷予測:
  • Timer ベースラインに対し WAPE 7.7% 削減。
  • TimeMixer ベースラインに対し MAPE 3.17% 削減（29.34% → 26.17%）。
  • 発見: 予測値の大きさに比例した「学習可能な時間ごとのバイアス補正」や、ユーザーごとの埋め込み表現を自律的に発見。

4.3 自律的に発見されたパターンの具体例

• 物理情報に基づく制約: 太陽光の減衰を物理法則としてモデルに組み込む。
• ロバストな前処理: 標準正規化ではなく、外れ値に強い MAD（中央値絶対偏差）スケーリングを自律的に選択。
• 学習可能なバイアス補正: 負荷予測において、予測値の絶対値に比例したバイアス補正を行う手法の発見。

5. 意義と結論（Significance）

SEA-TS は、単なるハイパーパラメータの最適化や既存アーキテクチャの組み合わせを超え、**「自律的機械学習エンジニアリング」**の可能性を実証しました。

• イノベーションの創出: 人間が設計していなかった、物理法則とデータ駆動を融合させた新しいアーキテクチャパターンを自律的に発見・実装できることを示しました。
• 実用性の向上: 分布シフトやデータ不足といった実世界の課題に対し、継続的な自己進化によって適応し、高い精度を維持する可能性を秘めています。
• 今後の展望: 推論遅延やモデルサイズを考慮した多目的最適化、コンテキストの剪定によるコスト削減、ドメイン知識の体系的な注入、およびコーディングエージェントと深層研究エージェントの統合などが今後の課題として挙げられています。

本フレームワークは、機械学習開発のパラダイムを「手動の反復」から「自律的な進化」へと転換させる重要な一歩となるでしょう。