LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization

本論文は、LLM エージェントと RAG、およびツールチェインを統合した「LeJOT-AutoML」フレームワークを提案し、Databricks 環境におけるジョブ実行時間の予測精度向上と特徴量エンジニアリングの自動化を実現することで、クラウドコストを約 19% 削減することを示しています。

Lizhi Ma, Yi-Xiang Hu, Yihui Ren, Feng Wu, Xiang-Yang Li

公開日 2026-03-10
📖 1 分で読めます☕ さくっと読める

Each language version is independently generated for its own context, not a direct translation.

🍳 物語:巨大な厨房の「料理時間」予測

想像してください。大規模なレストラン(Databricks というクラウドサービス)があり、毎日何千もの料理(データ処理のジョブ)が注文されています。
厨房のマネージャー(LeJOT)の目標は、**「料理が完成する時間を正確に予測して、最も安くて効率的な調理器具(コンピューター)を選ぶこと」**です。

🚧 昔の悩み:手作業の限界

これまで、料理の完成時間を予測するのは、**「経験豊富なシェフ(人間のエンジニア)」**がやっていました。

  • 問題点 1: 食材の量(データ量)はレシピ(静的な情報)でわかりますが、「実際に火を通している最中の様子」(食材が焦げないか、鍋が混雑しないか)は、料理が始まるまでわかりません。
  • 問題点 2: シェフは「過去に似た料理はこれくらいかかった」という経験則(手作業で設計された特徴量)しか使っていませんでした。
  • 結果: 料理が予想より長引くと、高価な高級コンロを無駄に使い続けてしまい、コストが膨らんでいました。また、新しいメニューが出ると、シェフが新しいルールを覚えるのに**「数週間」**もかかっていました。

✨ 新登場:AI 助手チーム「LeJOT-AutoML」

そこで登場するのが、**「AI 助手チーム」です。彼らは単なる計算機ではなく、「大規模言語モデル(LLM)」**という、本を読んだりコードを書いたりできる賢い AI アシスタントたちで構成されています。

彼らは 3 人の役割分担で動きます:

  1. 🕵️‍♂️ 調査員(Feature Analyzer Agent)

    • 役割: 過去の料理ログや、厨房のルールブック(ドキュメント)を AI が読み込み、「どんな情報が料理時間に影響するか?」を提案します。
    • 例え: 「単に食材の重さだけでなく、『炒める時の油の跳ね方』や『調理中の鍋の温度変化』も記録すべきだ!」と提案します。
  2. 🛠️ 職人(Feature Extraction Agent)

    • 役割: 調査員の提案を元に、実際にデータを収集する「道具(ツール)」を使います。
    • 例え: 厨房のログを読み取る機械や、テスト調理をする小さなキッチン(サンドボックス)を使って、**「実際に料理している最中のリアルタイムなデータ」**を収集します。
    • すごい点: これまで人間には見つけられなかった「隠れた要因(データの偏りや、作業の混雑具合)」を、AI が自動で見つけて数値化します。
  3. 🛡️ 審査員(Feature Evaluation Agent & Safety Gates)

    • 役割: 集めたデータが正しいか、将来の料理時間を予測する際に「不正な情報(結果を知った後の情報)」を使っていないか厳しくチェックします。
    • 例え: 「このレシピは『料理が終わった後の感想』を材料に使っているから、まだ料理する前には使えないよ!」と、**「未来の情報を過去に持ち込むミス(データリーク)」**を防ぎます。

🚀 何がすごいのか?

  • スピードの劇的向上:

    • 昔: 新しい料理ルールを覚えるのに**「1 ヶ月」**かかった。
    • 今: AI 助手チームなら**「20〜30 分」**で新しいルールを見つけ、テストして完成させます。
    • 比喩: 「手書きで新しいレシピ本を作る」のが 1 ヶ月なら、「AI が 30 分で 200 種類以上の新しいレシピ案を試し、ベストなものを選ぶ」感じです。
  • 精度とコスト:

    • 人間が作ったルール(手作業)の方が、まだ少しだけ正確ですが、AI は**「コスト 19% 削減」**という大きな成果を出しました。
    • 比喩: 完璧な料理人(人間)に 100 点の料理を作ってもらえるけれど、AI 助手は 90 点の料理を**「半額以下のコスト」で、かつ「毎日自動でメニューを更新」**しながら作ってくれる、という感じです。

🎯 結論

このシステムは、**「AI が自ら考え、道具を使い、失敗から学びながら、厨房(クラウド)を常に最適化し続ける」**仕組みです。

人間が「どうすればいいか」を一つ一つ指示する必要がなくなり、AI が**「現場のリアルな様子」**を即座に分析して、最も安くて速い調理法を提案してくれるようになるのです。これにより、企業は莫大なクラウド利用料を節約できるようになります。


一言で言うと:
「料理の完成時間を予測して節約する厨房で、『AI 助手チーム』が 200 種類以上の新しい調理コツを 30 分で発見し、人間が 1 ヶ月かけてやる仕事を代わりにやってくれて、結果的に 2 割近くのコストを浮かせた」というお話です。