How are MLOps Frameworks Used in Open Source Projects? An Empirical Characterization
本論文は、GitHubプロジェクトにおける採用状況の分析および実際のAPI使用パターンとコミュニティの機能リクエストとの相関関係の分析を通じて、8つの普及しているオープンソースのMLOpsフレームワークの使用状況を実証的に特徴付けており、開発者がコア機能、APIの露出、およびCI/CD統合の改善を求めつつ、これらのツールをそのまま利用するのではなく主にAPIを介してカスタマイズしていることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、巨大でハイテクなレストランを経営しようとしているシェフだと想像してください。あなたには素晴らしいレシピ（機械学習モデル）がありますが、そのレシピをキッチンからお客様のテーブルへと、毎回完璧に届けることは悪夢のような作業です。食材を追跡し、調理時間を監視し、食材が傷まないようにし、配膳プロセスを自動化する必要があります。
MLOpsフレームワークは、この混乱を管理するために設計された「スマートキッチンシステム」のようなものです。これらは、材料の混合から料理の提供に至るまで、あなたのAIレシピのライフサイクル全体を管理することを約束するソフトウェアツールです。
この論文は、969の実世界の「レストラン」（オープンソースソフトウェアプロジェクト）が、実際にこれらのスマートキッチンシステムをどのように使用しているかについての鑑識調査です。研究者たちは、最も人気のある8つのシステム（MLFlow、Wandb、BentoMLなど）を調査し、3つの大きな疑問に答えました。どのように使われているのか？ どの部分が実際に使われているのか？ そして、人々は何に対して不満を抱いたり、何を求めているのか？
以下に、その結果を分かりやすい言葉でまとめました。
1. 「アウト・オブ・ザ・ボックス（箱から出してすぐ使える）」という神話
期待： スマートキッチンシステムを購入して、プラグを差し込み、「スタート」ボタンを押す。すると、機械がすべてを代わりにやってくれる。
現実： 論文によると、このようにツールを使っている人はほとんどいないことが分かりました。開発者が、コマンドラインから単に実行したり、自動化されたワークフロー（例えば、ただスイッチを入れるだけのロボットアームのようなもの）の中にセットアップしたりすることは滅多にありません。
むしろ、開発者はこれらのツールをレゴセットのように扱っています。彼らは完成したお城をそのまま使うのではなく、そのパーツ（コードAPI）を取り出し、独自のカスタム構造を作り上げているのです。ツールに重労働を自動で行わせるのではなく、特定のニーズに合わせてツールを接続するための独自のスクリプトを自ら記述しています。
2. 「スイスアーミーナイフ」か、「専門的な道具」か
研究者たちは、開発者がしばしば複数のツールを同時に使用していることに気づきました。それはまるで、シェフが魚用の包丁、野菜用の包丁、そしてオーブン用の温度計を使い分けるようなものです。
- トラッカー（追跡ツール）： MLFlowやWandbのようなツールが最も人気があります。これらはキッチンの「スコアボード」や「ノート」のようなものです。開発者はこれらを使って、どのような材料を使ったか、料理がどのような味だったかを記録し、あらゆるバージョンのレシピの履歴を保持します。
- ビルダー（構築ツール）： KedroやPrefectのようなツールは、組み立てラインのマネージャーのようなものです。調理工程のステップを整理するのを助けます。
- クオリティチェッカー（品質検査ツール）： DeepchecksやEvidently AIは、保健所の検査官のようなものです。食材が傷んでいないか、あるいは味が変化していないかをチェックします。
調査によると、人々はこれらを組み合わせて使うことが多いことが分かりました。例えば、レシピを記録するために「スコアボード」（MLFlow）を使い、調理ステップを実行するために「組み立てライン」（Prefect）を使い、そして食べ物が安全であることを確認するために「検査官」（Evidently AI）を使う、といった具合です。これは、単一のツールではすべてを完璧にこなせないためです。
3. 「欠けているマニュアル」問題
研究者たちは、ユーザーがツールメーカーに要望を伝える「意見箱」（イシュートラッカー）についても調査しました。そこでは明確なパターンが見られました。
- 人々はより良い「スコアボード」を求めている： ユーザーは、実験の追跡やモデルのモニタリングをより良くする方法を求めています。
- 人々はより簡単な「プラグイン」を求めている： 開発者は独自のカスタム構造を構築しているため（APIを使用しているため）、それらのツールを自分たちのカスタム構築に接続しやすくすることを求めています。彼らは「レゴのブロック」がもっと簡単にカチッと組み合わさることを望んでいます。
- 人々はより優れた自動化を求めている： まだ「アウト・オブ・ザ・ボックス」での使用には至っていないものの、これらのツールを自動調理ライン（CI/CDパイプライン）に統合する方法を求めています。
大きな教訓
この論文は、これらの「スマートキッチンシステム」が存在し強力である一方で、単純な既製品のソリューションとしては使われていないと結論付けています。代わりに、開発者はツールのニーズがまだ完全には合致していないため、独自のカスタムソリューションを構築するために、これらをハックして組み合わせているのです。
ユーザーはこう言っています。「コアとなる機能（追跡やモニタリングなど）は大好きですが、これらのツールを私たちのカスタムワークフローに接続しやすくし、退屈な部分をもっとうまく自動化できるようにしてください。」
要するに、MLOpsの世界は現在、既製の家電製品を買うのではなく、同じ一連の道具を使って自分専用のカスタムキッチンガジェットを皆が作り上げているフェーズにあるのです。ツールメーカーは、次世代のガジェットをより使いやすくするために、作り手たちの声に耳を傾ける必要があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。