How are MLOps Frameworks Used in Open Source Projects? An Empirical Characterization
本文通过分析八种流行的开源 MLOps 框架在 GitHub 项目中的采用情况，并将实际的 API 使用模式与社区功能需求进行关联，实证地刻画了这些框架的使用情况，揭示了开发者主要通过 API 对这些工具进行定制而非直接开箱即用，同时也在寻求核心功能、API 暴露程度以及 CI/CD 集成方面的改进。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位试图经营一家大型高科技餐厅的厨师。你有一个精妙的食谱（机器学习模型），但要确保这个食谱从厨房完美地送到每一位顾客的餐桌上，简直是一场噩梦。你需要追踪食材、监控烹饪时间、确保食物不会变质，并实现自动化的上菜过程。
MLOps 框架就像是这些“智能厨房系统”，旨在帮助你管理这种混乱。它们是软件工具，承诺处理你 AI 食谱的整个生命周期——从混合面糊到端上菜肴。
这篇论文就像是对这些“智能厨房系统”是如何被实际使用的法医调查。研究人员观察了 969 个真实的“餐厅”（开源软件项目）。他们研究了八个最受欢迎的系统（如 MLFlow、Wandb 和 BentoML），以回答三个大问题：它们是如何被使用的？人们实际上在使用哪些部分？以及人们在抱怨什么或在需求什么？
以下是他们的发现，用简单的术语进行了分类：
1. “开箱即用”的迷思
预期： 你买了一个智能厨房系统，插上电源，按下“开始”键。机器会自动完成一切。
现实： 论文发现，几乎没有人是这样使用这些工具的。开发者很少只是通过命令行运行它们，或者在自动化工作流（比如一个只需开启即可运行的机械臂）中设置它们。
相反，开发者将这些框架视为 乐高积木集。他们不只是使用预建好的城堡，而是取走那些“积木”（代码 API），并构建属于自己的定制结构。他们编写自己的脚本来将这些工具连接到特定的需求上，而不是让工具自动完成繁重的任务。
2. “瑞士军刀” vs. “专业工具”
研究人员注意到，开发者经常同时使用多种工具，就像厨师会用专门的刀切鱼，用另一种刀切蔬菜，并用温度计监测烤箱一样。
- 追踪器（Trackers）： 像 MLFlow 和 Wandb 这样的工具是最受欢迎的。它们就像厨房里的“记分牌”和“笔记本”。开发者用它们记录使用了哪些食材、菜肴的味道如何，并保留每一个版本食谱的历史。
- 构建者（Builders）： 像 Kedro 和 Prefect 这样的工具就像是流水线管理者。它们帮助组织烹饪过程中的各个步骤。
- 质量检查员（Quality Checkers）： 像 Deepchecks 和 Evidently AI 这样的工具就是“卫生检查员”。它们检查食材是否变质，或者味道是否随时间发生了变化。
研究发现，人们经常将这些工具结合使用。例如，他们可能会使用一个“记分牌”（MLFlow）来追踪食谱，使用一个“流水线”（Prefect）来运行烹饪步骤，并使用一个“卫生检查员”（Evidently AI）来确保食物安全。他们这样做是因为没有单一的工具能完美地完成所有事情。
3. “缺失的操作手册”问题
研究人员还查看了“意见箱”（问题追踪器），即用户向工具制作者反馈需求的地方。他们发现了一个清晰的模式：
- 人们想要更好的“记分牌”： 用户正在寻求更好的方式来追踪他们的实验并监控他们的模型。
- 人们想要更简单的“插件”： 由于开发者正在构建自己的定制结构（使用 API），他们要求工具能够更容易地连接到他们的定制构建中。他们希望这些“乐高积木”能更轻松地卡在一起。
- 人们想要更好的自动化： 尽管他们目前还没有使用这些工具进行“开箱即用”的操作，但他们正要求更好地将这些工具集成到他们的自动化烹饪线（CI/CD 流水线）中。
核心结论
论文得出结论，虽然这些“智能厨房系统”确实存在且功能强大，但它们并不被当作简单的、现成的解决方案来使用。相反，开发者正在**通过“黑客式”组合（hacking together）**来构建定制化的解决方案，因为这些工具还不完全符合他们的特定需求。
用户在说：“我们热爱核心功能（如追踪和监控），但请让这些工具更容易地连接到我们的定制工作流中，并且请帮助我们更好地实现枯燥部分的自动化。”
简而言之，MLOps 世界目前正处于这样一个阶段：每个人都在利用同一套工具来构建自己的定制化厨房小工具，而不是直接购买一台现成的电器。工具制造商需要倾听这些构建者的声音，从而打造出下一代更易于使用的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。