How are MLOps Frameworks Used in Open Source Projects? An Empirical Characterization
Dit artikel karakteriseert empirisch het gebruik van acht populaire open-source MLOps-frameworks door hun adoptie in GitHub-projecten te analyseren en werkelijke API-gebruikspatronen te correleren met verzoeken vanuit de community over functies, waarbij wordt onthuld dat ontwikkelaars deze tools voornamelijk aanpassen via API's in plaats van ze direct uit de doos te gebruiken, terwijl zij tegelijkertijd streven naar verbeteringen in kernfunctionaliteit, API-blootstelling en CI/CD-integratie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een chef-kok bent die een enorm, hightech restaurant probeert te runnen. Je hebt een briljant recept (het Machine Learning-model), maar het perfect en elke keer weer van de keuken naar de tafel van de klant krijgen, is een nachtmerrie. Je moet ingrediënten bijhouden, de kooktijden bewaken, ervoor zorgen dat het eten niet bederft en het serveerproces automatiseren.
MLOps-frameworks zijn als die "slimme keukensystemen" die helpen om deze chaos te beheersen. Het zijn softwaretools die beloven het volledige levenscyclus van je AI-recepten te beheren, van het mengen van het beslag tot het serveren van het gerecht.
Dit artikel is als een forensisch onderzoek naar hoe 969 echte "restaurants" (open-source softwareprojecten) deze slimme keukensystemen daadwerkelijk gebruiken. De onderzoekers keken naar acht van de meest populaire systemen (zoals MLFlow, Wandb en BentoML) om drie grote vragen te beantwoorden: Hoe worden ze gebruikt? Welke onderdelen worden er echt door mensen gebruikt? En waar klagen mensen over of waar vragen ze om?
Dit is wat ze vonden, uitgelegd in eenvoudige termen:
1. De "Out-of-the-Box" Mythe
De verwachting: Je koopt een slim keukensysteem, plugt het in en drukt op de "Start"-knop. De machine doet alles voor je.
De realiteit: Het artikel stelt vast dat bijna niemand deze tools op die manier gebruikt. Ontwikkelaars gebruiken deze tools zelden simpelweg via een opdrachtregel (command line) of zetten ze op in een geautomatiseerde workflow (zoals een robotarm die gewoon aangaat).
In plaats daarvan behandelen ontwikkelaars deze frameworks als Lego-sets. Ze gebruiken niet alleen het kant-en-klare kasteel; ze pakken de stenen (de code API's) en bouwen hun eigen aangepaste structuren. Ze schrijven hun eigen scripts om de tools aan te sluiten op hun specifieke behoeften, in plaats van de tool het zware werk automatisch te laten doen.
2. Het "Zwitserse Zakmes" versus het "Gespecialiseerde Gereedschap"
De onderzoekers merkten op dat ontwikkelaars vaak meerdere tools tegelijk gebruiken, zoals een chef die een specifiek mes voor vis gebruikt, een ander voor groenten en een thermometer voor de oven.
- De Trackers: Tools zoals MLFlow en Wandb zijn het populairst. Ze zijn als de "scoreborden" en "notitieboeken" van de keuken. Ontwikkelaars gebruiken ze om op te schrijven welke ingrediënten ze hebben gebruikt, hoe het gerecht smaakte en om een geschiedenis bij te houden van elke versie van het recept.
- De Builders: Tools zoals Kedro en Prefect zijn als de managers van de lopende band. Ze helpen bij het organiseren van de stappen van het kookproces.
- De Kwaliteitscontroleurs: Tools zoals Deepchecks en Evidently AI zijn de gezondheidsinspecteurs. Ze controleren of de ingrediënten bedorven zijn of dat de smaak in de loop van de tijd is veranderd.
De studie toonde aan dat mensen deze vaak combineren. Bijvoorbeeld, ze gebruiken een "scorebord" (MLFlow) om het recept bij te houden, een "lopende band" (Prefect) om de kookstappen uit te voeren, en een "gezondheidsinspecteur" (Evidently AI) om te controleren of het eten veilig is. Ze doen dit omdat geen enkel instrument alles perfect doet.
3. Het "Ontbrekende Handboek" Probleem
De onderzoekers keken ook naar de "klachtenboxen" (issue trackers) waar gebruikers de makers van de tools vertellen wat ze willen. Ze vonden een duidelijk patroon:
- Mensen willen betere "scoreborden": Gebruikers vragen om betere manieren om hun experimenten bij te houden en hun modellen te monitoren.
- Mensen willen makkelijkere "plug-ins": Omdat ontwikkelaars hun eigen aangepaste structuren bouwen (met behulp van de API's), vragen ze om tools die makkelijker aan te sluiten zijn op hun aangepaste bouwwerken. Ze willen dat de "Lego-stenen" gemakkelijker in elkaar klikken.
- Mensen willen betere automatisering: Hoewel ze de tools nog niet "out-of-the-box" gebruiken, vragen ze om betere manieren om deze tools te integreren in hun geautomatiseerde kooklijnen (CI/CD-pipelines).
De Belangrijkste Conclusie
Het artikel concludeert dat hoewel deze "slimme keukensystemen" bestaan en krachtig zijn, ze niet worden gebruikt als eenvoudige, kant-en-klare oplossingen. In plaats daarvan zijn ontwikkelaars ze aan elkaar aan het knutselen om aangepaste oplossingen te bouwen, omdat de tools nog niet precies aan hun specifieke behoeften voldoen.
De gebruikers zeggen: "We houden van de kernfuncties (zoals tracking en monitoring), maar maak het ons makkelijker om deze tools aan te sluiten op onze eigen aangepaste workflows, en help ons ook beter bij het automatiseren van de saaie onderdelen."
Kortom, de MLOps-wereld bevindt zich momenteel in een fase waarin iedereen zijn eigen aangepaste keukengereedschappen bouwt met dezelfde set tools, in plaats van gewoon een kant-en-klaar apparaat te kopen. De makers van de tools moeten naar de bouwers luisteren om de volgende generatie gadgets gemakkelijker in gebruik te maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.