How are MLOps Frameworks Used in Open Source Projects? An Empirical Characterization
Cet article caractérise empiriquement l'utilisation de huit frameworks MLOps open-source populaires en analysant leur adoption dans des projets GitHub et en corrélant les modèles réels d'utilisation des API avec les demandes de fonctionnalités de la communauté, révélant que les développeurs personnalisent principalement ces outils via des API plutôt que de les utiliser tels quels tout en recherchant des améliorations dans les fonctionnalités de base, l'exposition des API et l'intégration CI/CD.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un chef essayant de gérer un restaurant massif et de haute technologie. Vous avez une recette brillante (le modèle de Machine Learning), mais acheminer cette recette de la cuisine à la table du client parfaitement, à chaque fois, est un véritable cauchemar. Vous devez suivre les ingrédients, surveiller les temps de cuisson, s'assurer que la nourriture ne se gâte pas et automatiser le processus de service.
Les frameworks MLOps sont comme des « systèmes de cuisines intelligentes » conçus pour vous aider à gérer ce chaos. Ce sont des outils logiciels qui promettent de gérer l'intégralité du cycle de vie de vos recettes d'IA, de la préparation de la pâte jusqu'au service du plat.
Ce document est comme une enquête médico-légale sur la manière dont 969 « restaurants » du monde réel (des projets de logiciels open-source) utilisent réellement ces systèmes de cuisines intelligentes. Les chercheurs ont étudié huit des systèmes les plus populaires (comme MLFlow, Wandb et BentoML) pour répondre à trois grandes questions : Comment sont-ils utilisés ? Quelles parties sont réellement utilisées par les gens ? Et de quoi les gens se plaignent-ils ou que demandent-ils ?
Voici ce qu'ils ont trouvé, expliqué en termes simples :
1. Le mythe du « Prêt à l'emploi »
L'attente : Vous achetez un système de cuisine intelligente, vous le branchez, et vous appuyez sur un bouton « Démarrer ». La machine fait tout pour vous.
La réalité : L'étude a révélé que presque personne n'utilise ces outils de cette manière. Les développeurs utilisent rarement ces outils simplement via une ligne de commande ou en les configurant dans un flux de travail automatisé (comme un bras robotisé qui se contente de s'allumer).
Au lieu de cela, les développeurs traitent ces frameworks comme des jeux de LEGO. Ils ne se contentent pas d'utiliser le château préconstruit ; ils prennent les briques (les API de code) et construisent leurs propres structures personnalisées. Ils écrivent leurs propres scripts pour connecter les outils à leurs besoins spécifiques, plutôt que de laisser l'outil faire tout le gros du travail automatiquement.
2. Le « Couteau Suisse » vs l'« Outil Spécialisé »
Les chercheurs ont remarqué que les développeurs utilisent souvent plusieurs outils à la fois, comme un chef utilisant un couteau spécifique pour le poisson, un autre pour les légumes et un thermomètre pour le four.
- Les Suiveurs : Des outils comme MLFlow et Wandb sont les plus populaires. Ils sont comme les « tableaux d'affichage » et les « carnets de notes » de la cuisine. Les développeurs les utilisent pour noter quels ingrédients ils ont utilisés, quel goût avait le plat, et pour garder un historique de chaque version de la recette.
- Les Bâtisseurs : Des outils comme Kedro et Prefect sont comme les gestionnaires de la chaîne de montage. Ils aident à organiser les étapes du processus de cuisson.
- Les Contrôleurs de Qualité : Des outils comme Deepchecks et Evidently AI sont les inspecteurs sanitaires. Ils vérifient si les ingrédients ont tourné ou si le goût a changé au fil du temps.
L'étude a montré que les gens les combinent souvent. Par exemple, ils peuvent utiliser un « tableau d'affichage » (MLFlow) pour suivre la recette, une « chaîne de montage » (Prefect) pour exécuter les étapes de cuisson, et un « inspecteur sanitaire » (Evidently AI) pour s'assurer que la nourriture est sûre. Ils font cela parce qu'aucun outil ne fait tout parfaitement.
3. Le problème du « Manuel Manquant »
Les chercheurs ont également examiné les « boîtes à plaintes » (les gestionnaires de problèmes/issues) où les utilisateurs disent aux créateurs d'outils ce qu'ils veulent. Ils ont trouvé un schéma clair :
- Les gens veulent de meilleurs « tableaux d'affichage » : Les utilisateurs demandent de meilleures façons de suivre leurs expériences et de surveiller leurs modèles.
- Les gens veulent des « plug-ins » plus faciles : Puisque les développeurs construisent leurs propres structures personnalisées (en utilisant les API), ils demandent à ce que les outils soient plus faciles à connecter à leurs constructions personnalisées. Ils veulent que les « briques LEGO » s'emboîtent plus facilement.
- Les gens veulent une meilleure automatisation : Même s'ils n'utilisent pas encore les outils « prêts à l'emploi », ils demandent de meilleures façons d'intégrer ces outils dans leurs lignes de cuisson automatisées (pipelines CI/CD).
La Grande Conclusion
Le document conclut que bien que ces « systèmes de cuisines intelligentes » existent et soient puissants, ils ne sont pas utilisés comme des solutions simples et prêtes à l'emploi. Au lieu de cela, les développeurs les assemblent de manière artisanale pour construire des solutions personnalisées, car les outils ne répondent pas encore tout à fait à leurs besoins spécifiques.
Les utilisateurs disent : « Nous adorons les fonctionnalités de base (comme le suivi et la surveillance), mais s'il vous plaît, facilitez la connexion de ces outils à nos flux de travail personnalisés, et aidez-nous à mieux automatiser les parties ennuyeuses. »
En bref, le monde du MLOps est actuellement dans une phase où tout le monde construit ses propres gadgets de cuisine personnalisés en utilisant le même ensemble d'outils, plutôt que d'acheter simplement un appareil préfabriqué. Les fabricants d'outils doivent écouter les bâtisseurs pour créer la prochaine génération de gadgets plus faciles à utiliser.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.