LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization

Each language version is independently generated for its own context, not a direct translation.

🌟 Le Problème : Le Chef de Cuisine et le Météo Imprévisible

Imaginez que vous gérez une immense cuisine (c'est Databricks, la plateforme où les entreprises font tourner leurs données). Vous devez préparer des milliers de plats (des tâches informatiques) chaque jour.

Le problème ? Vous devez deviner combien de temps chaque plat va prendre pour cuisiner.

Si vous prévoyez trop de temps, vous gardez les fours allumés inutilement : vous gaspillez de l'argent.
Si vous prévoyez trop peu de temps, le plat brûle ou arrive en retard : vos clients sont mécontents.

Avant, pour faire ces prévisions, les chefs (les ingénieurs) devaient regarder la recette (le code) et deviner : "Ah, ce plat utilise beaucoup de légumes, donc ça va prendre 20 minutes."
Mais c'est trompeur ! Parfois, les légumes sont déjà coupés (données triées), parfois ils sont collés ensemble (données déséquilibrées), et parfois le four est juste un peu plus chaud aujourd'hui. Les chefs humains ne pouvaient pas voir ces détails cachés, et mettre à jour leurs règles prenait des semaines.

🤖 La Solution : Le "Super Assistant" IA (LeJOT-AutoML)

Les auteurs ont créé un nouveau système appelé LeJOT-AutoML. C'est comme si vous engagiez une équipe de robots intelligents (des agents pilotés par une IA) pour faire le travail à votre place.

Voici comment cette équipe fonctionne, étape par étape, avec des analogies simples :

1. Le Détective (L'Agent Analyseur)

Au lieu de deviner, ce robot lit des milliers de rapports anciens, de recettes et de journaux de bord. Il utilise une sorte de "mémoire magique" (appelée RAG) pour comprendre ce qui a bien ou mal fonctionné par le passé.

Son travail : Il dit : "Attends, je pense que le fait que les légumes soient mélangés de manière bizarre est plus important que le nombre total de légumes. On devrait surveiller ça !".

2. L'Explorateur (L'Agent Extraction)

C'est le bras armé du détective. Il a une boîte à outils spéciale (le MCP) qui lui permet de :

Ouvrir les journaux de bord pour voir ce qui s'est passé pendant la cuisson (le "bruit" du four, les temps d'attente).
Poser des questions à la base de données sans rien casser (une "bac à sable").
L'analogie : C'est comme si le robot pouvait entrer dans le four en cours de cuisson, mesurer la température exacte et le flux d'air, puis sortir avant que le plat ne soit fini, pour noter ces détails.

3. Le Gardien de la Sécurité (Les Portes de Sécurité)

Avant que le robot n'utilise ses nouvelles idées, deux gardiens vérifient tout :

Le Gardien du Code : Vérifie que la recette est bien écrite et qu'elle ne va pas faire exploser la cuisine.
Le Gardien de la Triche : Vérifie que le robot ne triche pas en regardant le temps de cuisson final avant de faire sa prédiction (ce serait de la triche !).

4. Le Juge (L'Agent Évaluateur)

Il teste les nouvelles prédictions. Si le robot se trompe encore, il lui dit : "Non, cette idée ne marche pas, essaie autre chose !". C'est un cycle d'apprentissage rapide.

🚀 Les Résultats Magiques

Grâce à cette équipe de robots, l'entreprise a obtenu des résultats incroyables :

Vitesse fulgurante : Ce qui prenait un mois de travail manuel pour créer de nouvelles règles de prédiction, les robots le font en 20 à 30 minutes. C'est comme passer de l'écriture à la main à l'imprimante 3D !
Plus de détails : Les humains ne trouvaient que 40 indices pour prédire le temps. Les robots en ont trouvé plus de 200, y compris des détails très subtils que personne n'avait jamais remarqués (comme des petits ralentissements dans le four).
Économies d'argent : En utilisant ces prédictions plus précises, l'entreprise a économisé 19 % de ses coûts de cloud. C'est comme si, en optimisant l'achat de vos courses, vous économisiez presque 20 % de votre budget alimentaire chaque mois.

💡 En Résumé

LeJOT-AutoML, c'est comme remplacer un vieux calendrier météo papier par un super-ordinateur connecté à des milliers de capteurs en temps réel.

Au lieu de dire "Il va pleuvoir demain parce que c'est l'automne", le système dit : "Il va pleuvoir à 14h03 parce que le vent vient du nord-est, l'humidité est à 80%, et les oiseaux volent bas".

Grâce à cette précision, l'entreprise ne gaspille plus d'argent en gardant ses "fours" allumés inutilement, tout en s'assurant que tous les plats arrivent à l'heure. C'est une victoire pour l'efficacité et pour le portefeuille !

Each language version is independently generated for its own context, not a direct translation.

Résumé Technique : LeJOT-AutoML

1. Problématique

Dans les environnements cloud d'entreprise comme Databricks, l'orchestration des tâches (job orchestration) vise à minimiser les coûts de calcul tout en respectant les contraintes de latence et de dépendances. Le système LeJOT sélectionne des configurations de calcul à bas prix en se basant sur des prédictions précises du temps d'exécution.

Cependant, la prédiction du temps d'exécution dans des environnements hétérogènes et non stationnaires rencontre plusieurs obstacles majeurs :

Signaux dynamiques cachés : Les facteurs de performance critiques (ex. : volume de données scanné après élagage de partitions, dérive de données data skew, amplification du shuffle, effets de planification des exécuteurs) n'apparaissent qu'au moment de l'exécution (runtime) et ne sont pas capturés par les métadonnées statiques.
Fragmentation des données : Les signaux prédictifs sont dispersés dans des sources hétérogènes : journaux d'exécution (logs), métadonnées, scripts de tâches et historiques de configuration.
Ingénierie de fonctionnalités manuelle et rigide : Les pipelines existants reposent sur des fonctionnalités (features) manuellement conçues et statiques. Cette approche est lente à s'adapter aux dérives de charge (workload drift), nécessite une expertise pointue (Spark SQL, internals de la plateforme) et allonge considérablement les cycles de mise à jour (semaines à mois).
Conséquences : Une erreur de prédiction entraîne soit une violation des objectifs de niveau de service (SLO) de latence, soit un surdimensionnement coûteux (over-provisioning).

2. Méthodologie : LeJOT-AutoML

LeJOT-AutoML est un cadre AutoML piloté par des agents LLM (Large Language Models) qui transforme le cycle de vie traditionnel en un système dynamique et auto-améliorant. L'architecture repose sur une collaboration entre des agents LLM et un outil de protocole de contexte (MCP - Model Context Protocol).

Architecture et Flux de Travail :
Le système fonctionne en deux phases principales : une phase d'entraînement automatisée et une phase d'inférence en ligne.

Agents LLM :
1. Feature Analyzer Agent (FAA) : Utilise la Génération Augmentée par Récupération (RAG) sur une base de connaissances de domaine (bonnes pratiques Spark SQL, connaissances Databricks) pour analyser les artefacts de la tâche et proposer des modèles de fonctionnalités candidats.
2. Feature Extraction Agent (FExA) : Génère du code pour extraire les fonctionnalités et les matérialise en utilisant le toolchain MCP.
3. Feature Evaluation Agent (FEvA) : Évalue la qualité des fonctionnalités et la performance du modèle, fournissant un retour d'information itératif pour affiner le pipeline.
Toolchain MCP (Outils d'exécution) :
Le système utilise des outils connectés pour accéder aux données sans compromettre la sécurité :
- Analyseurs de logs (log parsers).
- Requêtes sur les métadonnées.
- Bac à sable SQL en lecture seule (read-only SQL sandbox) pour inspecter les plans d'exécution et les statistiques sans exécuter de tâches coûteuses.
Sécurité et Gouvernance (Safety Gates) :
Avant l'entraînement, chaque extracteur généré passe par deux filtres stricts :
1. Vérificateur de complétion de code : S'assure que le code est syntaxiquement valide et utilise uniquement des bibliothèques approuvées.
2. Vérificateur de fuite de données (Data Leakage Checker) : Garantit que les fonctionnalités ne dépendent d'aucune information postérieure à la décision d'ordonnancement (ex. : temps d'exécution réel), évitant ainsi les fuites de labels.
Sélection de modèle : Un sélecteur choisit le meilleur modèle (ex. XGBoost, LightGBM) et ses hyperparamètres, en packaging la spécification des fonctionnalités pour assurer la reproductibilité en inférence.

3. Contributions Clés

Pipeline AutoML piloté par LLM pour la prédiction de temps d'exécution : Intégration d'agents LLM à chaque étape (analyse, extraction, validation, entraînement) pour permettre une réadaptation rapide et une matérialisation de fonctionnalités au moment de l'inférence.
Extraction collaborative Agent-Outil via MCP : Combinaison de la planification par LLM et de l'exécution par outils pour extraire des fonctionnalités dynamiques (ex. : sélectivité, sévérité du skew, degré de shuffle) impossibles à obtenir par une analyse statique pure.
Boucle d'évaluation itérative avec portes de sécurité : Introduction d'un agent d'évaluation rétroactif et de contrôles de sécurité (complétion de code, détection de fuite de données) pour améliorer la fiabilité et guider l'affinement jusqu'à l'atteinte des critères prédéfinis.
Réduction drastique du temps de cycle : Passage d'un cycle d'ingénierie de plusieurs semaines à 20-30 minutes pour générer, valider et déployer un modèle.

4. Résultats Expérimentaux

Les expériences ont été menées sur des charges de travail Databricks d'entreprise, comparant l'approche AutoML à l'ingénierie manuelle.

Diversité des fonctionnalités :
- AutoML : Génère >200 fonctionnalités (profils de logs, séries temporelles, données historiques des nœuds).
- Manuel : Génère ~40 fonctionnalités, majoritairement basées sur l'historique de configuration des nœuds.
Performance de Prédiction :
- L'ingénierie manuelle obtient une précision légèrement supérieure ( $R^2 = 0.91$ vs $0.81$ pour AutoML), car elle intègre mieux l'historique des changements de configuration et de prix (limitation actuelle des outils MCP).
- Cependant, AutoML offre des performances compétitives avec un coût de développement négligeable.
- Le temps de développement est réduit de 1 mois à 20-30 minutes (3 itérations).
Économie de Coûts :
- Intégré au pipeline LeJOT, LeJOT-AutoML a permis une économie de coûts de 19,01 % dans l'environnement de déploiement, grâce à une meilleure orchestration des ressources.
- Le modèle manuel a atteint 27,94 % d'économie, mais avec un effort de maintenance beaucoup plus élevé.
Robustesse : Le système montre une meilleure stabilité face aux changements de types d'instances (ex. : activation de Photon) par rapport aux modèles manuels qui réagissent fortement aux changements de configuration.

5. Signification et Impact

LeJOT-AutoML représente une avancée significative pour l'optimisation des coûts dans les environnements de Big Data :

Adaptabilité : Il résout le problème de la dérive des charges de travail (workload drift) en permettant une mise à jour continue et automatisée des modèles de prédiction.
Démocratisation de l'expertise : Il réduit la barrière à l'entrée pour l'ingénierie de fonctionnalités complexes, automatisant la capture de signaux runtime qui nécessitaient auparavant une expertise humaine profonde.
Évolutivité : En compressant le cycle de développement de mois à minutes, il permet aux organisations de maintenir des modèles de prédiction à jour en temps réel, essentiel pour l'orchestration cloud efficace.
Futur : Les auteurs prévoient d'améliorer la conscience des ressources (resource awareness) en intégrant des indicateurs plus riches sur les changements de configuration et les coûts, afin de combler l'écart de précision avec les approches manuelles.

En conclusion, LeJOT-AutoML démontre qu'une approche hybride Agent LLM + Outils Sécurisés peut automatiser efficacement des tâches d'ingénierie de données complexes, offrant un compromis optimal entre précision, coût de développement et économies opérationnelles.