LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization
El artículo presenta LeJOT-AutoML, un marco de AutoML impulsado por agentes de modelos de lenguaje que automatiza la ingeniería de características mediante la extracción de datos de logs y metadatos para predecir con precisión los tiempos de ejecución en Databricks, reduciendo el ciclo de desarrollo de semanas a minutos y logrando un ahorro de costos del 19,01% mediante una optimización mejorada de la orquestación.