LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization

El artículo presenta LeJOT-AutoML, un marco de AutoML impulsado por agentes de modelos de lenguaje que automatiza la ingeniería de características mediante la extracción de datos de logs y metadatos para predecir con precisión los tiempos de ejecución en Databricks, reduciendo el ciclo de desarrollo de semanas a minutos y logrando un ahorro de costos del 19,01% mediante una optimización mejorada de la orquestación.

Lo esencial

¡Claro que sí! Imagina que gestionar una granja de servidores en la nube (como Databricks) es como organizar una carrera de relevos masiva donde miles de corredores (tareas informáticas) deben llegar a la meta lo más rápido posible, pero gastando la menor cantidad de energía (dinero) posible.

El problema es que a veces los organizadores de la carrera no saben cuánto tardará cada corredor. Si estiman mal, o envían demasiados corredores (gastando dinero de más) o muy pocos (haciendo que la carrera se tarde demasiado).

Aquí es donde entra LeJOT-AutoML, una nueva herramienta inteligente que actúa como un director de orquesta con superpoderes. Vamos a desglosarlo con analogías sencillas:

1. El Problema: El "Adivinador" Viejo y Rígido

Antes, para predecir cuánto tardaría una tarea, los ingenieros humanos tenían que escribir manualmente una lista de reglas. Era como si un entrenador intentara predecir el tiempo de un corredor mirando solo su talla de zapato y su peso (datos estáticos).

• El fallo: No tomaba en cuenta cosas que solo ocurren durante la carrera, como si el corredor tropezó con una piedra (datos desordenados), si el viento cambió (configuración del sistema) o si el camino se llenó de gente (congestión de datos).
• La consecuencia: Los entrenadores tardaban semanas en actualizar sus reglas y, a menudo, seguían equivocándose, lo que costaba mucho dinero a la empresa.

2. La Solución: LeJOT-AutoML (El Director de Orquesta con IA)

Los autores crearon un sistema llamado LeJOT-AutoML. Imagina que en lugar de un solo entrenador, tienes un equipo de tres agentes inteligentes (robots con cerebro de Inteligencia Artificial) que trabajan juntos:

🕵️‍♂️ Agente 1: El Investigador (Feature Analyzer)

Este agente es como un detective con una enciclopedia infinita.

• Lo que hace: Revisa miles de documentos antiguos (logs, manuales, historial de trabajos) para entender qué cosas realmente importan.
• La magia: En lugar de mirar solo el "peso" del corredor, le pregunta a la IA: "¿Qué pasa si llueve? ¿Qué pasa si el corredor tiene que cargar una mochila pesada?". La IA sugiere nuevas pistas que nadie había pensado antes.

🛠️ Agente 2: El Constructor (Feature Extraction)

Este agente es el maestro de obras que toma las ideas del detective y construye las herramientas para medirlas.

• Lo que hace: Usa una caja de herramientas especial (llamada MCP) para entrar al sistema, leer los registros en tiempo real y calcular cosas complejas.
• Ejemplo: Si el detective sugiere medir "cuánta gente se detuvo en el camino", este agente va, cuenta los tropezones reales en los registros y crea un número exacto.
• Seguridad: Antes de usar cualquier dato, pasa por dos filtros de seguridad (como un control de aduanas) para asegurarse de que no esté robando información del futuro (lo cual sería trampa) y de que el código funcione bien.

📊 Agente 3: El Juez (Feature Evaluation)

Este agente es el árbitro que revisa el trabajo.

• Lo que hace: Mira si las nuevas pistas que encontraron los otros dos agentes realmente ayudan a predecir el tiempo. Si una pista es confusa o no sirve, la descarta. Si funciona, la guarda para la próxima.
• El ciclo: Si el árbitro ve que la predicción sigue fallando, le dice a los otros dos: "¡Inténtalo de nuevo! Busca pistas más profundas".

3. ¿Qué logran con esto? (Los Resultados)

Gracias a este equipo de robots:

1. Velocidad: Lo que antes tomaba un mes de trabajo manual para crear un modelo de predicción, ahora lo hacen en 20 o 30 minutos. ¡Es como pasar de escribir un libro a mano a usar una máquina de escribir mágica!
2. Más Pistas: En lugar de usar 40 pistas simples (como el tamaño del servidor), el sistema descubre automáticamente más de 200 pistas complejas (como cómo se comportó el sistema la última vez que hubo mucha lluvia).
3. Ahorro de Dinero: Al predecir mejor, la empresa no gasta dinero en servidores que no necesita. En sus pruebas, ahorraron casi un 20% de costos.

En Resumen

LeJOT-AutoML es como tener un chef experto con un asistente de IA.

• El chef humano (el sistema antiguo) sabía cocinar, pero tardaba mucho en inventar nuevas recetas y a veces usaba ingredientes que ya no estaban frescos.
• El nuevo sistema (LeJOT-AutoML) usa a la IA para leer todos los libros de cocina del mundo, probar ingredientes frescos en tiempo real, y crear una receta perfecta en minutos, asegurando que el plato (la tarea informática) salga delicioso y barato.

Es una forma inteligente de usar la Inteligencia Artificial no para reemplazar a los humanos, sino para hacer que su trabajo sea más rápido, más seguro y mucho más eficiente, ahorrando millones de dólares en el proceso.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization", estructurado según los puntos solicitados:

1. Problema: Predicción de Tiempo de Ejecución y Optimización de Costos

En los sistemas de orquestación de trabajos en la nube (específicamente en Databricks), reducir costos implica seleccionar configuraciones de computación de bajo precio que cumplan con los objetivos de latencia y dependencias. El sistema LeJOT logra esto utilizando un predictor de tiempo de ejecución. Sin embargo, existen cuatro obstáculos críticos que limitan la eficacia de los enfoques actuales:

• Señales de rendimiento ocultas en tiempo de ejecución: Factores críticos como el volumen de escaneo tras la poda de particiones (partition pruning), la distorsión de datos (data skew), la amplificación del intercambio de datos (shuffle amplification) y la programación de ejecutores solo son observables durante la ejecución, no en el análisis estático.
• Fragmentación de datos: La información necesaria está dispersa en múltiples fuentes (logs de ejecución, metadatos, scripts SQL y configuraciones históricas), lo que dificulta la creación de una tubería de características (feature pipeline) unificada.
• Ingeniería manual lenta y rígida: La ingeniería de características tradicional requiere expertos en Spark SQL y la plataforma interna. Los procesos manuales son lentos (semanas o meses) y las características resultantes a menudo quedan obsoletas ante la deriva de la carga de trabajo (workload drift).
• Ciclos de actualización lentos: La reentrenación y validación manual son demasiado lentas para adaptarse a cambios dinámicos, lo que genera predictores desactualizados y decisiones de orquestación ineficientes.

2. Metodología: LeJOT-AutoML

El autores proponen LeJOT-AutoML, un marco de AutoML impulsado por agentes de Modelos de Lenguaje Grande (LLM) que transforma el ciclo de vida del ML en un sistema dinámico y auto-mejorable.

Arquitectura y Componentes Clave

El sistema integra LLMs con una herramienta de protocolo de contexto de modelo (MCP) y opera en dos fases principales:

1. Fase de Entrenamiento (Ciclo de Retroalimentación):

   • Agente Analizador de Características (FAA): Utiliza Generación Aumentada por Recuperación (RAG) sobre una base de conocimientos del dominio (prácticas de Spark SQL, experiencia experta) para proponer plantillas de características candidatas basadas en artefactos observables.
   • Agente de Extracción de Características (FExA): Invoca la cadena de herramientas MCP (analizadores de logs, consultas de metadatos y un entorno SQL de solo lectura) para materializar tanto características estáticas como derivadas del tiempo de ejecución.
   • Puertas de Seguridad (Safety Gates): Antes de la validación, el código generado pasa por dos filtros estrictos:
     • Verificador de finalización de código: Asegura que el código sea sintácticamente completo y utilice bibliotecas aprobadas.
     • Verificador de fugas de datos: Garantiza que las características no utilicen información posterior a la decisión de programación (evitando data leakage).
   • Agente de Evaluación de Características (FEvA): Evalúa la calidad de las características (cobertura, sesgo, redundancia) y el rendimiento del modelo. Proporciona retroalimentación iterativa para refinar el pipeline.
   • Selector de Modelo: Elige el mejor algoritmo (ej. XGBoost, LightGBM) e hiperparámetros para el despliegue.

2. Fase de Inferencia:

   • Para nuevos trabajos, el sistema reutiliza las plantillas aprendidas para extraer características en paralelo (scripts, metadatos y análisis ligero en sandbox) y alimentar al predictor desplegado.
   • Los residuos de predicción y señales de salud se registran para desencadenar actualizaciones continuas.

Formulación Matemática

El sistema optimiza la selección de características bajo un presupuesto de latencia ($B$), equilibrando la precisión de la predicción con el costo de extracción en tiempo real. Se define un conjunto de características $F$ que minimiza la pérdida de predicción sujeto a restricciones de costo y seguridad (código válido y sin fugas).

3. Contribuciones Clave

• Pipeline de AutoML impulsado por LLM: Es la primera implementación que integra agentes LLM en todas las etapas (análisis, extracción, validación, entrenamiento) para la predicción de tiempo de ejecución en entornos empresariales.
• Extracción colaborativa Agente-Herramienta (MCP): Combina la planificación de LLM con la ejecución de herramientas para extraer características dinámicas (como desviación de tareas o amplificación de shuffle) que son inaccesibles mediante análisis estático.
• Bucle de evaluación iterativo con seguridad: Introduce un agente de evaluación con retroalimentación y puertas de seguridad automáticas para garantizar la fiabilidad y permitir la refinación continua hasta cumplir criterios predefinidos.
• Reducción drástica del tiempo de ingeniería: Acorta el ciclo de ingeniería de características y evaluación de semanas a 20-30 minutos.

4. Resultados Experimentales

Los experimentos se realizaron en cargas de trabajo empresariales de Databricks, comparando LeJOT-AutoML con la ingeniería de características manual.

• Diversidad de Características: AutoML generó más de 200 características (incluyendo perfiles de logs, series temporales y datos históricos de nodos), frente a las ~40 características típicas de los enfoques manuales.
• Precisión de Predicción:
  • El enfoque manual obtuvo una mayor precisión absoluta ($R^2 = 0.91$) frente a AutoML ($R^2 = 0.81$).
  • Sin embargo, AutoML demostró una capacidad competitiva y una mejora significativa en la iteración (de $R^2=0.61$ a $0.81$ en 3 iteraciones).
  • El error absoluto medio (MAE) mejoró de 247.95 a 145.64 tras las iteraciones de retroalimentación.
• Eficiencia Temporal: Mientras que el diseño manual tomó aproximadamente 1 mes, AutoML completó 3 iteraciones completas en 20-30 minutos.
• Ahorro de Costos: Integrado en el pipeline LeJOT, la solución AutoML logró un ahorro de costos del 19.01% mediante una mejor orquestación, a pesar de una ligera brecha de precisión frente al modelo manual (que logró un 27.94% de ahorro pero con un costo de desarrollo mucho mayor).
• Robustez: El modelo AutoML mostró una respuesta más estable ante cambios de tipo de instancia (ej. activación de Photon), aunque aún tiene margen de mejora en la captura de señales de historial de configuración.

5. Significado e Impacto

LeJOT-AutoML representa un avance significativo en la automatización de la ingeniería de ML para entornos de big data complejos:

• Democratización de la optimización: Permite a las organizaciones obtener predictores de alto rendimiento sin depender exclusivamente de expertos costosos en Spark y la plataforma interna.
• Adaptabilidad en tiempo real: Al materializar características derivadas del tiempo de ejecución, el sistema captura la realidad operativa de la nube, superando las limitaciones de los metadatos estáticos.
• Viabilidad operativa: Demuestra que es posible mantener un ciclo de vida de modelos continuo y seguro en entornos de producción críticos, reduciendo el tiempo de desarrollo de meses a minutos.
• Equilibrio costo-beneficio: Aunque la ingeniería manual sigue siendo ligeramente superior en precisión pura, la relación costo-beneficio de AutoML (menor costo de desarrollo, actualizaciones automáticas y ahorros de infraestructura significativos) lo convierte en una solución escalable y práctica para la optimización de costos en la nube.

En conclusión, el trabajo valida que los agentes LLM, cuando se combinan con herramientas de ejecución controlada y mecanismos de seguridad, pueden superar las limitaciones de la ingeniería manual tradicional en escenarios donde la dinámica de ejecución es el factor determinante del rendimiento.