LeJOT-AutoML: LLM-Driven Feature Engineering for Job Execution Time Prediction in Databricks Cost Optimization

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover organizzare una festa enorme per migliaia di persone (i "lavori" o jobs su Databricks). Il tuo obiettivo è assicurarti che la festa finisca in tempo, che non ci siano code alla cucina e, soprattutto, che non spendere una fortuna in cibo e alcol che non servono.

In questo scenario, LeJOT-AutoML è come un chef intelligente e super-veloce che ha appena imparato a usare un assistente magico (l'Intelligenza Artificiale) per prevedere esattamente quanto tempo servirà per cucinare ogni piatto, permettendoti di risparmiare soldi.

Ecco come funziona, spiegato in modo semplice:

1. Il Problema: La Scommessa Costosa

Fino a poco tempo fa, per prevedere quanto tempo avrebbe impiegato un lavoro informatico, gli ingegneri umani dovevano fare da "detective". Dovevano guardare vecchi registri, capire le ricette (il codice) e indovinare.

Il problema: Era lento (ci volevano settimane).
Il limite: Spesso sbagliavano perché non vedevano cosa succedeva durante la cottura. Ad esempio, un piatto potrebbe sembrare veloce sulla carta, ma se gli ingredienti sono appiccicosi (dati disordinati) o se la cucina è affollata, ci vuole il doppio del tempo. Gli umani non vedevano questi "dettagli nascosti" in tempo reale.

2. La Soluzione: L'Agente Chef con il Bastone Magico

Gli autori hanno creato LeJOT-AutoML, un sistema che usa un LLM (un modello linguistico gigante, come un cervello digitale molto colto) aiutato da un braccio robotico (chiamato MCP, che legge i dati reali).

Immagina tre assistenti che lavorano insieme:

L'Analista (Feature Analyzer Agent): È il "ricercatore". Legge tutti i libri di cucina, le vecchie ricette e i rapporti di ieri. Usa la sua intelligenza artificiale per dire: "Ehi, ho notato che quando piove (un certo tipo di dato), la pasta si cuoce diversamente. Dobbiamo misurare l'umidità!".
L'Esecutore (Feature Extraction Agent): È il "cameriere veloce". Non si limita a immaginare, ma corre in cucina, apre i registri, guarda i contatori e misura davvero l'umidità, il tempo di cottura e il disordine. Usa strumenti sicuri (come una cucina di prova) per non rovinare il lavoro vero.
Il Controllore (Safety Gates): È il "sommelier severo". Prima che il cameriere porti il dato allo chef, lo controlla: "Sei sicuro che questo dato non sia stato rubato dal futuro? Non puoi dire quanto è durata la festa se la festa non è ancora finita!". Questo evita errori pericolosi.

3. La Magia: Da Settimane a Minuti

Prima, per creare un nuovo modo di prevedere i tempi, servivano settimane di lavoro manuale.
Ora, con questo sistema:

L'Analista pensa a nuove idee in pochi secondi.
L'Esecutore le prova e le misura in pochi minuti.
Il Controllore approva tutto.
Risultato: Invece di 4 settimane, il sistema crea un nuovo modello predittivo in 20-30 minuti. È come passare dal dover scrivere una ricetta a mano a usare una stampante 3D che la crea istantaneamente.

4. Il Risultato: Risparmiare Soldi

Grazie a questa velocità e precisione, il sistema LeJOT (il manager della festa) può scegliere la cucina più economica possibile senza rischiare che la festa finisca in ritardo.

Il sistema ha scoperto oltre 200 nuovi indizi (dati) che gli umani avevano ignorato.
Anche se il modello umano era leggermente più preciso su certi scenari, il sistema automatico ha permesso di risparmiare quasi il 19% dei costi totali.
Inoltre, se la situazione cambia (es. arriva un nuovo tipo di ingrediente), il sistema si adatta da solo, mentre gli umani dovrebbero ricominciare da capo.

In Sintesi

LeJOT-AutoML è come aver dato a un manager di un'azienda un assistente personale che:

Legge tutto quello che c'è da sapere.
Fa esperimenti rapidi e sicuri.
Impara dagli errori in tempo reale.
Fa risparmiare soldi scegliendo le opzioni migliori al momento giusto.

Non serve più aspettare mesi per migliorare il lavoro; il sistema si aggiorna da solo, velocemente e in modo intelligente, proprio come un atleta che si allina ogni giorno per diventare più veloce.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

Il sistema di orchestrazione dei job su Databricks (es. LeJOT) mira a ridurre i costi cloud selezionando configurazioni di calcolo a basso prezzo, rispettando vincoli di latenza e dipendenze. Per fare ciò, è fondamentale prevedere con precisione il tempo di esecuzione dei job. Tuttavia, l'approccio attuale presenta diverse criticità:

Limitazioni dell'ingegneria delle feature statiche: I pipeline esistenti si basano su feature ingegnerizzate manualmente che non riescono a catturare efficacemente gli effetti dinamici del runtime, come il partition pruning (potatura delle partizioni), lo skew dei dati (distribuzione non uniforme) e l'amplificazione dello shuffle.
Frammentazione dei dati: I segnali predittivi sono dispersi tra log, metadati e script dei job, rendendo difficile la creazione di un pipeline end-to-end.
Cicli di aggiornamento lenti: L'ingegneria manuale richiede competenze di dominio elevate (Spark SQL, interni della piattaforma) e i cicli di ri-addestramento sono lunghi (settimane o mesi). Questo porta a modelli obsoleti quando i carichi di lavoro subiscono variazioni (drift), degradando l'efficienza dell'orchestrazione e aumentando i costi.

2. Metodologia: LeJOT-AutoML

Il paper propone LeJOT-AutoML, un framework AutoML guidato da agenti LLM (Large Language Models) che trasforma il ciclo di vita del machine learning in un sistema dinamico e auto-migliorante. L'architettura si basa su tre agenti principali e un toolchain basato sul Model Context Protocol (MCP).

Componenti Chiave:

Feature Analyzer Agent (FAA):
- Utilizza la RAG (Retrieval-Augmented Generation) su una base di conoscenza di dominio (best practice Spark SQL, conoscenza della piattaforma Databricks).
- Analizza log di esecuzione, metadati e script per proporre template di feature candidate che mappano su artefatti osservabili.
Feature Extraction Agent (FExA):
- Esegue il piano di estrazione proposto dal FAA utilizzando il toolchain MCP.
- Gli strumenti includono: parser di log, query su metadati e un sandbox SQL in sola lettura.
- Questo permette di materializzare feature sia statiche (dallo script) che dinamiche (dal runtime, come il volume di shuffle effettivo o lo skew).
Feature Evaluation Agent (FEvA):
- Valuta la qualità delle feature (copertura, skewness, utilità) e le prestazioni del modello.
- Fornisce feedback iterativo per affinare il pipeline e adattarsi al drift dei dati.

Meccanismi di Sicurezza (Safety Gates):

Prima di qualsiasi esecuzione o addestramento, il codice generato dagli agenti passa attraverso due controlli rigorosi:

Code-Completion Checker: Verifica la correttezza sintattica e l'uso di librerie approvate.
Data-Leakage Checker: Assicura che le feature non contengano informazioni sul target (tempo di esecuzione) o su artefatti post-esecuzione che non sarebbero disponibili al momento della decisione di orchestrazione.

Fasi di Operatività:

Fase di Addestramento: Ciclo chiuso che genera, valida e seleziona i modelli (es. XGBoost, LightGBM).
Fase di Inferenza: Per un nuovo job, il sistema riutilizza i template di feature appresi, estrae i dati in parallelo e fornisce la previsione al sistema di orchestrazione LeJOT per selezionare la configurazione a costo minimo.

3. Contributi Chiave

Pipeline AutoML potenziata da LLM: Integrazione di agenti LLM in tutte le fasi (analisi, estrazione, validazione, selezione modello) per abilitare un re-addestramento rapido e la materializzazione di feature in tempo reale.
Estrazione collaborativa Agent-Tool (MCP): Combinazione della pianificazione LLM con l'esecuzione di strumenti controllati per estrarre feature dinamiche inaccessibili all'analisi statica pura.
Ciclo di valutazione iterativo con gate di sicurezza: Introduzione di un agente di valutazione guidato dal feedback e controlli di sicurezza (completamento codice e rilevamento leakage) per garantire affidabilità e affidabilità continua.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su carichi di lavoro enterprise Databricks, confrontando l'approccio AutoML con l'ingegneria manuale.

Diversità delle Feature: LeJOT-AutoML genera oltre 200 feature (profilazione log, serie temporali storiche, dati dei nodi driver), contro le ~40 feature tipiche dell'approccio manuale (basate principalmente su configurazioni dei nodi).
Tempo di Sviluppo: Il ciclo di ingegneria delle feature e valutazione è stato ridotto da un mese (manuale) a 20-30 minuti (AutoML).
Accuratezza Predittiva:
- L'approccio manuale ha ottenuto un $R^2$ leggermente superiore (0.91 vs 0.81 dell'AutoML), probabilmente perché incorpora meglio la storia delle configurazioni hardware e dei prezzi che il toolchain attuale non espone ancora pienamente.
- Tuttavia, l'AutoML ha dimostrato prestazioni competitive con un costo di sviluppo drasticamente inferiore.
Risparmio sui Costi: Integrato nel pipeline LeJOT, l'AutoML ha permesso di raggiungere un risparmio sui costi del 19,01% grazie a un'orchestrazione migliorata, nonostante il divario di accuratezza rispetto al modello manuale (che in questo scenario specifico ha raggiunto un risparmio del 27,94%, ma con costi di manutenzione molto più elevati).
Adattabilità: Il sistema mostra una migliore resilienza ai cambiamenti delle istanze e all'attivazione di tecnologie come Photon rispetto ai modelli statici, che tendono a subire variazioni significative nelle previsioni.

5. Significato e Impatto

Il lavoro dimostra che l'integrazione di agenti LLM con strumenti di esecuzione controllati (MCP) può automatizzare efficacemente la parte più complessa e costosa del machine learning applicato: l'ingegneria delle feature per scenari dinamici.

Scalabilità: Offre un'alternativa scalabile e a bassa manutenzione rispetto all'ingegneria manuale, permettendo l'aggiornamento continuo dei modelli in risposta al drift dei carichi di lavoro.
Nuove Frontiere: Abilita la cattura di segnali "nascosti" del runtime (come lo skew effettivo o l'efficienza del pruning) che sono cruciali per la precisione ma difficili da codificare manualmente.
Futuro: Il sistema pone le basi per un'orchestrazione cloud sempre più autonoma, dove l'adattamento ai cambiamenti della piattaforma e dei dati avviene in tempo reale, riducendo significativamente gli sprechi di risorse cloud.

In sintesi, LeJOT-AutoML rappresenta un passo avanti verso sistemi di orchestrazione cloud auto-gestiti, bilanciando l'efficienza operativa con l'accuratezza predittiva necessaria per ottimizzare i costi in ambienti complessi come Databricks.