HEXGEN-FLOW: Optimizing LLM Inference Request Scheduling for Agentic Text-to-SQL

Il paper presenta HEXGEN-FLOW, un framework che ottimizza la pianificazione delle richieste di inferenza per flussi di lavoro Text-to-SQL basati su agenti LLM su cluster GPU eterogenei, riducendo significativamente la latenza e aumentando il throughput rispetto alle soluzioni esistenti.

L'essenziale

Immagina di avere un assistente super-intelligente (un "Agente AI") che può parlare con un database aziendale per rispondere a domande complesse, come "Quali sono le vendite del mese scorso per il prodotto X?".

In passato, per ottenere questa risposta, l'assistente doveva fare un solo calcolo. Ma oggi, con le nuove tecnologie, l'assistente lavora come un team di detective:

1. Analizza la domanda e cerca i dati giusti nel database (Schema Linking).
2. Progetta diverse soluzioni possibili (Generazione SQL).
3. Prova le soluzioni: se una fallisce, la corregge e riprova (Self-Correction).
4. Verifica che la soluzione finale sia perfetta (Valutazione).

Il problema è che questo processo richiede molti passaggi consecutivi. Se uno di questi passaggi si blocca o è lento, l'intera risposta arriva in ritardo. Inoltre, nei grandi centri dati aziendali, non ci sono solo computer potenti, ma anche computer più vecchi o diversi tra loro (GPU eterogenee). Gestire tutto questo in modo ordinato è come cercare di dirigere il traffico in un incrocio caotico con auto di velocità diverse: i sistemi attuali sono troppo rigidi e causano ingorghi.

Ecco come HEXGEN-FLOW risolve il problema, spiegato con metafore semplici:

1. Il Problema: L'Ingorgo del Traffico

Immagina un'autostrada dove le auto (le richieste degli utenti) devono passare attraverso diversi caselli (i passaggi dell'AI).

• I sistemi vecchi funzionano come un vigile del traffico che dice: "Chi arriva prima, passa prima" (First-Come-First-Served), senza guardare se l'auto è una Ferrari o un trattore, o se il casello successivo è bloccato. Risultato? Le Ferrari (richieste urgenti) rimangono ferme dietro ai trattori, e le auto più lente finiscono per bloccare tutto.
• La sfida: Le richieste di "Text-to-SQL" sono speciali perché ogni richiesta è una catena di eventi. Se il primo passaggio è lento, tutti i passaggi successivi soffrono.

2. La Soluzione: HEXGEN-FLOW (Il Controllo del Traffico Intelligente)

HEXGEN-FLOW è come un centro di controllo del traffico aereo di nuova generazione che gestisce sia l'ordine di decollo che la destinazione degli aerei. Funziona su due livelli:

A. Il Coordinatore Globale (Il Controllo Aereo)

Prima di inviare una richiesta a un computer specifico, HEXGEN-FLOW guarda la mappa completa:

• Non assegna a caso: Non dice "vai al primo computer libero". Chiede: "Quale computer è più veloce per questo tipo di compito?"
• L'analogia: Se hai un carico pesante (un compito difficile), lo dai al camion più potente (una GPU veloce). Se hai un pacco leggero, lo dai a un furgoncino (una GPU meno potente) che altrimenti starebbe fermo. In questo modo, si evita di sovraccaricare i computer veloci con compiti facili e si tiene occupati anche quelli più lenti.

B. La Coda Locale Urgente (La corsia preferenziale)

Una volta che la richiesta arriva a un computer specifico, non aspetta in fila come al supermercato.

• Priorità dinamica: HEXGEN-FLOW calcola quanto tempo manca alla scadenza (SLO). Se una richiesta sta per "scadere" (diventare troppo lenta), viene messa in una corsia preferenziale, anche se è arrivata dopo altre.
• L'analogia: Immagina una sala d'attesa medica. I sistemi normali chiamano chi è arrivato prima. HEXGEN-FLOW invece chiama prima il paziente che ha un'emergenza, anche se è arrivato 10 minuti dopo, perché il suo tempo è più critico.

3. L'Adattabilità: Il "Termostato" Intelligente

Il sistema ha anche un meccanismo di auto-apprendimento chiamato α-Tuning.

• Immagina di avere un termostato che regola il riscaldamento. Se fuori fa troppo freddo (traffico intenso), il sistema aumenta la potenza. Se fa caldo, la riduce.
• HEXGEN-FLOW monitora costantemente quanto è lento il traffico. Se nota che le richieste stanno arrivando in ritardo, regola automaticamente le sue regole di priorità per adattarsi alla situazione, senza che un umano debba intervenire.

I Risultati: Perché è un gioco di prestigio?

Grazie a questo approccio, HEXGEN-FLOW ha dimostrato di essere molto più efficiente dei sistemi attuali:

• Velocità: Riduce il tempo di attesa delle richieste più lente (quelle che arrivano per ultime) di circa 1,5 volte. È come se un viaggio di 100 minuti diventasse di 65 minuti.
• Capacità: Riesce a gestire quasi il doppio delle richieste nello stesso lasso di tempo (aumento del throughput del 1,5-1,8 volte).

In Sintesi

HEXGEN-FLOW trasforma un caos di computer diversi e richieste complicate in una squadra ben coordinata. Non tratta tutte le richieste allo stesso modo, ma le analizza, le invia al computer giusto e le fa passare in corsia preferenziale se sono in pericolo di ritardo. Il risultato? Gli utenti ottengono le risposte alle loro domande sul database molto più velocemente, anche quando il sistema è sotto pressione.

Sommario tecnico

Titolo

HEXGEN-FLOW: Ottimizzazione della Pianificazione delle Richieste di Inferenza LLM per Agentic Text-to-SQL

1. Il Problema

I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) hanno rivoluzionato il campo del Text-to-SQL, permettendo a utenti non esperti di interrogare database tramite linguaggio naturale. Tuttavia, l'implementazione di sistemi Text-to-SQL basati su agenti in ambienti di produzione presenta sfide significative che i framework di servizio LLM esistenti non riescono a gestire efficacemente:

• Dipendenze Multi-Stadio: A differenza delle inferenze LLM indipendenti, i workflow agentic (es. collegamento dello schema, generazione di candidati SQL, auto-correzione, valutazione) sono sequenziali e interdipendenti. Un ritardo in una fase iniziale si propaga a quelle successive, aumentando il rischio di violare gli obiettivi di livello di servizio (SLO) end-to-end.
• Eterogeneità delle Risorse: Gli ambienti aziendali utilizzano spesso cluster GPU eterogenei (es. mix di A100, L40, A6000) con capacità computazionali diverse. I framework attuali non ottimizzano l'allocazione delle richieste in base alle specifiche capacità dell'hardware.
• Vincoli SLO Variabili: Le richieste provengono da utenti multi-tenant con SLO diversi. I sistemi esistenti mancano di una consapevolezza fine-granulare delle scadenze per singola richiesta all'interno di un workflow complesso, portando a prestazioni subottimali e violazioni frequenti degli SLO.

2. Metodologia: HEXGEN-FLOW

HEXGEN-FLOW è un framework di scheduling e esecuzione progettato specificamente per gestire workflow Text-to-SQL agentic su cluster GPU eterogenei. L'architettura si basa su una struttura di scheduling a due livelli:

A. Coordinatore Globale (Dispatching Bilanciato del Carico)

Il coordinatore globale riceve le richieste in ingresso e le instrada alle istanze del modello LLM appropriate.

• Gestione delle Dipendenze: Traccia esplicitamente lo stato di completamento di ogni fase del workflow. Una richiesta per una fase successiva viene inviata solo quando i prerequisiti sono soddisfatti.
• Allocazione Consapevole dell'Eterogeneità: Utilizza un profilo di prestazioni empirico per stimare il tempo di esecuzione di una richiesta su ogni istanza disponibile.
• Politica di Dispatching: Assegna le richieste massimizzando un punteggio che bilancia due fattori:
  1. Il costo computazionale stimato (basato sulla lunghezza degli input/output token).
  2. Il tempo di attesa nella coda dell'istanza.
  • Viene introdotto un iperparametro $\alpha$ per bilanciare dinamicamente la priorità tra l'esecuzione veloce su hardware potente e il bilanciamento del carico per evitare colli di bottiglia.

B. Coda Locale Prioritaria (Scheduling Urgenza-Guidato)

Ogni istanza del modello mantiene una propria coda locale che riordina le richieste in attesa ai confini dei batch (continuous batching).

• Budget SLO per Richiesta: Il budget temporale per ogni singola richiesta LLM viene ricalcolato in tempo reale in base al tempo trascorso e ai costi stimati delle fasi rimanenti. Se una fase precedente supera il tempo previsto, il budget per le fasi successive viene ridotto (debito) per mantenere l'SLO end-to-end.
• Metrica di Urgenza: Le richieste vengono riordinate in base a una metrica di urgenza ispirata alla politica Least-Laxity-First (LLF). L'urgenza è definita come la differenza tra il costo di esecuzione stimato e il margine di tempo SLO rimanente. Le richieste con un rischio maggiore di violazione della scadenza vengono servite per prime.

C. Ottimizzazione degli Iperparametri ($\alpha$-Tuning)

Il sistema include un metodo leggero basato su simulazione per regolare dinamicamente il parametro $\alpha$ del coordinatore globale. Utilizzando un simulatore guidato da tracce storiche, il sistema adatta $\alpha$ in base ai cambiamenti nel carico di lavoro e nell'hardware, minimizzando la latenza al 95° percentile (P95).

3. Contributi Chiave

1. Analisi dei Principi di Progettazione: Identificazione e formalizzazione di tre principi fondamentali per il servizio di workflow Text-to-SQL: gestione esplicita delle dipendenze multi-stadio, allocazione delle richieste consapevole dell'eterogeneità e garanzie SLO end-to-end in ambienti multi-tenant.
2. Framework HEXGEN-FLOW: Sviluppo di un sistema che combina un dispatcher globale bilanciato nel carico con code locali guidate dall'urgenza, permettendo un'esecuzione consapevole degli SLO su cluster eterogenei.
3. Valutazione Completa: Dimostrazione empirica che il framework supera gli stati dell'arte (SOTA) in scenari realistici, offrendo miglioramenti significativi sia nella latenza che nel throughput.

4. Risultati Sperimentali

Le valutazioni sono state condotte su benchmark realistici (BIRD-bench, Spider) utilizzando modelli come LLAMA3.1-70B e QWEN3-30B su configurazioni hardware eterogenee (A100, L40, A6000) e omogenee.

• Riduzione della Latenza: HEXGEN-FLOW riduce la latenza di coda (P95 tail latency) di un fattore 1.42x - 1.56x rispetto ai framework SOTA (come vLLM, VTC, QLM, Ray Serve).
• Aumento del Throughput: Il sistema aumenta il throughput (query completate al secondo) di un fattore 1.49x - 1.81x.
• Robustezza: Il sistema mantiene prestazioni elevate anche sotto carichi di lavoro fluttuanti, in scenari multi-tenant con SLO diversi e in presenza di workload concorrenti non Text-to-SQL.
• Ablazione: Gli esperimenti dimostrano che sia il dispatcher bilanciato (WB) che la coda prioritaria (PQ) contribuiscono in modo significativo ai risultati finali; la loro combinazione è superiore all'uso di singoli componenti o strategie naive (Round-Robin, FCFS).

5. Significato e Impatto

HEXGEN-FLOW rappresenta un passo avanti cruciale per l'adozione industriale dei sistemi Text-to-SQL basati su agenti. Dimostra che per sfruttare appieno la potenza degli LLM agentic in produzione, non basta avere modelli migliori, ma è necessario un'infrastruttura di servizio che comprenda la natura complessa e dipendente dei workflow.

• Efficienza Operativa: Permette alle aziende di servire più utenti con la stessa infrastruttura hardware eterogenea, riducendo i costi e migliorando l'esperienza utente.
• Affidabilità: Garantisce il rispetto degli SLO critici per le applicazioni aziendali, dove i ritardi nelle query SQL possono avere impatti diretti sui processi decisionali.
• Generalizzabilità: Sebbene focalizzato sul Text-to-SQL, l'approccio di scheduling gerarchico e la gestione delle dipendenze sono applicabili ad altri workflow agentic complessi (DAG) che coinvolgono chiamate LLM sequenziali.

In sintesi, HEXGEN-FLOW colma il divario tra le capacità dei modelli LLM agentic e le infrastrutture di servizio esistenti, fornendo una soluzione scalabile, efficiente e robusta per il futuro dell'interazione uomo-database.