Hybrid Quantum and Classical Workload Management with Graph-based Scheduling

Sintesi Tecnica: Gestione di Carichi di Lavoro Ibridi Quantistici e Classici con Scheduling Basato su Grafi

Definizione del Problema
Man mano che i centri di High Performance Computing (HPC) integrano le Unità di Elaborazione Quantistica (QPU) per affrontare complessi problemi di ottimizzazione, essi affrontano una sfida di orchestrazione unica nota come "problema delle due code" (two-queue problem). Mentre gli scheduler tradizionali gestiscono le risorse dei cluster locali, i carichi di lavoro quantistici spesso dipendono da API di vendor remoti (ad esempio, AWS Braket, IBM Quantum Cloud) che mantengono una coda separata ed esterna. Ciò crea uno scenario in cui un gestore di carichi di lavoro deve coordinare le risorse attraverso due sistemi non coordinati: il cluster locale e la coda del vendor remoto.

Gli attuali sforzi di integrazione, come i plugin Slurm che utilizzano l'interfaccia Quantum Resource Management Interface (QRMI), trattano spesso il dispositivo quantistico come un semplice iniziatore di sessione piuttosto che come una risorsa schedulabile. Ciò porta a un comportamento patologico in cui i nodi di calcolo classici (worker) vengono allocati e iniziano l'esecuzione mentre il compito quantistico associato attende in una coda esterna imprevedibile. Questo si traduce in un significativo tempo di inattività dei worker (idle time), ore-nodo sprecate e un'inefficiente utilizzazione delle risorse, particolarmente per gli algoritmi ibridi come i Variational Quantum Algorithms (VQA), che richiedono un accoppiamento stretto tra l'aggiornamento dei parametri classici e l'esecuzione quantistica. Inoltre, le soluzioni esistenti spesso richiedono la memorizzazione delle credenziali del vendor a livello di scheduler di sistema, introducendo rischi di sicurezza.

Metodologia
Gli autori presentano Fluence, un plugin per lo scheduler di Kubernetes basato sullo scheduler basato su grafi Fluxion del framework Flux. Fluence affronta il problema delle due code modellando i backend quantistici remoti come risorse dotate di attributi e considerate "first-class" all'interno del grafo delle risorse dello scheduler.

I componenti metodologici chiave includono:

• Modellazione a Grafi: Fluence rappresenta il cluster come un grafo in cui i dispositivi quantistici (associati a specifici vendor) si trovano allo stesso livello gerarchico di rack o nodi. Esegue query al grafo in successione per le risorse sia classiche che quantistiche, garantendo un'allocazione "tutto o niente" (gang). Un job viene schedulato solo se entrambi i tipi di risorse possono essere allocati simultaneamente.
• Sincronizzazione Gang: Sfruttando il gang scheduling nativo in Kubernetes 1.36+, Fluence blocca (gate) i pod worker classici finché il compito quantistico non è pronto.
  • Modello Producer-Consumer: Per un gang di $N$ pod, un pod agisce come produttore che invia il compito quantistico all'API del vendor. Gli altri $N-1$ pod agiscono come consumatori (worker).
  • Primitiva di Sincronizzazione: Il pod produttore include un sidecar che interroga (polling) la coda del vendor. I pod consumatori rimangono in uno stato "gated" (schedulazione bloccata) finché il produttore non conferma che il compito quantistico ha raggiunto la cima della coda esterna. Solo allora i worker vengono rilasciati per l'esecuzione.
• Selezione del Backend Basata su Policy: Fluence supporta la selezione basata su attributi, consentendo ai job di richiedere specifici backend quantistici in base a criteri dinamici come il costo o la profondità della coda. Ciò è facilitato da un plugin kubectl in user-space che interroga le API dei vendor utilizzando credenziali locali, evitando la necessità di memorizzare segreti nel namespace dello scheduler.
• Pattern Applicativi: Il design supporta vari pattern ibridi, inclusi singoli valutazioni, loop variazionali (es. QAOA, VQE), elaborazione batch e design fan-out.

Contributi Chiave

1. Caratterizzazione del Problema delle Due Code: Il documento identifica e quantifica lo spreco di risorse classiche causato dalla mancanza di sincronizzazione tra gli scheduler locali e le code quantistiche remote.
2. Modellazione Ibrida Basata su Grafi: Un approccio innovativo per modellare i dispositivi quantistici remoti come risorse schedulabili all'interno di uno scheduler basato su grafi, consentendo un co-scheduling intelligente.
3. Plugin dello Scheduler Fluence: Un plugin per Kubernetes che implementa il gang scheduling e la gestione di risorse personalizzate per carichi di lavoro quantistico-classici senza modificare i container degli utenti.
4. Meccanismo di Sincronizzazione: Una primitiva di gating che riduce il tempo di inattività dei worker impedendo ai nodi classici di avviarsi finché il compito quantistico non è imminente.
5. Selezione Dinamica del Backend: Un meccanismo per selezionare i backend quantistici in base al costo o alla profondità della coda, ottimizzando sia l'efficienza economica che quella temporale.

Risultati Sperimentali
Gli autori hanno valutato Fluence utilizzando simulatori AWS Braket e QPU reali (Rigetti, IQM, IBM) in tre scenari:

• Efficienza del Gang Scheduling: Sotto contesa di nodi, l'allocazione atomica del gang di Fluence ha eliminato il tempo-nodo sprecato osservato negli scheduler predefiniti. Mentre gli scheduler predefiniti subivano un tempo di inattività significativo (ad esempio, una mediana di circa 133 secondi-nodo per gang di dimensione $N=4$) in attesa che i gang parziali si liberassero, Fluence ha mantenuto il tempo di inattività vicino allo zero.
• Riduzione del Tempo di Inattività: Nello scenario delle due code, Fluence ha ridotto il tempo di inattività dei worker di circa 5 volte con code di dispositivi brevi e di ordini di grandezza quando le code si estendevano per ore. Ad esempio, su un simulatore con una coda di 2,66 ore, lo scheduler predefinito ha accumulato circa 19.160 secondi-nodo di inattività, mentre l'approccio gated di Fluence ha minimizzato tale spreco.
• Ottimizzazione di Costi e Tempi: Utilizzando la selezione basata su policy, Fluence ha ridotto il costo medio per esecuzione di circa 70 volte vincolando i job al backend più economico (ad esempio, selezionando un simulatore invece di costosi dispositivi reali). Ha inoltre ridotto il tempo per il risultato da ore a meno di un minuto selezionando i backend con le code più brevi.

Significatività e Rivendicazioni
Il documento sostiene che Fluence dimostra che la consapevolezza quantistica può essere aggiunta a uno scheduler cloud-native senza modificare i container degli utenti. Trattando i dispositivi quantistici remoti come risorse di prima classe in un modello basato su grafi, il sistema può coordinare intelligentemente l'esecuzione classica e quantistica, mitigando le inefficienze del problema delle due code.

Gli autori sottolineano che il loro contributo risiede nello strato di scheduling (co-scheduling, arbitraggio e selezione del backend) piuttosto che nell'interfaccia di controllo delle risorse (QRMI). Argomentano che i design attuali spesso falliscono nel coordinare la tempistica delle risorse classiche e quantistiche, portando a uno spreco di risorse patologico. Fluence offre una soluzione che è ortogonale ai middleware esistenti, fornendo un framework affinché i futuri centri HPC possano supportare autonomamente i flussi di lavoro quantistico-classici ibridi. Il lavoro evidenzia inoltre il vantaggio di sicurezza nel mantenere le credenziali del vendor nello spazio utente anziché nello scheduler di sistema.

Il documento conclude che, sebbene i dispositivi quantistici attuali si trovino nel regime NISQ (Noisy Intermediate-Scale Quantum), l'infrastruttura di gestione del carico di lavoro deve evolversi per supportare gli algoritmi ibridi necessari per rendere questi dispositivi utili per la scoperta scientifica. Fluence rappresenta un passo fondamentale verso questa evoluzione, consentendo un posizionamento efficiente e tramite gang scheduling dei carichi di lavoro ibridi.