Hybrid Quantum and Classical Workload Management with Graph-based Scheduling

Resumo Técnico: Gerenciamento de Carga de Trabalho Híbrida Quântica e Clássica com Escalonamento Baseado em Grafos

Definição do Problema
À medida que os centros de Computação de Alto Desempenho (HPC) integram Unidades de Processamento Quântico (QPUs) para resolver problemas de otimização complexos, eles enfrentam um desafio de orquestração único conhecido como o "problema das duas filas". Enquanto os escalonadores tradicionais gerenciam recursos de clusters locais, as cargas de trabalho quânticas frequentemente dependem de APIs de fornecedores remotos (ex: AWS Braket, IBM Quantum Cloud) que mantêm uma fila externa separada. Isso cria um cenário onde um gerenciador de carga de trabalho deve coordenar recursos entre dois sistemas não coordenados: o cluster local e a fila do fornecedor remoto.

Os esforços atuais de integração, como plugins do Slurm usando a Interface de Gerenciamento de Recursos Quânticos (QRMI), frequentemente tratam o dispositivo quântico como um abridor de sessão, em vez de um recurso escalonável. Isso leva a um comportamento patológico onde nós de computação clássica (workers) são alocados e iniciam a execução enquanto a tarefa quântica associada aguarda em uma fila externa e imprevisível. Isso resulta em tempo de ociosidade dos workers, desperdício de horas-nó e utilização ineficiente de recursos, particularmente para algoritmos híbridos como Algoritmos Quânticos Variacionais (VQAs), que exigem um acoplamento estreito entre as atualizações de parâmetros clássicos e a execução quântica. Além disso, as soluções existentes frequentemente exigem o armazenamento de credenciais de fornecedores no nível do escalonador do sistema, introduzindo riscos de segurança.

Metodologia
Os autores apresentam o Fluence, um plugin de escalonamento para Kubernetes construído sobre o escalonador baseado em grafos Fluxion, do Flux Framework. O Fluence aborda o problema das duas filas modelando os backends quânticos remotos como recursos de primeira classe e atribuídos dentro do grafo de recursos do escalonador.

Os principais componentes metodológicos incluem:

• Modelagem por Grafo: O Fluence representa o cluster como um grafo onde os dispositivos quânticos (associados a fornecedores específicos) situam-se no mesmo nível hierárquico que racks ou nós. Ele realiza consultas de grafo consecutivas tanto para recursos clássicos quanto quânticos, garantindo uma alocação do tipo "tudo ou nada" (gang). Um job só é escalonado se ambos os tipos de recursos puderem ser alocados simultaneamente.
• Sincronização de Gang (Gang Synchronization): Aproveitando o escalonamento de gang nativo no Kubernetes 1.36+, o Fluence retém (gate) os pods de workers clássicos até que a tarefa quântica esteja pronta.
  • Modelo Produtor-Consumidor: Para um gang de $N$ pods, um pod atua como produtor, enviando a tarefa quântica para a API do fornecedor. Os $N-1$ pods restantes atuam como consumidores (workers).
  • Primitiva de Sincronização: O pod produtor inclui um sidecar que monitora (polling) a fila do fornecedor. Os pods consumidores permanecem em um estado "bloqueado" (scheduling-gated) até que o produtor confirme que a tarefa quântica atingiu o topo da fila externa. Somente então os workers são liberados para execução.
• Seleção de Backend Baseada em Política: O Fluence suporta seleção baseada em atributos, permitindo que jobs solicitem backends quânticos específicos com base em critérios dinâmicos, como custo ou profundidade da fila. Isso é facilitado por um plugin kubectl de espaço do usuário que consulta as APIs dos fornecedores usando credenciais locais, evitando a necessidade de armazenar segredos no namespace do escalonador.
• Padrões de Aplicação: O design suporta vários padrões híbridos, incluindo avaliações únicas, loops variacionais (ex: QAOA, VQE), processamento em lote (batch) e designs de fan-out.

Principais Contribuições

1. Caracterização do Problema das Duas Filas: O artigo identifica e quantifica o desperdício de recursos clássicos causado pela falta de sincronização entre escalonadores locais e filas quânticas remotas.
2. Modelagem Híbrida Baseada em Grafo: Uma abordagem inovadora para modelar dispositivos quânticos remotos como recursos escalonáveis dentro de um escalonador baseado em grafos, permitindo o co-escalonamento inteligente.
3. Plugin de Escalonamento Fluence: Um plugin de Kubernetes que implementa escalonamento de gang e manipulação de recursos customizados para cargas de trabalho híbridas quânticas-clássicas sem modificar os containers do usuário.
4. Mecanismo de Sincronização: Uma primitiva de bloqueio (gating) que reduz o tempo de ociosidade dos workers ao impedir que os nós clássicos comecem até que a tarefa quântica esteja iminente.
5. Seleção Dinâmica de Backend: Um mecanismo para selecionar backends quânticos com base em custo ou profundidade de fila, otimizando tanto a eficiência econômica quanto a temporal.

Resultados Experimentais
Os autores avaliaram o Fluence utilizando simuladores AWS Braket e QPUs reais (Rigetti, IQM, IBM) em três cenários:

• Eficiência de Escalonamento de Gang: Sob contenção de nós, o posicionamento atômico de gang do Fluence eliminou o tempo de nó desperdiçado observado em escalonadores padrão. Enquanto os escalonadores padrão incorreram em ociosidade significativa (ex: mediana de ~133 segundos-nó para gangs de tamanho $N=4$) enquanto aguardavam a liberação de gangs parciais, o Fluence manteve a ociosidade próxima de zero.
• Redução do Tempo de Ociosidade: No cenário de duas filas, o Fluence reduziu o tempo de ociosidade dos workers em aproximadamente 5x sob filas curtas de dispositivos e por ordens de magnitude quando as filas se estendiam por horas. Por exemplo, em um simulador com uma fila de 2,66 horas, o escalonador padrão acumulou ~19.160 segundos-nó de ociosidade, enquanto a abordagem de bloqueio do Fluence minimizou esse desperdício.
• Otimização de Custo e Tempo: Usando a seleção baseada em política, o Fluence reduziu o custo médio por execução em cerca de 70x ao fixar jobs ao backend mais barato disponível (ex: selecionando um simulador em vez de dispositivos reais caros). Também reduziu o tempo para o resultado de horas para menos de um minuto ao selecionar backends com as filas mais curtas.

Significância e Alegações
O artigo afirma que o Fluence demonstra que a consciência quântica pode ser adicionada a um escalonador cloud-native sem modificar os containers do usuário. Ao tratar dispositivos quânticos remotos como recursos de primeira classe em um modelo baseado em grafos, o sistema pode coordenar inteligentemente a execução clássica e quântica, mitigando as ineficiências do problema das duas filas.

Os autores enfatizam que sua contribuição reside na camada de escalonamento (co-escalonamento, arbitragem e seleção de backend) e não na interface de controle de recursos (QRMI). Eles argumentam que os designs atuais frequentemente falham em coordenar o tempo dos recursos clássicos e quânticos, levando ao desperdício patológico de recursos. O Fluence oferece uma solução que é ortogonal aos middlewares existentes, fornecendo um framework para que futuros centros de HPC suportem fluxos de trabalho híbridos de forma autônoma. O trabalho também destaca a vantagem de segurança de manter as credenciais do fornecedor no espaço do usuário, em vez de no escalonador do sistema.

O artigo conclui que, embora os dispositivos quânticos atuais estejam no regime NISQ (Noisy Intermediate-Scale Quantum), a infraestrutura de gerenciamento de carga de trabalho deve evoluir para suportar os algoritmos híbridos necessários para tornar esses dispositivos úteis para a descoberta científica. O Fluice fornece um passo fundamental para essa evolução ao permitir o posicionamento eficiente e de gang de cargas de trabalho híbridas.