Three ways to share a QPU: Scheduling strategies for hybrid Quantum-HPC applications

O artigo investiga três estratégias de agendamento (multiplexação temporal, gerenciamento dinâmico de recursos e decomposição de fluxos de trabalho) para integrar processadores quânticos em infraestruturas de computação de alto desempenho, demonstrando experimentalmente que a escolha da estratégia ideal depende do equilíbrio entre as cargas de trabalho clássica e quântica, permitindo otimizações significativas na utilização de recursos e no tempo de execução.

O essencial

Imagine que o mundo da computação está prestes a passar por uma revolução. De um lado, temos os Supercomputadores Clássicos (os "HPCs"), que são como gigantes de força bruta, capazes de resolver problemas complexos em segundos, mas que consomem muita energia e recursos. Do outro lado, temos os Computadores Quânticos (os "QPUs"), que são como gênios visionários, capazes de resolver certos tipos de problemas de forma exponencialmente mais rápida, mas que são extremamente raros, caros e frágeis.

O grande desafio é: como fazer esses dois gigantes trabalharem juntos sem que o gênio fique ocioso esperando o gigante, ou vice-versa?

Este artigo é como um manual de instruções para três estratégias inteligentes de "gerenciamento de trânsito" que permitem que esses dois mundos coexistam de forma eficiente. Os autores testaram essas ideias em laboratórios reais e descobriram qual estratégia funciona melhor dependendo do tipo de trabalho.

Aqui estão as três estratégias explicadas de forma simples:

1. O "Carona" ou "Compartilhamento de Tempo" (Multiplexação de QPUs)

A Analogia: Imagine que você tem apenas uma única máquina de fazer pipoca (o QPU) em um estádio lotado, mas 100 pessoas querem fazer pipoca.

• O jeito antigo (Ineficiente): A pessoa 1 entra, faz pipoca, espera a máquina esfriar, e só então a pessoa 2 entra. Enquanto a pessoa 1 está esperando a máquina esfriar ou fazendo outras coisas, a máquina fica parada. É um desperdício!
• A Estratégia do Papel (vQPUs): O gerente do estádio cria "bilhetes virtuais". Ele diz: "Ok, a máquina de pipoca vai funcionar em fatias de tempo. A pessoa 1 faz 10 segundos de pipoca, a pessoa 2 faz 10 segundos, a pessoa 3 faz 10 segundos".
• Como funciona na prática: O computador clássico (que é rápido) faz a maior parte do trabalho. Quando precisa da "mágica quântica", ele pede a máquina. Como a parte quântica é muito rápida, o sistema dá um "tempo de uso" para o Job A, depois para o Job B, e assim por diante.
• Para quem é: Funciona muito bem quando o trabalho quântico é super rápido (como em computadores quânticos atuais de estado sólido) e o trabalho clássico é longo. É como se o gênio quântico desse um "pulo de gato" rápido para vários gigantes clássicos ao mesmo tempo.

2. O "Contrato Flexível" (Gerenciamento Dinâmico de Recursos)

A Analogia: Imagine que você alugou um ônibus de 50 lugares para uma excursão. No entanto, durante a viagem, 20 passageiros precisam descer para fazer uma caminhada (o trabalho quântico) e só voltam depois de 10 minutos.

• O jeito antigo (Ineficiente): O ônibus fica parado, ocupando a via, com 50 lugares reservados, mesmo com 30 assentos vazios, porque o contrato dizia "50 lugares por 2 horas".
• A Estratégia do Papel (Malleability): O motorista (o sistema de agendamento) percebe que 20 pessoas saíram. Ele libera 20 lugares para outros passageiros que estavam esperando na parada. Quando os 20 voltam da caminhada, o ônibus volta a ter 50 lugares.
• Como funciona na prática: O programa clássico libera os computadores que não está usando enquanto espera a resposta do computador quântico. Assim, outros trabalhos podem usar esses computadores "vazios". Quando o quântico termina, o programa clássico retoma o controle e usa os computadores de volta.
• Para quem é: É ideal para programas que já existem (escritos em MPI) e que precisam de muitos computadores, mas que têm pausas longas esperando o quântico. Economiza muita energia e dinheiro.

3. O "Maestro de Orquestra" (Decomposição de Fluxo de Trabalho)

A Analogia: Imagine que você quer preparar um banquete gigante.

• O jeito antigo (Ineficiente): Você contrata uma equipe inteira para ficar parada na cozinha o tempo todo, esperando que o chef (o quântico) prepare o prato principal, mesmo que os ajudantes não tenham nada para fazer.
• A Estratégia do Papel (Workflows): Você contrata um Maestro. O Maestro divide o banquete em tarefas: "Cortar vegetais", "Ferver água", "Assar o bolo". Ele chama a equipe de corte apenas quando precisa cortar, e chama o forno apenas quando precisa assar. Se o chef quântico estiver ocupado, o Maestro não deixa a equipe de corte ficar parada; ele manda eles fazerem outra coisa ou os dispensa até que o chef esteja livre.
• Como funciona na prática: O aplicativo não é um bloco único, mas sim uma série de tarefas conectadas. O sistema de gerenciamento (o Maestro) só pede recursos (computadores) quando uma tarefa específica está prestes a começar. Se o trabalho quântico demorar, o sistema não gasta recursos clássicos esperando.
• Para quem é: É a estratégia mais eficiente para economizar recursos, especialmente se o trabalho quântico for lento (como em computadores de átomos neutros). Requer que o programa seja desenhado desde o início como um fluxo de tarefas.

---

O Veredito: Qual usar?

Os autores testaram tudo isso em computadores reais e chegaram a uma conclusão simples: não existe uma solução única para tudo.

1. Se o seu trabalho quântico é super rápido (como um estalo de dedos) e o clássico é longo: Use o Compartilhamento de Tempo (vQPUs). É fácil de usar, não precisa mudar o código do programa e aumenta muito o uso da máquina quântica.
2. Se você já tem um programa clássico grande e ele fica "parado" esperando o quântico: Use o Contrato Flexível (Malleability). Ele libera os computadores ociosos para outros usarem, economizando cerca de 45% de recursos.
3. Se você está criando um novo programa e quer máxima eficiência: Use o Maestro (Workflows). Ele é o campeão de economia (até 64% de recursos poupados), mas exige que você desenhe o programa de forma diferente, como um fluxo de tarefas.

Resumo final:
O futuro da computação não será apenas ter computadores quânticos mais rápidos, mas sim saber como organizá-los para que não fiquem parados esperando, nem deixem os computadores clássicos ociosos. Essas três estratégias são as ferramentas que os cientistas e engenheiros usarão para construir essa ponte entre o mundo clássico e o quântico, garantindo que cada recurso seja usado da melhor maneira possível.

Resumo técnico

Resumo Técnico: Estratégias de Agendamento para Aplicações Híbridas HPC-QC

1. O Problema

A integração de Computação Quântica (QC) em infraestruturas de Computação de Alto Desempenho (HPC) existentes é um objetivo central para a próxima geração de sistemas de computação. No entanto, essa integração enfrenta desafios significativos:

• Escassez de Recursos: As Unidades de Processamento Quântico (QPUs) são extremamente raras e caras, criando um gargalo em relação aos recursos clássicos abundantes.
• Desequilíbrio de Carga: Na maioria das aplicações híbridas atuais, a fase quântica é curta (bursts), enquanto a fase clássica é longa. Em modelos de agendamento tradicionais (co-agendamento), a QPU permanece ociosa durante a maior parte do tempo de execução do trabalho, levando a uma subutilização crítica do recurso mais escasso.
• Incompatibilidade de Modelos: A maturidade desigual dos stacks de software quântico e clássico, somada à falta de padrões, dificulta a alocação eficiente de recursos sem sobrecarregar os centros de HPC com mudanças drásticas em sua infraestrutura.

O objetivo do artigo é investigar estratégias de agendamento que permitam o compartilhamento eficiente de QPUs em ambientes HPC, maximizando a utilização sem exigir que os centros de HPC reestruturem completamente suas políticas ou infraestruturas.

2. Metodologia e Estratégias Propostas

Os autores propõem e validam experimentalmente três metodologias distintas, posicionadas em diferentes níveis da pilha de software e escalas de tempo (conforme ilustrado na Figura 1 do artigo):

1. Multiplexação Temporal via QPUs Virtuais (vQPUs):

   • Nível: Infraestrutura.
   • Conceito: Criação de "QPUs virtuais" que permitem que múltiplos trabalhos híbridos compartilhem a mesma QPU física de forma transparente. O agendador (ex: Slurm) gerencia o acesso sequencial às QPUs físicas através de filas internas.
   • Vantagem: Não requer alterações no código da aplicação do usuário. Aumenta a disponibilidade da QPU permitindo que trabalhos clássicos de diferentes usuários rodem em paralelo enquanto a QPU processa as fases quânticas sequencialmente.
   • Ideal para: Cenários com grande desequilíbrio entre carga clássica e quântica (QPUs supercondutoras com execuções curtas).

2. Gerenciamento Dinâmico de Recursos (Malleability):

   • Nível: Agendador/Tempo de Execução (Runtime).
   • Conceito: Utilização de bibliotecas como o DMR (Dynamic Resource Management) para permitir que aplicações MPI "móbeis" (malleable) ajustem o número de processos durante a execução.
   • Funcionamento: Quando a aplicação entra na fase quântica (que não usa nós clássicos), ela libera os nós clássicos alocados. Ao retornar da fase quântica, os recursos são realocados.
   • Vantagem: Otimiza a utilização de nós clássicos, reduzindo o consumo de energia e recursos ociosos, com mudanças mínimas no código (poucas linhas).

3. Decomposição de Fluxo de Trabalho (Workflows):

   • Nível: Orquestração de Aplicação.
   • Conceito: Uso de sistemas de gerenciamento de fluxo de trabalho (WMS), como o StreamFlow, para modelar a aplicação como um grafo de tarefas dependentes.
   • Funcionamento: O WMS aloca recursos (clássicos ou quânticos) apenas quando uma tarefa específica está pronta para ser executada. Se uma tarefa quântica está em espera, os recursos clássicos não são mantidos ociosos.
   • Vantagem: Oferece o menor consumo de recursos e maior flexibilidade, permitindo a integração de ambientes heterogêneos (HPC, Nuvem, QC). Requer uma reestruturação da aplicação para o modelo de fluxo de trabalho.

3. Configuração Experimental

Os autores validaram as estratégias em dois cenários distintos:

• Cenário 1 (vQPUs): Execução em um cluster HPC de produção e uma QPU real de 5 qubits (IQM Lagrange). O problema utilizado foi o Coloração de Grafos (Graph Coloring) usando o algoritmo híbrido BBQ-MIS e o QAOA.
• Cenário 2 (Malleability e Workflows): Execução em um cluster de teste (Qluster) e no supercomputador de produção Leonardo (Tier-0 EuroHPC). O problema foi uma aplicação de Agregação de Clustering (usando K-means, DBSCAN e hierárquico), onde a parte quântica foi emulada (Simulated Annealing) para focar na estratégia de agendamento.

Foram testadas diferentes proporções de tempo entre as fases clássica e quântica (incluindo atrasos artificiais para simular tecnologias de átomos neutros com tempos de execução mais longos).

4. Resultados Principais

• vQPUs (Multiplexação Temporal):

  • Resultado: Aumentou significativamente a ocupação da QPU e reduziu o tempo total de execução no nível do cluster.
  • Eficiência: Quanto maior o desequilíbrio entre a carga clássica e quântica (fase quântica muito curta), maior o benefício.
  • Trade-off: Embora o tempo total do cluster diminua, trabalhos individuais podem sofrer um leve aumento no tempo de execução devido ao compartilhamento da QPU, mas isso é compensado pela eficiência global.

• Malleability (DMR):

  • Resultado: Redução no consumo de recursos clássicos de até 45,7% em comparação com a alocação estática (baseline).
  • Desempenho: Oferece um bom equilíbrio entre tempo de execução (wall time) e eficiência. Em ambientes de produção (Leonardo), manteve-se robusto sob carga variável.

• Workflows (StreamFlow):

  • Resultado: A estratégia mais eficiente em termos de recursos, reduzindo o consumo de nós-segundo em até 64% em relação à baseline.
  • Vantagem: Elimina quase totalmente o tempo de espera de recursos ociosos.
  • Desvantagem: Pode introduzir atrasos no tempo total de execução (wall time) devido à sobrecarga de orquestração e espera por alocação de recursos em tempo real, especialmente em ambientes sem contenção de recursos.

5. Contribuições e Significância

• Validação Prática: Este trabalho fornece a primeira validação experimental em larga escala de estratégias híbridas HPC-QC em infraestrutura de produção real (incluindo o supercomputador Leonardo e hardware quântico real), preenchendo a lacuna entre análise teórica e implementação prática.
• Complementaridade: O estudo demonstra que as três estratégias não são mutuamente exclusivas, mas sim complementares. Elas cobrem diferentes regiões do espaço de granularidade de tempo e transparência do modelo de programação.
  • vQPUs são ideais para QPUs supercondutoras de curto prazo sem alterar o código do usuário.
  • Malleability é ideal para aplicações MPI existentes que precisam de eficiência moderada.
  • Workflows são ideais para novas aplicações ou fluxos de trabalho complexos que buscam a máxima eficiência de recursos.
• Diretrizes de Implementação: O artigo oferece diretrizes claras para operadores de HPC e usuários sobre qual estratégia adotar com base nas características da carga de trabalho (desequilíbrio clássico-quântico) e nas restrições operacionais do centro de dados.

Conclusão:
O artigo conclui que a adoção de estratégias de agendamento adaptadas é viável e essencial para o sucesso da computação híbrida. A combinação dessas abordagens permite construir stacks de software escaláveis e eficientes, maximizando o retorno sobre o investimento em hardware quântico escasso enquanto otimiza o uso da infraestrutura clássica existente.