⚡ electrical engineering

Predictive Fidelity-Aware Routing and Adaptive Scheduling in Distributed NISQ Quantum Networks via Actor–Critic Reinforcement Learning

Este artigo propõe um framework baseado em Aprendizado por Reforço Profundo (DRL-QCOF) que integra um preditor de fidelidade Bi-LSTM com um agente de escalonamento Actor–Critic para otimizar conjuntamente o roteamento e o escalonamento em redes quânticas NISQ distribuídas, superando significativamente os métodos existentes em fidelidade de link, latência e utilização de recursos sob condições dinâmicas.

Autores originais: Prabu Pachiyannan

Publicado 2026-07-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Prabu Pachiyannan

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma rede de entrega massiva e de alta velocidade, mas em vez de caminhões transportando pizza, é uma frota de "entregadores quânticos" invisíveis zanzando por uma cidade feita de luz e átomos. Eles carregam algo incrivelmente frágil: o emaranhamento, a conexão misteriosa que impulsiona os futuros computadores quânticos. O problema? As estradas pelas quais eles viajam são esburacadas, o clima muda instantaneamente e os entregadores ficam cansados (decoerência) ou perdem seus pacotes (ruído) com muita facilidade.

Por muito tempo, os controladores de tráfego para essa cidade quântica usaram livros de regras antiquados. Eles verificam o mapa, veem que uma estrada está livre e enviam o entregador. Mas se uma tempestade repentina atinge a via ou uma ponte fica congestionada, esses livros de regras são lentos demais para reagir. Eles continuam enviando entregadores por estradas quebradas, resultando em pacotes perdidos e clientes frustrados.

Conheça um novo sistema de tráfego superinteligente chamado DRL-QCOF. Pense nele como uma equipe de dois assistentes de IA gênios trabalhando juntos para gerenciar o serviço de entrega quântica.

A Bola de Cristal e o Guarda de Trânsito

O primeiro assistente é a Rede de Predição de Fidelidade Quântica (QFPN). Imagine que este assistente possui uma bola de cristal feita de matemática. Em vez de apenas olhar para a estrada agora, ele olha para o histórico da estrada — os solavancos, o ruído e os congestionamentos dos últimos minutos. Usando um cérebro especial chamado Bi-LSTM (que é como uma memória que lembra das coisas do passado e do futuro), ele prevê como a estrada estará nos próximos segundos. Ele diz ao sistema: "Ei, essa estrada vai ficar esburacada em 5 segundos; não envie o entregador para lá ainda!"

O segundo assistente é o Agente DRAQS, o verdadeiro guarda de trânsito. Este agente utiliza um sistema "Actor-Critic" (Ator-Crítico). O Ator é o tomador de decisão que escolhe qual estrada seguir e a que velocidade ir. O Crítico é o juiz que observa o Ator e diz: "Boa escolha!" ou "Má escolha!" com base em uma pontuação. Essa pontuação recompensa o agente por manter os pacotes seguros (alta fidelidade), entregá-los rápido (baixa latência) e não congestionar as estradas (boa utilização de recursos).

Juntos, eles não apenas reagem ao tráfego; eles predizem o tráfego. Se a bola de cristal diz que uma estrada está prestes a ficar ruidosa, o guarda de trânsito desvia o entregador antes que o ruído aconteça.

A Corrida Contra as Velhas Regras

Os autores testaram este novo sistema em uma simulação computacional gigante de uma cidade quântica (usando ferramentas chamadas NetSquid e OMNeT++). Eles colocaram sua nova IA contra os antigos livros de regras, como o HWFR (que apenas pesa o histórico passado) e o DMPQS (que tenta equilibrar prioridades, mas se confunde com o caos).

Aqui está o que a simulação mostrou:

Mantendo os Pacotes Seguros: Os métodos antigos conseguiram manter a conexão quântica forte cerca de 0,78 a 0,86 das vezes. A nova IA, no entanto, manteve a conexão forte até 0,88. Isso pode parecer um número pequeno, mas no frágil mundo da física quântica, é um salto enorme em confiabilidade.
Acelerando o Processo: Os sistemas antigos levaram cerca de 104 milissegundos para levar um pacote do início ao fim. A nova IA reduziu isso para 83 milissegundos. Outros métodos ficaram estagnados acima de 110 milissegundos.
Menos Pacotes Perdidos: Os sistemas antigos tiveram que dizer "não" a cerca de 7% das solicitações de entrega porque as estradas estavam ruins demais. A nova IA disse "não" a apenas 3% das solicitações, o que significa que ela entregou com sucesso 97% das vezes.
Usando Melhor as Estradas: O novo sistema manteve as estradas quânticas ocupadas e eficientes, utilizando de 71% a 83% da capacidade disponível, enquanto os sistemas antigos eram ou preguiçosos ou caóticos, pairando em torno de 67%.

A Curva de Aprendizado

A parte mais emocionante é o quão rápido a IA aprendeu. Os métodos antigos levaram muito tempo para descobrir as melhores rotas, muitas vezes precisando de centenas de rodadas de prática apenas para se estabilizarem. A nova IA, porém, descobriu a estratégia perfeita em apenas 300 episódios de treinamento. Quando terminou seu treinamento, ela estava entregando consistentemente mais de 121 pares emaranhados por segundo, comparado aos 87 a 93 pares por segundo que os métodos antigos conseguiam gerenciar.

O Que Isso Significa (e o Que Não Significa)

Os autores são muito claros: isso não é uma varinha mágica que resolve o mundo real hoje. Eles não construíram uma rede quântica física em um laboratório e a executaram em hardware real. Em vez disso, construíram uma simulação altamente detalhada que mimetiza a realidade bagunçada e ruidosa dos dispositivos "NISQ" (Noisy Intermediate-Scale Quantum) atuais.

Neste mundo simulado, o novo sistema provou que consegue lidar com o caos muito melhor do que as regras antigas. Isso sugere que, se algum dia construirmos uma internet quântica real de grande escala, não devemos depender de livros de regras estáticos. Em vez disso, precisamos de um sistema que possa prever o ruído e adaptar seu roteamento em tempo real, exatamente como esta IA fez.

Portanto, embora ainda não estejamos pedindo entrega de pizza quântica, este estudo sugere que o futuro da internet quântica pertencerá aos guardas de trânsito que conseguem ver além das curvas e prever a tempestade antes mesmo que ela chegue.

Resumo Técnico: Roteamento com Fidelidade Preditiva e Escalonamento Adaptativo em Redes Quânticas NISQ Distribuídas via Aprendizado por Reforço Actor–Critic

1. Definição do Problema

Sistemas NISQ (Noisy Intermediate-Scale Quantum) distribuídos dependem de comunicação quântica para funcionar; no entanto, a implementação prática é dificultada pelas flutuações de links, recursos quânticos limitados e degradação do emaranhamento. Esses fatores criam desafios significativos para o roteamento e escalonamento confiáveis, particularmente em ambientes de grande escala e em constante mudança.

Abordagens clássicas existentes, como o Roteamento de Fidelidade Ponderada Histórica (HWFR) e o Escalonamento Quântico de Multiprioridade Dinâmica (DMPQS), apresentam desempenho adequado apenas quando as condições da rede são estáveis. Seu desempenho degrada-se significativamente quando as taxas de sucesso de emaranhamento variam ou quando os nós de repetição (relays) ficam congestionados. Uma limitação primária da literatura atual é o isolamento da otimização de roteamento e escalonamento, falhando frequentemente em considerar explicitamente as variações futuras de fidelidade. Essa fragmentação leva ao uso ineficiente de recursos, aumento da latência de ponta a ponta e incapacidade de manter uma fidelidade de link estável sob condições variáveis no tempo. Além disso, muitas estratégias baseadas em aprendizado têm dificuldade de generalização em ambientes com variações irregulares de tráfego e sofrem com velocidades de convergência lentas.

2. Metodologia

Para enfrentar esses desafios, os autores propõem o Framework de Otimização de Comunicação Quântica Baseado em Aprendizado por Reforço Profundo (DRL-QCOF). Este framework otimiza conjuntamente o roteamento e o escalonamento através de dois componentes interconectados:

A. Rede de Predição de Fidelidade Quântica (QFPN)

A QFPN serve como a espinha dorsal preditiva, estimando a fidelidade futura do link ( $F_{pred}(t)$ ) para permitir a tomada de decisão proativa.

Arquitetura: Utiliza uma rede Bi-direcional de Long Short-Term Memory (Bi-LSTM) combinada com um mecanismo de Autoatenção Temporal (Temporal Self-Attention).
Entradas: A rede processa sequências de séries temporais de características do link, incluindo comprimento do link, coeficiente de ruído, probabilidade de sucesso de emaranhamento e utilização do relay.
Mecanismo: A Bi-LSTM captura dependências temporais em ambas as direções (forward e backward), enquanto o mecanismo de atenção atribui pesos de significância a passos de tempo específicos (ex: picos repentinos de ruído). Uma camada de regressão com ativação sigmoide produz a fidelidade prevista, limitada entre 0 e 1.
Saída: Um valor escalar de fidelidade prevista usado para guiar o agente de roteamento.

B. Agente de Escalonamento Quântico Adaptativo Baseado em Deep Reinforcement (DRAQS-Agent)

O DRAQS-Agent atua como o núcleo de tomada de decisão, utilizando uma arquitetura Actor–Critic para aprender uma política adaptativa de roteamento e escalonamento.

Representação de Estado: O vetor de estado ( $S_t$ ) integra as fidelidades preditas pela QFPN, comprimentos de fila atuais, utilização de relays, estimativas de latência e disponibilidade de saltos (hops).
Espaço de Ação: O agente seleciona ações discretas que compreendem a seleção de caminho de roteamento, atribuição de prioridade de escalonamento ou adiamento/rejeição de requisições baseada na escassez de recursos.
Função de Recompensa: Uma formulação de recompensa contínua guia o agente para maximizar a fidelidade do link enquanto minimiza a latência, o comprimento da fila e a sobrecarga do relay. A recompensa é definida como:
$R_t = \alpha F_{eff} - \beta L_t - \gamma Q_t - \delta U_t$
onde $F_{eff}$ é a fidelidade efetiva multi-salto, $L_t$ é a latência, $Q_t$ é o comprimento da fila e $U_t$ é a utilização.
Treinamento: O agente é treinado usando Aprendizado de Diferença Temporal (TD) com clipping de gradiente e regularização de entropia para garantir estabilidade. A rede Actor atualiza a política, enquanto a rede Critic estima a função de valor.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

Estratégia de Controle Unificada: A proposta de uma estratégia de controle baseada em RL que otimiza conjuntamente o roteamento e as decisões de recursos ao longo de longos horizontes de treinamento, demonstrando melhoria consistente de desempenho conforme o sistema evolui.
Estrutura de Recompensa Multi-métrica: O design de uma função de recompensa que alinha o processo de aprendizado com objetivos operacionais práticos, otimizando simultaneamente fidelidade de link, latência, taxa de bloqueio e throughput.
Formulação de Estado Adaptativa: A introdução de uma representação de estado que captura tanto a dinâmica transitória quanto a cumulativa da rede, apoiada pelas capacidades preditivas da QFPN, para facilitar padrões de decisão mais precisos e estáveis.

4. Resultados Experimentais

O framework foi avaliado usando um ambiente de co-simulação combinando NetSquid (para a dinâmica da rede quântica) e OMNeT++ (para controle clássico e tráfego). As simulações foram realizadas em uma topologia NISQ de 25 nós (baseada na NSFNET) ao longo de 1.000 épocas de controle com 30 sementes aleatórias.

Comparações de Desempenho:
O DRL-QCOF proposto foi comparado com HWFR, DMPQS, roteamento com consciência de purificação (Purification-Aware), DRL-RRA, roteamento multi-objetivo e roteamento TQD-Secure.

Fidelidade de Link: O método proposto alcançou uma fidelidade média de link máxima de 0,88, superando os métodos existentes que variaram entre 0,78 e 0,86.
Latência: A latência de ponta a ponta foi reduzida de um valor inicial de 104 ms para 83 ms na convergência. Os esquemas de baseline permaneceram acima de 110 ms sob condições semelhantes.
Tempo de Resposta: O tempo médio de resposta de requisição diminuiu para aproximadamente 147 ms, uma melhoria significativa sobre os esquemas de baseline (ex: HWFR em 217 ms).
Utilização de Recursos: O framework alcançou uma taxa de utilização de 71–83%, comparado a 67–81% dos esquemas existentes.
Razão de Sucesso: A razão de sucesso melhorou de 93% para 97%, enquanto a taxa de bloqueio foi reduzida para tão baixo quanto 0,04.
Throughput: O sistema alcançou um throughput de 118–121 pares emaranhados por segundo.
Convergência: A recompensa cumulativa estabilizou em aproximadamente 16,0, com convergência observada dentro de 300 episódios de treinamento, significativamente mais rápido que os métodos concorrentes.

5. Significância e Alegações

O artigo afirma que o framework DRL-QCOF oferece uma solução robusta para a natureza dinâmica e incerta das redes NISQ. Ao integrar a modelagem preditiva de fidelidade com o aprendizado por reforço adaptativo, o sistema supera as limitações de estratégias estáticas ou semi-adaptativas que falham em antecipar a degradação do link.

A significância deste trabalho reside em sua abordagem de otimização unificada e multi-métrica. Em vez de priorizar uma única métrica, o framework equilibra propriedades interdependentes da rede (fidelidade, latência, throughput) através de um mecanismo de modelagem de recompensa orientado pela estabilidade. Os autores afirmam que essa abordagem permite que a rede mantenha alta confiabilidade e eficiência mesmo sob cargas de tráfego flutuantes e ruído ambiental, fornecendo uma direção prática para a construção de soluções de controle de rede confiáveis, eficientes e adaptáveis para a computação quântica distribuída. Os resultados sugerem que o método é eficaz em cenários dinâmicos e converge mais rapidamente do que abordagens de aprendizado ou heurísticas existentes.