Uncovering Latent Structures in Robust Pulse Sequences: A Model-Based Reinforcement Learning Approach for Adaptable Quantum Control

Resumo Técnico: Desvendando Estruturas Latentes em Sequências de Pulsos Robustas via Aprendizado por Reforço Baseado em Modelo

Definição do Problema
O controle adaptativo em tempo real de sistemas quânticos necessita da geração rápida de pulsos de controle robustos e de alta fidelidade através de intervalos contínuos de condições operacionais. Algoritmos de otimização padrão, como o Gradient Ascent Pulse Engineering (GRAPE), resolvem cada instância de controle de forma independente. Esta abordagem "sem memória" descarta informações entre as execuções, exigindo reinicialização e reotimização custosas sempre que os parâmetros do sistema (ex: desvio de frequência, inhomogeneidades de amplitude) mudam. Além disso, embora o aprendizado supervisionado ofereça velocidade, ele é limitado pela qualidade dos dados de treinamento pré-computados e não pode superar as soluções para as quais foi treinado. O Aprendizado por Reforço (RL) livre de modelo (Model-free) evita dependências de dados, mas sofre de ineficiência de amostragem e de uma falta de robustez física devido ao seu desconhecimento do Hamiltoniano do sistema.

Metodologia
Os autores propõem um framework de Aprendizado por Reforço Baseado em Modelo (Model-Based RL) que incorpora o Hamiltoniano do sistema físico diretamente no pipeline de treinamento. Esta abordagem utiliza uma única rede neural para gerar portões quânticos robustos através de toda uma família de configurações sem a necessidade de dados de treinamento pré-computados.

• Arquitetura e Entradas: Uma rede neural totalmente conectada recebe quatro entradas que definem uma configuração de portão: ângulo de rotação ($\beta$), duração do pulso ($T_P$), intervalo de desvio alvo ($\Delta\delta$) e intervalo de inhomogeneidade de amplitude alvo ($\Delta s$). A rede gera um perfil de fase dependente do tempo $\phi(t)$ para uma amplitude nominal constante.
• Ciclo de Treinamento: A rede gera um pulso de controle, que é aplicado ao Hamiltoniano do sistema dentro de uma simulação de física diferenciável. A simulação computa o propagador $U(T, \xi_m)$ para um conjunto (ensemble) de parâmetros do sistema $\xi_m$ amostrados a partir da grade de robustez. A infidelidade $J$ é calculada contra uma unitária alvo $U_T$ e retropropagada por todo o grafo computacional (da infidelidade até os pesos da rede) utilizando diferenciação automática (AD).
• Robustez e Suavização: Para garantir a viabilidade experimental, a função de perda faz a média da infidelidade sobre uma grade de variações de desvio e amplitude. Um filtro de média móvel exponencial (EMA) bidirecional é aplicado à sequência de fase de saída para suprimir oscilações de alta frequência, preservando a estrutura temporal e a diferenciabilidade.
• Escalonamento de Perda: Para melhorar a convergência em soluções de alta fidelidade, a função de perda é reponderada na etapa de ajuste fino usando $J^\alpha$ (com $\alpha < 1$), aumentando o peso do gradiente para configurações que já atingiram alta fidelidade.
• Modelo do Sistema: O método é demonstrado em um sistema de spin único (dois níveis) impulsionado por um campo externo, governado por um Hamiltoniano que inclui deriva (drift), campos de controle, desvio de frequência e erros de escala de amplitude.

Principais Contribuições

1. Política de Controle Generalizável: O framework treina uma única rede para mapear uma família contínua de configurações de portão para pulsos otimizados. Uma vez treinada, a rede gera pulsos de alta fidelidade para qualquer combinação de parâmetros dentro dos limites de treinamento em milissegundos, eliminando a necessidade de reotimização.
2. Descoberta de Estruturas Latentes: Os autores demonstram que a rede neural descobre consistentemente perfis de fase estruturados através do espaço de parâmetros. Essas estruturas correspondem a famílias de soluções específicas no cenário de controle que são frequentemente obscurecidas em otimizações GRAPE padrão devido à inicialização estocástica e execuções de otimização independentes.
3. Simetria e Continuidade: A rede revela que os pulsos ótimos exibem variações estruturais suaves e contínuas (ex: simetria ou antissimetria em relação ao ponto médio do pulso) através de durações e ângulos de rotação. Esta continuidade permite a interpolação suave entre parâmetros, uma propriedade que o GRAPE carece por design.
4. Eficiência: A rede treinada cobre todo o espaço de parâmetros (ângulo de rotação, duração, desvio, inhomogeneidade) em uma única passagem direta (forward pass). A geração de cobertura equivalente com GRAPE de múltiplas sementes é descrita como computacionalmente intratável na escala avaliada.

Resultados

• Comparação de Desempenho: Testado contra GRAPE de múltiplas sementes (usando 1 e 20 sementes) em 100.000 configurações de portão, a rede neural alcança fidelidades comparáveis ao GRAPE. Embora o GRAPE de múltiplas sementes ocasionalmente supere a rede no regime de menor infidelidade ($J < 10^{-4}$) ao explorar mais mínimos locais, a rede supera consistentemente o GRAPE de semente única e permanece dentro de uma ordem de magnitude dos melhores resultados de múltiplas sementes.
• Consistência Estrutural: Quando o GRAPE é inicializado usando a saída da rede neural, ele refina a solução dentro da mesma família estruturada, confirmando que a rede converge para mínimos genuínos no cenário de controle. As impressões digitais de robustez (infidelidade vs. desvio) dos pulsos gerados pela rede, pelos pulsos GRAPE e pelos pulsos GRAPE inicializados pela rede são quase idênticas, apesar das diferenças visíveis nos perfis de fase brutos.
• Generalização: A rede interpola com sucesso combinações de parâmetros não vistas (ex: durações de pulso e ângulos de rotação contínuos) com paisagens de fidelidade suaves, validando sua capacidade de generalizar além da grade discreta de treinamento.
• Velocidade: A rede gera pulsos em milissegundos, enquanto o GRAPE de múltiplas sementes requer horas de computação para cobertura equivalente.

Significância e Alegações
O artigo afirma que esta abordagem de RL baseado em modelo oferece um paradigma fundamentalmente diferente para a otimização de controle quântico. Ao incorporar a física diretamente no processo de aprendizado, o método alcança:

• Adaptabilidade: Qualquer parâmetro que entre no Hamiltoniano pode servir como entrada da rede, tornando o framework diretamente transferível para diferentes sistemas e configurações de controle sem alterar o procedimento de treinamento.
• Insight sobre Cenários de Controle: A abordagem revela "estruturas latentes" no cenário de controle — especificamente, famílias de fase estruturadas que são consistentes entre os parâmetros. Isso sugere que o cenário de controle contém famílias de soluções distintas e robustas que métodos de gradiente local (como o GRAPE padrão) podem perder ou saltar estocasticamente.
• Utilidade Prática: O método permite a geração on-the-fly de pulsos adaptados individualmente para variações específicas de hardware, um requisito crítico para protocolos experimentais avançados como transmissão paralela em RM e calibrações contínuas de portões.

Os autores mantêm uma postura modesta, observando que, embora a rede seja altamente eficiente e generalizável, ela não supera consistentemente o GRAPE de múltiplas sementes exaustivo em termos de infidelidade mínima absoluta. No entanto, ela fornece uma alternativa prática de alta fidelidade que equilibra o custo computacional com o desempenho e oferece insights únicos sobre a topologia do cenário de controle quântico.