Reinforcement Learning to Disentangle Multiqubit Quantum States from Partial Observations

Resumo Técnico: Aprendizado por Reforço para Desemaranhar Estados Quânticos Multiqubits a partir de Observações Parciais

Enunciado do Problema
O artigo aborda o desafio de desemaranhar estados quânticos multiqubits arbitrários em estados de produto usando um número mínimo de portas de dois qubits. Este é o problema inverso da preparação de estados quânticos e é crucial para a compressão de estados quânticos, inicialização e análise de complexidade. Uma dificuldade primária reside no tamanho exponencial do espaço de Hilbert, o que torna algoritmos de busca exaustiva inviáveis para sistemas com mais de alguns qubits. Além disso, restrições práticas em dispositivos de Escala Intermediária com Ruído (NISQ) limitam o acesso à informação global do estado; tipicamente, apenas medições locais são viáveis. Os autores investigam se o conhecimento parcial de um estado quântico — especificamente, o acesso apenas a matrizes densidade reduzidas (RDMs) de dois qubits — é suficiente para construir protocolos de desemaranhamento otimizados.

Metodologia
Os autores propõem uma estrutura de Aprendizado por Reforço Profundo (RL) utilizando um algoritmo Actor-Critic (AC), especificamente uma variante de Otimização de Política Próxima (PPO) com regularização de entropia.

• Espaço de Observação: Para cumprir as restrições NISQ, o agente não observa o estado quântico completo. Em vez disso, em cada passo de tempo $t$, o agente recebe uma observação $o_t$ composta por todas as RDMs de dois qubits simetrizadas do estado atual. Isso reduz o requisito de informação de exponencial para quadrático em relação ao número de qubits ($L$).
• Espaço de Ação: O agente seleciona um par de qubits $(i, j)$ sobre os quais aplicar uma porta unitária de dois qubits.
• Construção da Porta: Uma vez selecionado o par de qubits, a porta unitária específica $U^{(i,j)}$ é determinada analiticamente através da diagonalização da RDM de dois qubits correspondente. Isso garante que a porta seja localmente ótima para o desemaranhamento daquele par específico, dado o conhecimento parcial atual.
• Arquitetura da Rede: A rede de política emprega uma arquitette de Transformer permutação-equivariante. Este design permite que o agente aprenda políticas que são invariantes à rotulagem de qubits, permitindo que ele reconheça estruturas de emaranhamento independentemente de como os qubits são permutados na entrada do estado.
• Função de Recompensa: O sinal de recompensa é projetado para maximizar a redução na entropia de von Neumann média de um único qubit ($S_{avg}$), enquanto penaliza o número de portas utilizadas. O objetivo é levar $S_{avg}$ a zero (indicando um estado de produto) com o menor número de passos.
• Regime de Treinamento: Para sistemas maiores (12 e 16 qubits), os autores empregam um processo de treinamento em duas etapas. Primeiro, o agente é treinado em estados de produto de pequenos subsistemas para aprender o desemaranhamento básico. Segundo, ele é ajustado (fine-tuning) em subsistemas fracamente emaranhados de estados de Haar-aleatórios.

Resultos Principais

• Eficiência em Sistemas Pequenos: O agente treinado desemaranha com sucesso estados de Haar-aleatórios de 4, 5 e 6 qubits. Para estados de 4 qubits arbitrários, o agente identifica um protocolo usando no máximo cinco portas de dois qubits (equivalente a 10 portas CNOT). Para estados de Haar-aleatórios de 5 e 6 qubits, o agente requer, em média, 20 e 56 portas de dois qubits, respectivamente.
• Comparação com Baselines: O agente de RL supera significativamente tanto um agente "aleatório" (que seleciona pares de qubits uniformemente) quanto um agente "ganancioso" (que seleciona o par que minimiza $S_{avg}$ localmente em cada passo). Para estados de 6 qubits, o agente de RL reduz a contagem de portas em quase um fator de três em comparação ao agente aleatório e em aproximadamente 22% em comparação ao agente ganancioso.
• Transpilação de Circuitos: Quando comparado ao algoritmo determinístico de Shende et al. (implementado no Qiskit), o agente de RL, atuando como uma rotina de pré-transpilação, reduz drasticamente o número de portas CNOT necessárias. Por exemplo, para um estado de Haar-aleatório de 4 qubits, a contagem de CNOT foi reduzida de 22 para 12.
• Reconhecimento de Padrões: A análise dos protocolos aprendidos revela fortes correlações temporais e espaciais. O agente frequentemente identifica um qubit específico e aplica uma sequência de portas envolvendo-o antes de mudar para outro, efetivamente aprendendo a explorar a estrutura de emaranhamento específica do estado de entrada em vez de aplicar uma sequência genérica.
• Escalabilidade e Resiliência ao Ruído:
  • Escalabilidade: Embora a simulação quântica subjacente escale exponencialmente, o custo computacional do agente de RL escala quadraticamente com o número de qubits.
  • Ruído: O agente demonstra robustez ao ruído de amostragem (erros estatísticos provenientes de amostragem finita na tomografia de estado) e ao ruído de despolarização. Mesmo quando treinado em um ambiente livre de ruído, o agente consegue desemaranhar estados em simuladores ruidosos e em hardware real, desde que o estado não seja totalmente misto.
• Validação Experimental: A abordagem foi validada experimentalmente em um computador quântico de íons aprisionados. O agente desemaranhou com sucesso estados Bell-Bell, GHZ, W e estados de circuitos rasos. Embora a entropia residual tenha permanecido devido à decoerência do hardware, o emaranhamento de formação entre os qubits do sistema foi reduzido com sucesso a próximo de zero.

Significância e Alegações
O artigo afirma que o uso de informação parcial (RDMs de dois qubits) via um agente de RL consciente do estado oferece uma vantagem prática sobre algoritmos determinísticos e independentes de estado para o desemaranhamento de estados quânticos. Os autores enfatizam que:

1. Dependência de Estado: Diferente de máquinas de desemaranhamento universais (que não existem), o agente de RL constrói protocolos dependentes do estado que se adaptam à distribuição de emaranhamento específica, minimizando assim o uso de recursos.
2. Aplicabilidade NISQ: A dependência de medições locais torna o método diretamente aplicável ao hardware quântico atual sem exigir tomografia completa do estado.
3. Generalização: O agente exibe capacidades de generalização, lidando com sucesso com sistemas de 12 e 16 qubits com subsistemas fracamente emaranhados, e transferindo as políticas aprendidas para ambientes ruidosos sem necessidade de retreinamento.
4. Protocolo Ótimo de 4 Qubits: A análise das sequências de 4 qubits leva a um circuito geral capaz de preparar qualquer estado de 4 qubits arbitrário a partir de um estado de produto usando no máximo cinco unitárias de dois qubits (10 CNOTs).

Os autores concluem que, embora a escala exponencial de recursos para estados de Haar-aleatórios seja uma característica inerente à mecânica quântica, o RL fornece um mecanismo para otimizar o prefactor constante e descobrir protocolos eficientes para classes de estados fisicamente relevantes, como aqueles com emaranhamento de lei de área ou emaranhamento fraco entre subsistemas.