Resumo Técnico: Aprendizado por Reforço de Ação Híbrida para Busca de Arquitetura Quântica (HyRLQAS)

1. Definição do Problema

Na era do NISQ (Noisy Intermediate-Scale Quantum), os algoritmos quânticos variacionais (VQAs), como o VQE (Variational Quantum Eigensolver), dependem fortemente do design de Circuitos Quânticos Parametrizados (PQCs). Embora o Aprendizado por Reforço (RL) tenha emergido como um framework promissor para a Busca de Arquitetura Quântica (QAS) para automatizar o design de PQCs, os métodos existentes sofrem de três limitações primárias:

1. Desacoplamento de Espaços Discretos e Contínuos: As abordagens atuais tipicamente separam o posicionamento de portas discretas (topologia) da otimização de parâmetros contínuos. Elas frequentemente tratam a inicialização de parâmetros como um passo externo e separado, ignorando a interação entre a estrutura do circuito e a inicialização dos parâmetros.
2. Loops de Otimização Ineficientes: No QAS baseado em RL padrão, um otimizador clássico externo é invocado independentemente em cada episódio para refinar os parâmetros. Isso impede o reuso da experiência relacionada aos parâmetros entre episódios e leva a uma otimização ineficiente com contagens excessivas de iterações.
3. Sensibilidade do Otimizador: O desempenho é frequentemente limitado pela sensibilidade dos otimizadores externos à inicialização e a problemas de treinabilidade (ex: platôs estéreis/barren plateaus) em profundidades de circuito maiores.

2. Metodologia: HyRLQAS

Os autores propõem o HyRLQAS (Hybrid-Action Reinforcement Learning for Quantum Architecture Search), um framework unificado que aborda esses problemas ao aprender conjuntamente o posicionamento de portas e a inicialização de parâmetros dentro de um espaço de ação híbrido discreto-contínuo.

2.1. Visão Geral do Framework

O HyRLQAS formula a QAS como um Processo de Decisão de Markov (MDP) onde um agente constrói sequencialmente um circuito quântico.

• Estado ($s_t$): Representa o circuito parcialmente construído, codificado via uma representação baseada em tensores que captura tipos de portas, localizações e valores atuais dos parâmetros.
• Ação ($a_t$): Uma ação híbrida consistindo em:
  • Componente Discreto ($z_t$): Seleciona o tipo (ex: $R_X, R_Y, R_Z$, CNOT) e a localização da porta a ser inserida.
  • Componente Contínuo ($x_t$): Define o ângulo de rotação inicial para a nova porta parametrizada inserida.
• Mecanismo de Refinamento: Crucialmente, quando uma nova porta é adicionada, o agente também prevê um incremento contínuo ($\Delta x_t$) para atualizar os parâmetros de portas colocadas previamente. Isso permite o refinamento dinâmico de toda a parametrização do circuito conforme ele cresce, mantendo a consistência com a topologia em evolução.

2.2. Recompensa e Treinamento

• Sinal de Recompensa: O agente é treinado em um cenário de VQE. Após cada extensão de circuito, um otimizador clássico externo (COBYLA) refina todos os parâmetros para minimizar a energia do estado fundamental molecular. A energia resultante $E_t$ é transformada em um sinal de recompensa.
  • Recompensas terminais são atribuídas com base em se a energia cai abaixo de um limiar dinâmico $\xi$.
  • Recompensas passo a passo fornecem feedback proporcional à melhoria relativa da energia.
• Otimização da Política: O framework utiliza uma política híbrida $\pi(z, x | s) = \pi_d(z|s)\pi_a(x|s)$, otimizada via algoritmo REINFORCE. A rede de política inclui uma cabeça discreta para seleção de portas e cabeças contínuas para inicialização de parâmetros e incrementos de refinamento.
• Aprendizado de Currículo (Curriculum Learning): O limiar $\xi$ é ajustado dinamicamente com base no progresso do agente, permitindo que a dificuldade da tarefa aumente gradualmente.

2.3. Análise Teórica

Os autores analisam a dinâmica de otimização usando o Quantum Neural Tangent Kernel (QNTK) e sua variante dinâmica (dQNTK). Eles hipotetizam que a inicialização guiada pela política melhora o condicionamento do landscape de otimização, facilitando a propagação de gradiente e a convergência em comparação com a inicialização aleatória ou zero.

3. Principais Contribuições

1. Framework de Ação Híbrida Unificado: O HyRLQAS é o primeiro framework de QAS a buscar conjuntamente estruturas de circuito (ações discretas) e inicializações de parâmetros (ações contínuas) sob uma única política, capturando a interação entre topologia e parâmetros.
2. Inicialização e Refinamento Guiados por Política: O método introduz um mecanismo para fornecer inicializações de parâmetros informadas para otimizadores externos e inclui uma "cabeça de refinamento" para ajustar retroativamente os parâmetros de portas existentes. Isso reduz a dependência de otimizadores externos e diminui o número de iterações necessárias.
3. Análise Baseada em QNTK: O artigo fornece uma explicação fundamentada para os ganhos de desempenho observados, demonstrando que a inicialização guiada pela política melhora o condicionamento do kernel e a propagação de gradiente, levando a uma otimização mais estável.
4. Avaliação Abrangente: Experimentos extensos em benchmarks moleculares padrão de VQE (LIH, BeH$_2$, H$_2$O) demonstram que o HyRLQAS supera os baselines de última geração (incluindo CRLQAS, TensorRL e abordagens diferenciáveis) em termos de erro de energia, profundidade de circuito e contagem de portas.

4. Resultados Experimentais

Experimentos foram conduzidos em sistemas moleculares com 4, 6 e 8 qubits (LIH, BeH$_2$, H$_2$O) na base STO-3G.

• Desempenho: O HyRLQAS alcançou convergência de nível de precisão química (erro de energia até $10^{-8}$) no LIH-4, superando significativamente os métodos existentes que tipicamente estagnam na faixa de $10^{-5}$ a $10^{-4}$.
• Eficiência: O método alcançou erros de energia menores usando menos portas e circuitos mais rasos em comparação com os baselines.
• Redução de Otimizador: A inicialização guiada pela política reduziu o número de iterações do COBYLA necessário para a convergência em 33% (LIH-4) e 46% (LIH-6).
• Estudos de Ablação:
  • Remover o espaço de ação híbrida (apenas discreto) degradou significativamente o desempenho, confirmando a importância do aprendizado conjunto.
  • Desativar a cabeça de refinamento levou a uma maior queda de precisão, destacando a necessidade de atualizar os parâmetros existentes conforme o circuito cresce.
  • Remover o otimizador externo causou degradação acentuada, indicando que o HyRLQAS identifica principalmente regiões iniciais de alta qualidade, enquanto o otimizador externo realiza o ajuste fino local necessário.
• Descobertas do QNTK: A análise mostrou que a inicialização guiada pela política com refinamento resulta em uma distribuição mais nítida e concentrada do segundo-ordem QNTK ($K_2$), indicando um landscape de otimização mais suave e melhor condicionado em comparação com a inicialização zero ou aleatória.

5. Significância e Alegações

O artigo afirma que o HyRLQAS fornece um mecanismo principado e eficaz para acoplar o design da topologia do circuito com a parametrização consciente da otimização. Ao tratar a busca de arquitetura como um problema de ação híbrida, o método supera as limitações de abordagens desacopladas.

Os autores enfatizam que os ganhos de desempenho não se devem meramente ao encontro de circuitos mais profundos ou expressivos, mas sim à sinergia entre a busca estrutural e a parametrização informada. A inicialização guiada pela política efetivamente "aquece" o processo de otimização, reduzindo o fardo sobre os otimizadores clássicos e mitigando problemas de treinabilidade.

O trabalho conclui que o aprendizado por reforço de ação híbrida é um caminho viável para automatizar o design de circuitos quânticos variacionais robustos e eficientes para dispositivos NISQ, com trabalhos futuros potencialmente explorando abordagens totalmente end-to-end que poderiam eliminar a necessidade de otimizadores externos inteiramente.