Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits

Resumo Técnico: Aprendizado por Reforço Hierárquico Quântico via Circuitos Quânticos Variacionais

Enunciado do Problema
O aprendizado por reforço (RL) enfrenta desafios significativos em tarefas de longo horizonte e em ambientes com recompensas esparsas. O Aprendizado por Reforço Hierárquico (HRL), especificamente a arquitetura crítico-de-opções, aborda essas questões por meio da abstração temporal, permitindo que agentes aprendam cursos de ação ("opções") que abrangem múltiplas escalas de tempo. Embora os Circuitos Quânticos Variacionais (VQCs) tenham demonstrado promessa no RL não hierárquico, oferecendo eficiência de parâmetros e desempenho competitivo, permanece uma questão em aberto se essas vantagens quânticas se traduzem para a tomada de decisão estruturada e multinível exigida pelo HRL. Este trabalho investiga a viabilidade e a eficácia da integração de VQCs em um framework híbrido quântico-clássico de crítico-de-opções.

Metodologia
Os autores propõem um agente híbrido baseado na arquitetura crítico-de-opções, onde componentes clássicos de redes neurais são substituídos seletivamente por VQCs. O framework consiste em quatro componentes principais aprendíveis:

1. Extrator de Características: Processa observações brutas do ambiente.
2. Função Valor de Opção ($Q_\Omega$): Estima o retorno esperado da execução de uma opção específica.
3. Função de Término ($\beta_\omega$): Determina quando uma opção deve terminar.
4. Políticas Intra-Opção ($\pi_\omega$): Seleciona ações dentro de uma opção ativa.

Os autores definem oito variantes híbridas substituindo esses componentes por VQCs individualmente ou em combinação (por exemplo, o Híbrido F substitui apenas o extrator de características; o Híbrido FOTP substitui todos). A arquitetura do VQC emprega uma estrutura de reenvio de dados, utilizando portas de codificação $Rx$ com parâmetros de escala treináveis ($\lambda$), portas $CNOT$ para emaranhamento e blocos de rotação parametrizados $Ry$/$Rz$. As entradas são normalizadas para $[-\pi, \pi]$ para servir como ângulos de rotação. O algoritmo de treinamento segue uma abordagem de crítico-de-opções no estilo DQN (Algoritmo 1), utilizando um buffer de replay, redes-alvo e uma função de perda unificada que combina perdas de política, término e crítico.

Os experimentos foram conduzidos em dois ambientes padrão de estado contínuo e ação discreta do Gymnasium: CartPole e Acrobot. Os modelos híbridos foram comparados com baselines clássicas (estilo Deep Q-Network) e uma baseline aleatória.

Principais Contribuições

1. Eficácia do Extrator de Características Quântico: O estudo demonstra que um agente híbrido utilizando um VQC exclusivamente para o extrator de características (Híbrido F) supera as baselines clássicas enquanto reduz significativamente o número de parâmetros treináveis.
2. Identificação de um Gargalo Crítico: Os autores identificam que substituir a função valor de opção por um VQC (Híbrido O) causa degradação severa de desempenho, efetivamente levando à falha no aprendizado.
3. Ablação Arquitetural: O artigo fornece evidências empíricas sobre como escolhas específicas de design do VQC — profundidade do circuito, escala de entrada aprendível e emaranhamento — impactam a eficácia de agentes hierárquicos híbridos.

Resultados Experimentais

• Ganhos de Desempenho: No ambiente CartPole, o modelo Híbrido F alcançou uma recompensa episódica média 2,95 vezes maior que a baseline clássica. No Acrobot, reduziu a penalidade em 46% em comparação com a baseline clássica.
• Eficiência de Parâmetros: O modelo Híbrido F alcançou esses resultados com 66% menos parâmetros treináveis no CartPole e 52% menos no Acrobot em comparação com uma baseline clássica com 24 neurônios ocultos. Foi necessário apenas um modelo clássico com 32 neurônios ocultos (capacidade significativamente maior) para superar seu desempenho.
• O Gargalo da Função Valor de Opção: Modelos onde a função valor de opção foi substituída por um VQC (Híbrido O, e consequentemente o Híbrido FOTP totalmente quântico) falharam em aprender, performando não melhor que um agente aleatório. A análise revelou que o crítico quântico produziu curvas de perda planas e entropia de política próxima ao máximo teórico, indicando uma falha em fornecer sinais de aprendizado úteis. Os autores observam que os "platôs áridos" (barren plateaus) são improváveis como causa, dada a profundidade rasa do circuito utilizada.
• Descobertas de Ablação:
  • Profundidade: Aumentar a profundidade do circuito além de um certo ponto não melhorou consistentemente o desempenho, mas reduzi-lo degradou os resultados.
  • Escala: Treinar os parâmetros de escala de entrada ($\lambda$) foi crucial; fixá-los em 1 prejudicou significativamente o desempenho.
  • Emaranhamento: Remover as portas de emaranhamento $CNOT$ degradou o desempenho em ambos os ambientes, confirmando a utilidade do emaranhamento de múltiplos qubits.

Significado e Afirmações
O artigo estabelece princípios de design para agentes hierárquicos híbridos eficientes em parâmetros. O significado principal reside na identificação da colocação específica de circuitos quânticos dentro da hierarquia do HRL: circuitos quânticos são benéficos como extratores de características, mas prejudiciais quando usados para estimativa de valor de opção na arquitetura atual. Os autores afirmam que seu trabalho aproxima a "vantagem quântica prática em RL da realização em dispositivos quânticos de curto prazo", demonstrando que componentes quânticos podem aprimorar a dinâmica de aprendizado com menos parâmetros, desde que colocados na posição arquitetural correta.

Os autores permanecem modestos quanto ao escopo, reconhecendo que suas descobertas são limitadas a ambientes de benchmark específicos e que a causa raiz precisa do gargalo da função valor de opção permanece uma questão em aberto. Eles também observam que as simulações atuais não levam em conta o ruído de hardware, o que é um fator para investigação futura.