Rethinking Expressibility-Trainability Trade-off in Hybrid Quantum Neural Networks

Resumo Técnico: Repensando o Trade-off entre Expressibilidade e Treinabilidade em Redes Neurais Quânticas Híbridas

Declaração do Problema
Algoritmos Quânticos Variacionais (AQVs) dependem de Circuitos Quânticos Parametrizados (CQPs), cujo desempenho é tradicionalmente caracterizado por duas propriedades: expressibilidade (a capacidade de representar estados quânticos complexos) e treinabilidade (a facilidade de otimizar parâmetros por meio de métodos baseados em gradiente). Em CQPs autônomos, existe um trade-off amplamente aceito: circuitos altamente expressivos (que se aproximam de 2-designs unitários) frequentemente sofrem de "platôs estéreis", onde os gradientes desaparecem exponencialmente com o tamanho do sistema, tornando a otimização intratável.

No entanto, Redes Neurais Quânticas Híbridas (RNQHs) integram CQPs dentro de redes neurais clássicas, incorporando-os entre camadas de extração de características clássicas e camadas de pós-processamento. A questão central abordada neste trabalho é se o trade-off entre expressibilidade e treinabilidade observado em CQPs isolados persiste nesses cenários híbridos. Os autores observam que a literatura existente frequentemente assume que propriedades de circuitos autônomos se transferem diretamente para modelos híbridos, deixando a validade desse trade-off em RNQHs inexplorada. Se o trade-off não se mantiver, heurísticas tradicionais de design para CQPs podem ser pouco confiáveis para RNQHs, necessitando de novos princípios de design.

Metodologia
O estudo emprega uma metodologia em duas etapas para analisar sistematicamente a relação entre expressibilidade e treinabilidade em RNQHs:

1. Etapa I: Análise Empírica do Trade-off

   • Configuração Experimental: Os autores construíram um espaço de design de CQP flexível, variando o número de qubits ($n \in \{8, 10, 12\}$), profundidades do circuito ($L \in \{5, 10, 15, 50\}$) e sete topologias de emaranhamento.
   • Configurações de Treinamento: Cada arquitetura foi avaliada sob três configurações distintas:
     • CQP Puro: Treinamento autônomo sem camadas clássicas.
     • Híbrido (Apenas Quântico): O CQP é incorporado em um modelo híbrido, mas apenas os parâmetros quânticos são atualizados (as camadas clássicas são fixas).
     • Híbrido (Completo): Treinamento ponta a ponta onde tanto os parâmetros clássicos quanto os quânticos são otimizados conjuntamente.
   • Métricas:
     • Expressibilidade ($E$): Medida via divergência de Kullback–Leibler (KL) entre a distribuição de probabilidade de saída do circuito e uma distribuição uniforme (valores mais baixos indicam maior expressibilidade).
     • Treinabilidade ($T$): Quantificada como $-\log_{10}(\text{Var}[\nabla C])$, onde $C$ é a função de custo. Valores mais baixos indicam melhor treinabilidade (maior variância do gradiente). Duas definições foram utilizadas: gradientes em relação apenas aos parâmetros quânticos ($\theta$) e gradientes em relação a todos os parâmetros ($\omega = \{\theta, \phi\}$).
   • Dados: Um conjunto de dados sintético de classificação binária foi utilizado para garantir uma distribuição de entrada controlada para a avaliação de gradientes.

2. Etapa II: Busca de Arquitetura Neural Multi-Objetivo (NAS)

   • Motivados pela falta de princípios de design consistentes na Etapa I, os autores formularam o design de RNQH como um problema de otimização multi-objetivo.
   • Espaço de Busca: Um espaço combinado clássico-quântico incluindo camadas convolucionais clássicas (canais, tamanho do kernel, ativação) e parâmetros de CQP (qubits, profundidade, portas, topologia).
   • Algoritmo: O algoritmo genético NSGA-II foi utilizado para encontrar arquiteturas Pareto-ótimas equilibrando três objetivos: maximizar a precisão de validação, minimizar a expressibilidade (divergência KL) e minimizar a treinabilidade (variância do gradiente).
   • Tarefa: Uma tarefa de classificação de imagens multiclasse utilizando um subconjunto do conjunto de dados MNIST.

Principais Contribuições

• Análise Sistêmica: O artigo fornece a primeira análise sistemática da relação entre expressibilidade e treinabilidade em RNQHs através de profundidades variadas, contagens de qubits e topologias sob diferentes configurações de treinamento.
• Desacoplamento do Trade-off: Os autores demonstram que, embora um trade-off fraco e dependente do regime exista em CQPs puros, essa relação é significativamente perturbada em arquiteturas híbridas. Sob treinamento híbrido completo ponta a ponta, o trade-off é efetivamente eliminado.
• Papel dos Componentes Clássicos: O estudo revela que componentes clássicos remodelam a paisagem de otimização, desacoplando a treinabilidade da camada quântica de sua expressibilidade intrínseca. Isso ocorre mesmo quando as camadas clássicas estão congeladas (treinamento Apenas Quântico), pois elas transformam a representação de entrada e a função de custo.
• Framework NAS: Os autores propõem um framework NAS multi-objetivo que otimiza conjuntamente expressibilidade, treinabilidade e desempenho da tarefa sobre um espaço de design combinado, revelando que diferentes definições de treinabilidade produzem soluções Pareto-ótimas distintas.

Resultados

• Achados da Etapa I:
  • Em configurações de CQP Puro, um trade-off fraco e dependente do regime foi observado, onde alta expressibilidade às vezes correlacionava-se com baixa treinabilidade, embora a tendência fosse não monotônica e dependente da tarefa.
  • Em configurações Híbridas (Apenas Quântico), o trade-off enfraqueceu ainda mais. Camadas de pré-processamento clássico mitigaram a concentração de gradientes, permitindo que mais arquiteturas permanecessem treináveis apesar da alta expressibilidade.
  • Em configurações Híbridas (Completo), o trade-off foi completamente eliminado. Todas as configurações exibiram treinabilidade estável, independentemente da expressibilidade subjacente do CQP. A adaptação conjunta das camadas clássicas e quânticas atuou como um mecanismo de pré-condicionamento implícito, prevenindo platôs estéreis.
• Achados da Etapa II:
  • Os resultados do NAS mostraram que nenhum objetivo único (expressibilidade ou treinabilidade) domina o desempenho. Alta precisão foi alcançada em uma ampla gama de valores de expressibilidade e treinabilidade.
  • Arquiteturas Pareto-ótimas exigiram o equilíbrio de objetivos concorrentes. Circuitos altamente expressivos não produziram consistentemente melhor precisão, e modelos ótimos abrangeram configurações diversas de profundidade, contagem de qubits e emaranhamento.
  • Diferentes definições de treinabilidade (modelo completo vs. apenas quântico) resultaram em frentes Pareto diferentes, destacando que a escolha da métrica de otimização altera fundamentalmente a paisagem de design percebida.

Significado e Afirmações
O artigo conclui que o trade-off entre expressibilidade e treinabilidade, uma pedra angular do design de CQP autônomo, não é um princípio de design confiável para Redes Neurais Quânticas Híbridas. Os autores afirmam que a hibridização não é meramente um detalhe de implementação, mas um fator definidor no desempenho do modelo. Componentes clássicos remodelam fundamentalmente a paisagem de otimização, desacoplando a treinabilidade da camada quântica de sua expressibilidade intrínseca.

Consequentemente, o artigo argumenta que o design de RNQH não pode depender de heurísticas derivadas de circuitos quânticos isolados. Em vez disso, um design eficaz requer abordagens sistemáticas e automatizadas, como NAS multi-objetivo, que levem em conta as interações complexas entre componentes clássicos e quânticos. O trabalho desafia suposições de design centradas em CQP e estabelece que o desempenho de RNQH é inerentemente multi-objetivo e moldado pelo sistema clássico-quântico conjunto.