Modeling quantum neural network gradient with reinforcement learning

No campo emergente da computação quântica, cientistas estão tentando construir máquinas que possam resolver problemas muito além do alcance dos supercomputadores de hoje. Uma ferramenta central nesse esforço é a rede neural quântica, um sistema híbrido que combina a estranha física das partículas subatômicas com as capacidades de aprendizado da inteligência artificial. Essas redes são projetadas para encontrar padrões em dados, de forma muito semelhante ao software que reconhece rostos em fotos ou traduz idiomas. No entanto, o treinamento desses sistemas quânticos atingiu um muro obstinado. À medida que os pesquisadores adicionam mais bits quânticos, ou qubits, aos seus circuitos para lidar com problemas mais difíceis, os sinais usados para ensinar a máquina frequentemente desaparecem no nada. Esse fenômeno, conhecido como platô estéril (barren plateau), deixa a rede cega sobre como melhorar, enquanto o puro poder computacional necessário para calcular as atualizações necessárias cresce tanto que se torna impossível de executar no hardware atual.

Para romper essa barreira, uma equipe de pesquisadores desenvolveu uma nova abordagem que contorna a maneira tradicional de ensinar essas máquinas. Em vez de tentar calcular a inclinação matemática exata do caminho de aprendizado através do circuito quântico — um processo que se torna exponencialmente mais difícil e intensivo em memória à medida que o sistema cresce — eles treinaram um programa de computador clássico separado para adivinhar o próximo passo. Este programa, construído usando uma técnica chamada aprendizado por reforço, atua como um treinador experiente. Ele observa o desempenho da rede quântica, notando seus erros atuais e movimentos passados, e então propõe uma atualização direta nas configurações da rede. Os pesquisadores descobriram que este método não apenas evita o problema do sinal evanescente, mas também roda milhares de vezes mais rápido e utiliza uma fração da memória exigida pelas técnicas padrão.

A equipe, liderada por pesquisadores do Vietnã e do Japão, testou seu novo otimizador, que nomearam de RLQ-Grad, em uma variedade de circuitos quânticos simulados variando de apenas dois qubits até vinte qubits. No mundo da computação quântica, vinte qubits é uma escala significativa, representando um sistema grande o suficiente para ser relevante para aplicações do mundo real, mas pequeno o suficiente para ser simulado em computadores clássicos poderosos. Os resultados foram impressionantes. Quando os pesquisadores compararam seu método contra as três formas padrão de calcular atualizações — retropropagação (backpropagation), deslocamento de parâmetros (parameter-shift) e diferenciação adjunta (adjoint differentiation) — o RLQ-Grad manteve um sinal de aprendizado constante e forte, independentemente do tamanho do circuito. Em contraste, os métodos tradicionais viram seus sinais de aprendizado caírem várias ordens de magnitude conforme o número de qubits aumentava, efetivamente fazendo com com o treinamento estagnar.

Os ganhos de eficiência foram igualmente dramáticos. Em um processador de computador padrão, o novo método completou cada etapa de treinamento em menos de um décimo de segundo, mesmo para os maiores circuitos de vinte qubits. O método de retropropagação tradicional, por comparação, levou quase duzentos segundos para a mesma tarefa. Em termos de uso de memória, a diferença foi ainda mais profunda. Enquanto a abordagem de retropropagação padrão exigia mais de seis mil megabytes de memória para lidar com um circuito de vinte qubits, o novo método precisou de menos de dois megabytes. Essa redução na demanda de recursos significa que os pesquisadores poderiam potencialmente treinar esses modelos complexos em equipamentos muito mais modestos, democratizando o acesso à pesquisa de aprendizado de máquina quântica.

Os pesquisadores também examinaram quão bem o sistema realmente aprendeu a classificar dados. Eles testaram o método em quatro conjuntos de dados diferentes, incluindo imagens de dígitos manuscritos e dados médicos relacionados ao câncer de mama. Em todos os casos, o otimizador RLQ-Grad superou os métodos tradicionais baseados em gradiente. Nos conjuntos de dados mais simples, ele melhorou a precisão da rede quântica em até dez por cento. No conjunto de dados de imagens mais complexo, onde os métodos tradicionais começaram a ter dificuldades conforme o circuito crescia, o novo método continuou a melhorar, igualando o desempenho de técnicas especializadas projetadas especificamente para corrigir o problema do platô estéril. Crucialmente, ele alcançou isso sem a enorme carga computacional que essas técnicas especializadas geralmente exigem.

Um dos aspectos mais importantes deste trabalho é o que ele descarta. Os pesquisadores testaram explicitamente se outros tipos de otimização, como algoritmos evolutivos que mimetizam a seleção natural ou métodos livres de gradiente que utilizam tentativa e erro, poderiam resolver o problema. Eles descobriram que essas abordagens alternativas colapsaram para o acaso aleatório quando confrontadas com os mesmos circuitos de vinte qubits, falhando em aprender qualquer coisa útil. Isso sugere que a solução não é simplesmente evitar o cálculo de gradientes, mas sim usar uma política inteligente e aprendida para guiar as atualizações. O estudo também esclarece que, embora este método resolva o problema dos sinais evanescentes e dos altos custos de memória, ele não resolve magicamente todos os problemas no aprendizado quântico. Se o circuito quântico for muito pequeno ou o problema for muito simples, a rede ainda pode ficar presa em soluções ruins, e o método ainda não funciona em hardware quântico real, que está sujeito a ruídos e erros.

A equipe provou matematicamente que sua abordagem funciona porque o programa "treinador" opera inteiramente em computadores clássicos, separadamente do circuito quântico. Como este treinador não precisa diferenciar através das complexas equações quânticas, ele não está sujeito à mesma decadência exponencial que assola os métodos tradicionais. Os pesquisadores verificaram isso mostrando que a variância do sinal de aprendizado permaneceu plana e estável conforme adicionavam mais qubits, enquanto o sinal para outros métodos decaiu rapidamente. Essa vantagem estrutural permite que o método escale de forma eficiente, crescendo apenas linearmente com o número de parâmetros, em vez de exponencialmente com o tamanho do sistema quântico.

Embora o estudo tenha sido conduzido inteiramente em simulações, as implicações para o futuro da computação quântica são significativas. Ao reduzir o custo computacional do treinamento por fatores de milhares, este método pode permitir que cientistas explorem redes neurais quânticas muito maiores e mais complexas do que o anteriormente considerado possível. Ele oferece um novo caminho à frente para um campo que tem lutado com as limitações práticas de treinamento desses sistemas. Os pesquisadores observam que o próximo passo será testar esta abordagem em hardware quântico real e ver se as políticas aprendidas podem ser transferidas entre diferentes tipos de problemas, potencialmente criando uma ferramenta universal para treinar as máquinas quânticas de amanhã. Por ora, o trabalho permanece como uma demonstração de que, ao mudar a forma como ensinamos essas máquinas, podemos superar os penhascos íngremes que bloquearam seu progresso.