Towards Real-time Control of a CartPole System on a Quantum Computer

Este artigo apresenta uma investigação de ponta a ponta de um agente híbrido quântico-clássico mínimo controlando um sistema CartPole em um processador quântico supercondutor físico, demonstrando que um modelo de um único qubit supera contrapartes clássicas enquanto identifica compensações críticas entre orçamentos de disparos e frequências de controle e alcança feedback de baixa latência programando diretamente a eletrônica de leitura.

O essencial

Imagine que você está tentando ensinar um robô a equilibrar uma vassoura na sua mão. Este é um desafio clássico na robótica chamado "CartPole". Geralmente, ensinamos robôs usando computadores clássicos (do tipo que está no seu laptop). Mas e se tentássemos ensiná-lo usando um computador quântico?

Este artigo é um boletim de notas sobre esse experimento. Os pesquisadores fizeram três grandes perguntas:

1. Um computador quântico minúsculo consegue aprender a equilibrar a vassoura mais rápido do que um computador normal?
2. O robô fica confuso se o treinarmos em uma velocidade, mas pedirmos que ele trabalhe em uma velocidade diferente?
3. Conseguimos tornar o computador quântico rápido o suficiente para controlar o robô em tempo real, ou ele é muito lento?

Aqui está a análise detalhada de suas descobertas, usando analogias simples.

1. O "Cérebro Minúsculo" vs. O "Cérebro Grande"

O Cenário:
Os pesquisadores construíram um "cérebro" de robô híbrido. É majoritariamente um computador normal, mas possui uma parte quântica minúscula (um único "qubit", que é como uma moeda quântica que pode ser cara, coroa ou ambas ao mesmo tempo). Eles compararam isso a um "cérebro grande" feito inteiramente de componentes de computador padrão (uma rede neural profunda).

O Resultado:
O cérebro quântico minúsculo foi um demônio da velocidade.

• A Analogia: Imagine dois alunos fazendo uma prova. O aluno do "Cérebro Grande" precisa ler o livro didático 430 vezes antes de tirar um A. O aluno do "Cérebro Quântico Minúsculo" precisa lê-lo apenas 160 vezes para tirar o mesmo A.
• O Pulo do Gato: Esse aumento de velocidade aconteceu mesmo quando o cérebro quântico precisava chutar suas respostas, virando a moeda muitas vezes (um método chamado "parameter-shift"), em vez de saber a resposta perfeitamente. Isso provou que até mesmo um modelo quântico muito pequeno pode ser surpreendentemente eficiente no aprendizado.

2. O Problema do "Bosso" (Treinamento vs. Condução)

O Cenário:
No mundo real, um robô precisa tomar decisões muito rapidamente (como 50 vezes por segundo). No entanto, computadores quânticos são ruidosos e lentos. Para obter uma resposta clara da moeda quântica, muitas vezes você precisa virá-la muitas vezes (chamado de "shots").

• O Trade-off: Se você virar a moeda poucas vezes demais, a resposta é ruidosa (como tentar ouvir um sussurro em uma tempestade). Se você virá-la muitas vezes demais, leva muito tempo, e o robô cai antes de poder reagir.

O Experimento:
Os pesquisadores treinaram o robô em diferentes velocidades e depois o testaram em diferentes velocidades para ver se ele ficaria confuso. Eles criaram um enorme "mapa de calor" (como um mapa meteorológico) mostrando o quão bem o robô equilibrava sob diferentes condições.

O Resultado:

• A Velocidade de "Inferência" Importa Mais: Não importava quão rápido o robô foi treinado. O que importava era quão rápido ele estava dirigindo (inferência). Se o robô fosse permitido tomar decisões rapidamente (alta frequência), ele equilibrava bem. Se fosse forçado a dirigir lentamente, ele caía.
• Mais Viradas = Mais Estabilidade: Se o robô tivesse que dirigir lentamente, eles podiam corrigir isso dando a ele mais "shots" (virando a moeda mais vezes para obter uma resposta clara).
• O Ponto Ideal: Você precisa encontrar um equilíbrio. Você precisa que o robô dirija rápido e tenha tempo suficiente para obter uma resposta quântica clara. O artigo fornece um mapa para ajudar os engenheiros a encontrar esse equilíbrio perfeito para robôs futuros.

3. O "Engarrafamento" vs. A "Estrada Principal" (Latência)

O Cenário:
Esta é a parte mais crítica. Mesmo que o computador quântico aprenda bem, é inútil se for muito lento para reagir em tempo real.

• O Problema: Normalmente, quando você usa um computador quântico na nuvem, precisa enviar sua solicitação através de muita "burocracia" (camadas de software, compiladores, atrasos de internet). É como tentar dirigir um carro de corrida por uma cidade com placas de pare, semáforos e zonas de construção.
• O Jeito Antigo: Usando o software padrão, o robô só podia tomar uma decisão cerca de 0,14 vezes por segundo. Ele estava essencialmente dormindo.

A Descoberta:
Os pesquisadores decidiram contornar a "burocracia". Eles programaram o hardware do computador quântico diretamente, como um piloto de carro de corrida pegando um atalho por uma estrada particular.

• O Resultado: Ao eliminar os intermediários, eles aceleraram o robô em 40 vezes. O robô agora podia tomar decisões 6,2 vezes por segundo.
• O Limite: Embora 6,2 vezes por segundo seja uma enorme melhoria, ainda não é rápido o suficiente para uma vassoura que precisa ser equilibrada 50 vezes por segundo. No entanto, isso prova que o "engarrafamento" era o principal problema, e não a física quântica em si.

A Conclusão

Este artigo é uma "prova de conceito" que diz:

1. Sim, um cérebro quântico minúsculo pode aprender uma tarefa de equilíbrio mais rápido do que um cérebro clássico grande.
2. Sim, podemos mapear exatamente quão rápido e quão preciso o computador quântico precisa ser para manter o robô de cair.
3. Sim, podemos tornar os computadores quânticos rápidos o suficiente para serem úteis no controle, mas apenas se pararmos de usar o software lento e padrão e falarmos diretamente com o hardware.

Os pesquisadores ainda não construíram um carro autônomo ou um robô médico. Eles apenas provaram que o motor (o aprendizado quântico) funciona, e descobriram como remover os engarrafamentos (latência) para que ele possa eventualmente dirigir mais rápido.

Resumo técnico

Resumo Técnico: Rumo ao Controle em Tempo Real de um Sistema CartPole em um Computador Quântico

Declaração do Problema
A aplicação de Aprendizado por Reforço Quântico (QRL) a sistemas de controle em tempo real enfrenta obstáculos significativos relacionados à latência de hardware, suscetibilidade a ruídos e convergência de aprendizado. Embora a pesquisa teórica em Aprendizado de Máquina Quântico (QML) sugira vantagens potenciais em eficiência de amostragem e representação de alta dimensão, a implantação prática em dispositivos Quânticos de Escala Intermediária Ruidosa (NISQ) permanece limitada. Estudos existentes frequentemente dependem de simulações idealizadas ou falham em abordar os gargalos críticos de latência da execução quântica baseada em nuvem padrão, o que os torna inadequados para tarefas de controle em malha fechada sensíveis à latência. O desafio específico abordado neste trabalho é a lacuna entre avaliações apenas em simulação e a execução de um agente híbrido quântico-clássico em uma Unidade de Processamento Quântico (QPU) supercondutora física sob restrições de tempo real.

Metodologia
Os autores apresentam uma investigação de ponta a ponta de um agente híbrido quântico-clássico mínimo aplicado ao benchmark CartPole.

• Ambiente e Codificação de Estado: A tarefa envolve estabilizar um pêndulo invertido sobre um carrinho. O agente utiliza um vetor de características reduzido de três dimensões (velocidade do carrinho, ângulo do pêndulo, velocidade angular do pêndulo) em vez do estado completo de quatro dimensões, motivado pelas restrições de uma arquitetura de qubit único.
• Arquitetura do Agente:
  • Modelo Híbrido: O agente emprega um circuito quântico variacional (VQC) de qubit único conectado a camadas totalmente conectadas clássicas. O VQC utiliza uma porta Hadamard seguida por uma sequência de três rotações ($R_z-R_y-R_z$) para codificar o estado na esfera de Bloch, e uma rotação $R_x$ treinável. O valor esperado de uma medição de Pauli-Z é alimentado em redes clássicas de ator e crítico (cada uma com 32 neurônios ocultos).
  • Linha de Base Clássica: Uma rede clássica de ator-crítico totalmente clássica com estruturas de camadas ocultas idênticas (128 e 256 unidades) serve como linha de base.
  • Treinamento: Ambos os modelos utilizam o método Ator-Crítico com Gradientes de Política. O agente híbrido é treinado usando a regra de deslocamento de parâmetros para estimativa de gradiente em backends baseados em disparos (shots), bem como gradientes analíticos para comparação.
• Categorias Experimentais:
  1. Benchmark sem Ruído: Comparação das taxas de convergência entre agentes clássicos e híbridos usando o Qiskit BasicSimulator.
  2. Compatibilidade Treinamento-Inferência: Um estudo sistemático mapeando o trade-off entre a taxa do loop de controle (frequência de inferência) e o orçamento de disparos de medição. Agentes treinados em várias frequências (20–100 Hz) foram avaliados em diferentes frequências de inferência e contagens de disparos (128–1024) em um backend que emula ruído (FakeAdonis).
  3. Execução de Hardware de Baixa Latência: Implantação de uma política treinada no VTT Q5 (uma QPU supercondutora de 5 qubits). Crucialmente, os autores contornaram a pilha de software Qiskit/IQM de alto nível padrão. Em vez disso, programaram diretamente a eletrônica de leitura da Zurich Instruments (HDAWG e UHFQA) via tabelas de comando (CT), eliminando a sobrecarga de recompilação de código e upload de formas de onda para cada alteração de parâmetro.

Principais Contribuições

1. Eficiência de Amostragem de Agentes Híbridos Mínimos: O estudo demonstra que um agente híbrido de qubit único pode resolver o ambiente CartPole em substancialmente menos episódios (aproximadamente 162 episódios) do que uma rede ator-crítica clássica comparável (aproximadamente 429 episódios), mesmo quando treinado usando a regra de deslocamento de parâmetros com avaliações de disparos finitos.
2. Análise de Trade-off no Tempo de Inferência: Os autores fornecem matrizes de desempenho quantificando a relação entre a frequência de controle de inferência e a contagem de disparos. Os resultados indicam que frequências de inferência mais altas melhoram consistentemente a estabilidade do equilíbrio. Além disso, aumentar o orçamento de disparos reduz a frequência de inferência mínima necessária para alcançar um equilíbrio quase máximo, destacando a necessidade de encontrar um meio-termo ótimo entre essas duas restrições.
3. Redução de Latência via Controle de Baixo Nível: Ao contornar a pilha de software padrão e utilizar programação direta de tabelas de comando na eletrônica de controle, os autores alcançaram uma melhoria de uma ordem de magnitude na velocidade de execução. No processador VTT Q5, a taxa de iteração aumentou de ~0,14 Hz (pilha padrão) para mais de 6,2 Hz (caminho de baixo nível) para 128 disparos, representando um aumento de velocidade superior a 40 vezes.

Resultados

• Dinâmica de Aprendizado: Em simulações sem ruído, o agente híbrido convergiu significativamente mais rápido do que a linha de base clássica. O uso de gradientes de deslocamento de parâmetros resultou em uma convergência ligeiramente mais lenta do que os gradientes analíticos, mas manteve uma vantagem clara sobre o modelo clássico.
• Restrições de Implantação: O estudo de compatibilidade revelou que as restrições de tempo de inferência (frequência e contagem de disparos) são os determinantes primários da estabilidade, e não a frequência de treinamento. Uma incompatibilidade entre frequências de treinamento e inferência teve um efeito secundário em comparação com a contagem de disparos e a frequência de inferência.
• Desempenho de Hardware: No VTT Q5, o caminho de execução de baixo nível permitiu taxas de iteração de 6,23 Hz (128 disparos) até 2,71 Hz (1024 disparos). Embora as pontuações absolutas de episódio no hardware tenham sido conservadoras devido à falta de mitigação de erros de leitura e condições de inferência não ideais, o sistema demonstrou com sucesso o controle em malha fechada. Os resultados mostraram que, com um orçamento de disparos suficiente (por exemplo, 1024 disparos), o sistema poderia alcançar pontuações de equilíbrio quase perfeitas (500) apesar do ruído do hardware.

Significado e Alegações
O artigo afirma fornecer um passo fundamental rumo à obtenção de feedback de controle em malha fechada em tempo real em hardware quântico. Não alega uma aceleração quântica teórica no sentido da teoria da complexidade, dada a natureza de baixa dimensão do CartPole. Em vez disso, o significado reside em:

• Quantificação de Limites: O trabalho quantifica as fronteiras atuais do controle assistido por quântica, especificamente os trade-offs entre contagem de disparos, frequência de controle e latência.
• Roteiro Prático: Traça um caminho prático para demonstrações em tempo real, demonstrando que contornar pilhas de software padrão é necessário para alcançar a taxa de transferência de dezenas de hertz exigida para feedback em tempo real.
• Viabilidade de Modelos Mínimos: Valida que modelos mínimos de qubit único podem atuar como agentes de aprendizado eficazes em loops de RL quando acoplados a codificação apropriada e pós-processamento clássico leve, mesmo sob restrições realistas de ruído e disparos finitos.

Os autores concluem que, embora as taxas de iteração de hardware NISQ atuais (multi-hertz) ainda não tenham atingido plenamente o regime de dezenas de hertz necessário para controle robusto em tempo real, o pipeline de baixa latência demonstrado fornece um início viável para alcançar tal throughput em iterações futuras.