Q-SpiRL: Quantum Spiking Reinforcement Learning for Adaptive Robot Navigation

Resumo Técnico: Q-SpiRL: Aprendizado por Reforço com Spiking Quântico para Navegação Adaptativa de Robôs

Declaração do Problema
A navegação autônoma de robôs em ambientes dinâmicos exige políticas que não apenas sejam confiáveis na chegada aos alvos, mas também eficientes e estáveis em suas trajetórias. Embora o Aprendizado por Reforço (RL) ofereça um quadro para aprender tais políticas, o Q-learning tabular convencional luta para escalar com grandes espaços de estado-ação, e os métodos de RL profundo frequentemente demandam recursos computacionais excessivos e dados de treinamento, tornando-os inadequados para plataformas embarcadas com recursos limitados. Além disso, as abordagens existentes de aprendizado de máquina quântico (QML) para navegação focaram amplamente em modelos híbridos densos ou em planejamento de caminho baseado em otimização, deixando uma lacuna na compreensão de se circuitos quânticos variacionais podem aprimorar agentes de RL com spiking, que são inerentemente adequados para computação de baixo consumo e orientada por eventos.

Metodologia
O artigo propõe o Q-SpiRL, um quadro unificado para navegação de robôs consciente de obstáculos que compara cinco famílias distintas de agentes sob um pipeline experimental controlado:

1. Q-Learning Tabular: Uma linha de base não neural.
2. MLP Clássico: Uma rede neural densa padrão.
3. SNN Clássico: Uma Rede Neural com Spiking usando neurônios Leaky Integrate-and-Fire (LIF).
4. MLP Aprimorado por Quântica (QMLP): Uma rede densa com um circuito quântico variacional (VQC) inserido entre camadas clássicas.
5. SNN Aprimorado por Quântica (QSNN): A arquitetura central, que integra um VQC em um pipeline de spiking.

Detalhes Arquiteturais Chave:

• Ambiente: Os experimentos utilizam mundos em grade 2D (20×20, 30×30, 40×40) com obstáculos estáticos e dinâmicos. O agente observa um vetor de estado discreto compacto compreendendo a região angular do obstáculo mais próximo, a região angular do alvo, o ângulo relativo entre alvo e obstáculo e a direção de movimento dos obstáculos dinâmicos.
• Pipeline QSNN: O QSNN primeiro codifica o estado discreto em uma sequência temporal baseada em spikes usando um codificador Poisson baseado em frequência. Esses spikes são processados por camadas de spiking pré-quânticas. As saídas são agregadas ao longo do tempo para formar uma representação contínua de taxa de disparo, que é então alimentada em um circuito quântico parametrizado de 8 qubits. O circuito produz valores esperados de Pauli-Z, que são processados por camadas clássicas pós-quânticas para estimar valores de ação (valores Q).
• Protocolo de Avaliação: Para garantir uma comparação justa entre todas as arquiteturas, cada política treinada é convertida em uma tabela Q explícita sobre o espaço de estados discretos completo. A inferência é realizada deterministicamente usando seleção de ação gulosa a partir desta tabela, eliminando efeitos estocásticos durante a implantação.
• Métricas: O desempenho é avaliado por Taxa de Sucesso (SR), Comprimento de Camada Ponderado por Sucesso (SPL), Comprimento de Camada (PL) e Taxa de Virada (TR).

Contribuições Principais

1. Introdução do Quadro: Os autores introduzem o Q-SpiRL, um quadro que unifica agentes tabulares, neuroniais clássicos, com spiking e aprimorados por quântica para um estudo controlado de arquiteturas de políticas em navegação.
2. Design do QSNN: O artigo projeta o QSNN como a contribuição principal, integrando uma camada quântica variacional especificamente para transformar representações de taxa de disparo derivadas de spikes antes da estimativa de valor de ação, em vez de aplicar processamento quântico a estados brutos.
3. Comparação Abrangente: O estudo implementa e compara cinco famílias distintas de agentes, permitindo uma análise direta das compensações entre abordagens densas, com spiking e aprimoradas por quântica.
4. Avaliação Determinística: Os autores estabelecem um protocolo convertendo todas as políticas em tabelas Q explícitas, permitindo uma comparação justa e determinística das capacidades de inferência entre diferentes tipos de modelo.
5. Viabilidade de Hardware: O trabalho inclui uma execução da política QSNN em hardware quântico IBM (ibm_fez), demonstrando a viabilidade da abordagem híbrida sob condições de dispositivo real.

Resultados Experimentais
Os experimentos foram conduzidos em três tamanhos de grade com complexidade crescente de obstáculos.

• Desempenho Geral: O QSNN consistentemente alcançou o melhor compromisso global entre conclusão da tarefa, eficiência de trajetória e suavidade de movimento.
• Escalabilidade: À medida que o tamanho do ambiente aumentava (até 40×40), arquiteturas com spiking (SNN e QSNN) permaneceram mais robustas do que modelos baseados em MLP densos. A taxa de sucesso do MLP clássico caiu significativamente (para 77% na configuração 40×40), enquanto o QSNN manteve uma taxa de sucesso de 99%.
• Aprimoramento Quântico: No ambiente 40×40, o QSNN superou seu homólogo SNN clássico em todas as métricas (99% de SR vs. 98%, SPL mais alto, comprimento de caminho mais curto e taxa de virada mais baixa). Da mesma forma, o QMLP superou o MLP clássico em confiabilidade, embora os ganhos fossem menos uniformes do que no domínio com spiking.
• Limitações da Linha de Base: Embora a linha de base Q-learning tabular tenha alcançado altas taxas de sucesso (até 99%), ela consistentemente produziu trajetórias mais longas e mais oscilatórias (taxas de virada mais altas e SPL mais baixo), indicando que a taxa de sucesso sozinha é insuficiente para caracterizar a qualidade da navegação.
• Execução em Hardware: Um único episódio executado em hardware quântico IBM alcançou uma taxa de sucesso de 100% com um SPL de 0,8189. Embora o caminho fosse menos eficiente e mais oscilatório do que os resultados de simulação (atribuído ao ruído de disparo e limitações de hardware), ele alcançou com sucesso o objetivo, validando a viabilidade da abordagem.

Significado e Alegações
O artigo alega que o QSNN oferece o equilíbrio mais favorável de confiabilidade, eficiência e suavidade para navegação adaptativa de robôs. Os autores postulam que o processamento temporal baseado em spikes fornece uma interface mais eficaz para aprendizado de políticas aprimorado por quântica do que representações densas, pois a camada quântica produz ganhos consistentes no domínio com spiking, mas resultados menos uniformes em redes densas.

O trabalho destaca que, embora modelos aprimorados por quântica possam melhorar a qualidade da decisão e a regularidade do movimento, a integração de circuitos quânticos variacionais com dinâmicas de spiking é particularmente eficaz para lidar com obstáculos dinâmicos e espaços de estado complexos. A execução bem-sucedida em hardware quântico real serve como uma prova de conceito inicial para implantar políticas híbridas quântico-com-spiking, apesar das limitações atuais em ruído e latência. Os autores concluem que trabalhos futuros devem focar em representações de estado mais ricas e designs de circuitos resilientes ao ruído para aproveitar ainda mais os processadores quânticos de curto prazo.