Quantum Optical Reinforcement Learning via Spectrum-Resolved Hong-Ou-Mandel Interference

Resumo Técnico: Aprendizado por Reforço Óptico Quântico via Interferência de Hong-Ou-Mandel com Resolução Espectral

Definição do Problema
Plataformas ópticas quânticas oferecem capacidades de processamento de informação de alta dimensão através de graus de liberdade espectrais e temporais contínuos. Desenvolvimentos recentes em redes neurais ópticas de Hong-Ou-Mandel (HOM) demonstraram aprendizado via estimativa de coincidência, evitando a necessidade de reconstrução de imagem. No entanto, as leituras HOM padrão integram todas as frequências detectadas em uma única probabilidade de coincidência ou visibilidade escalar. Embora eficaz para discriminação binária e tarefas de baixa dimensão, essa compressão escalar descarta a rica informação espectral carregada pelos modos que interferem. Essa limitação restringe a capacidade de representação e dificulta a aplicação de redes neurais ópticas quânticas em configurações complexas que exigem saídas estruturadas, como o aprendizado por reforço (RL) com espaços de ação contínuos. Em tais configurações, métodos de ator-crítico exigem aproximadores de função capazes de mapear observações para ações contínuas e valores de estado-ação, algo que uma saída escalar única não pode fornecer.

Metodologia
Para abordar essas limitações, os autores introduzem uma arquitetura SR-HOM (Spectrum-Resolved HOM) que eleva os graus de liberdade espectrais dos fótons a um recurso computacional treinável. A inovação central substitui a integração escalar da detecção HOM padrão pela detecção de coincidência com resolução de frequência, gerando um tensor de interferência estruturado em vez de um único escalar.

• Módulo SR-HOM: O sistema codifica o estado do ambiente no modo espectral de um único fóton, que interfere com um fóton de prova treinável em um divisor de feixe equilibrado. Em vez de integrar sobre todas as frequências, a saída é medida como uma densidade de coincidência com resolução de frequência, particionada em $k$ bins de frequência disjuntos para formar um tensor de coincidência $C_{ij}(x, \lambda)$.
• Arquitetura Ator-Crítico: Os autores implementam um agente de RL determinante de ator-crítico onde tanto o ator quanto o crítico são módulos SR-HOM.
  • Ator: Gera ações contínuas agrupando os componentes diagonais do tensor de coincidência ($C_{ii}$). Esses entradas diagonais agrupadas são mapeadas via uma função monotônica fixa para produzir o vetor de ação contínua.
  • Crítico: Estima a função de valor (retorno esperado) codificando o par estado-ação em um segundo módulo SR-HOM. Ele utiliza correlações espectrais de ordem superior e a resposta do tensor para extrair características não lineares de estado-ação, que são então mapeadas para uma estimativa de valor escalar via uma leitura linear treinável.
• Complexidade: A análise teórica indica que estimar marginais espectrais relevantes para a ação com precisão $\epsilon$ requer $O(\epsilon^{-2} \log k)$ amostras de coincidência, independentemente da dimensão do estado ambiente, conforme o dispositivo HOM processa diretamente o modo óptico codificado.

Principais Contribuições

1. Arquitetura SR-HOM: A proposta de um agente ator-crítico óptico compacto que utiliza correlações espectrais como um recurso computacional, indo além das limitações escalares das redes HOM padrão.
2. Capacidade de Controle Contínuo: Demonstrar que os componentes espectrais diagonais e fora da diagonal do tensor de coincidência podem simultaneamente gerar ações contínuas estruturadas e fornecer características não lineares para a estimativa de valor.
3. Caminho de Implementação Física: Esboçar a realização dos módulos SR-HOM usando tecnologias fotônicas existentes, incluindo lentes de tempo eletro-ópticas para codificação espectral, sondas reconfiguráveis e demultiplexação espectral baseada em grade dispersiva para leitura de tensor, potencialmente em plataformas integradas de niobato de lítio de filme fino.

Result resultados
Os autores avaliaram o agente SR-HOM contra baselines de perceptron multicamadas (MLP) com parâmetros correspondentes em cinco benchmarks de controle contínuo do Gymnasium (LunarLanderContinuous-v3, InvertedDoublePendulum-v5, BipedalWalker-v3, Ant-v5 e Reacher-v5).

• Desempenho nos Benchmarks: O agente SR-HOM superou consistentemente os baselines MLP, particularmente em eficiência de amostragem e estabilidade. Na tarefa LunarLanderContinuous-v3, o SR-HOM alcançou uma melhoria de 4,4$\times$ na eficiência de amostragem (atingindo o limiar de recompensa em 666 episódios vs. 2935 para o MLP) e um aumento de 74,0% no melhor retorno de média móvel de 100 episódios. Em tarefas mais desafiadoras como InvertedDoublePendulum-v5 e Ant-v5, os baselines MLP falharam em convergir de forma confiável, enquanto a arquitetura SR-HOM permaneceu treinável e alcançou desempenho final superior.
• Calibração de Porta Online: A arquitetura foi aplicada à calibração online de portas de dois qubits com acoplador ajustável (CZ e iSWAP) para qubits transmons sujeitos a deriva de parâmetros e distorção de linha de controle. Sem acesso direto aos parâmetros de deriva ou à fidelidade real da porta, o agente SR-HOM utilizou diagnósticos derivados de medição para atualizar incrementalmente os pulsos de controle.
  • Para portas CZ, o agente restaurou fidelidades para 0,9917 (excedendo 99,8% dos valores calibrados sem deriva) e reduziu o vazamento (leakage) em 27,4%.
  • Para portas iSWAP, as fidelidades foram restauradas para 0,9952, com uma redução de 35,4% no vazamento.
  • O agente rastreou com sucesso a deriva de parâmetros continuamente evolutiva com baixo overhead experimental.

Significância e Alegações
O artigo afirma que a interferência fotônica pode funcionar não meramente como uma medida de similaridade, mas como um mapa de características físicas treinável incorporado dentro de uma arquitetura computacional. Ao promover a convencional resposta HOM escalar para um tensor de correlações espectrais não lineares, o framework SR-HOM permite que sistemas ópticos quânticos lidem com saídas contínuas estruturadas necessárias para aprendizado por reforço avançado. Os autores afirmam que o framework híbrido óptico-digital, onde a interferência óptica realiza a geração de características estruturadas e o processamento digital lida com o mapeamento de saída e atualizações de parâmetros, oferece uma alternativa compacta e expressiva aos aproximadores de função clássicos. Além disso, eles sugerem que a utilidade do framework se estende além do RL para tarefas de classificação e predição ao atribuir papéis computacionais distintos para diferentes componentes do tensor de coincidência. O trabalho demonstra que plataformas ópticas quânticas podem ser efetivamente implantadas para tarefas de controle online fundamentadas fisicamente, como a manutenção da fidelidade de portas em processadores supercondutores, sem exigir recalibração total do sistema.