Conservative quantum offline model-based optimization

Resumo Técnico: Otimização Baseada em Modelos Quântica Conservadora Offline

Declaração do Problema
A Otimização Baseada em Modelos (MBO) Offline busca identificar configurações que maximizem uma função objetivo de caixa preta utilizando apenas um conjunto de dados fixo e estático de avaliações anteriores, sem a capacidade de realizar novos experimentos. Esse cenário é crítico em domínios de alto risco, como design molecular e engenharia aeronáutica, onde consultas online são proibitivamente caras ou inviáveis. O principal desafio na MBO offline é a incerteza de extrapolação: modelos substitutos aprendidos podem prever erroneamente altos valores de objetivo em regiões inexploradas (entradas fora da distribuição), um fenômeno conhecido como "exploração do modelo" ou "hacking do valor objetivo". Isso leva à seleção de soluções que parecem ótimas sob o modelo, mas performam mal na realidade. Embora a Aprendizagem Extremal Quântica (QEL) tenha sido proposta para aproveitar a expressividade de circuitos quânticos variacionais para essa tarefa, o método QEL original carece de mecanismos específicos para prevenir superestimação em entradas não vistas.

Metodologia: COM-QEL
Os autores propõem a Otimização Baseada em Modelos Quântica Conservadora Offline (COM-QEL), um algoritmo híbrido que integra QEL com Modelos de Objetivo Conservadores (COM). A metodologia consiste em três componentes principais:

1. Modelagem Substituta Quântica: O algoritmo emprega um Circuito Quântico Parametrizado (PQC) como função substituta $f_\theta(x)$. O circuito é estruturado com camadas de matrizes unitárias parametrizadas $W^l(\theta)$ e unitárias de codificação de dados $S^l(x)$. A saída é o valor esperado de uma matriz observável $M$.
2. Regularização Adversarial: Para abordar o otimismo excessivo, o objetivo de treinamento é modificado para incluir uma penalidade conservadora. O algoritmo gera um "conjunto de dados adversarial" $D_{\theta, T_p}$ aplicando alguns passos de ascensão de gradiente aos pontos de dados de treinamento usando o modelo substituto atual. O processo de treinamento minimiza o erro quadrático médio nos dados originais, enquanto restringe o valor previsto médio nas entradas adversariais a não exceder o valor médio nos dados originais por mais do que um limiar $\tau$.
   • Formalmente, isso é resolvido como um problema de otimização restrita transformado em um problema de ponto de sela min-max usando uma variável dual $\alpha$.
   • A otimização utiliza a regra de deslocamento de parâmetros para estimativa de gradiente e um algoritmo de descida-ascento de gradiente dual.
3. Ansatz Estruturado (QGNN): Para problemas com propriedades estruturais conhecidas (independência funcional entre subconjuntos de variáveis), os autores integram Modelos Gráficos Funcionais (FGM). Eles propõem um ansatz de Rede Neural Gráfica Quântica (QGNN) onde portas de emaranhamento de dois qubits (CNOT) são restritas a qubits correspondentes a variáveis dentro do mesmo clique funcional, codificando assim a estrutura do problema diretamente no circuito quântico.

Principais Contribuições
O artigo delineia três contribuições primárias:

• Integração de Modelagem Conservadora: Os autores generalizam o algoritmo QEL introduzindo um mecanismo de penalidade que reduz previsões em entradas fora do suporte dos dados de treinamento, alinhando substitutos quânticos aos princípios de conservadorismo offline.
• Substitutos Quânticos Estruturados: O trabalho demonstra a integração de estruturas FGM na QEL via um ansatz QGNN, permitindo que o modelo quântico aproveite dependências funcionais conhecidas.
• Validação Empírica: Através de benchmarks sintéticos, o artigo demonstra que a COM-QEL alcança um trade-off superior entre utilidade (melhoria sobre a melhor solução do conjunto de dados) e novidade (distância dos dados existentes) em comparação com a QEL padrão e a COM clássica.

Resultados
Os autores avaliaram a COM-QEL em três tipos de benchmarks sintéticos:

1. Funções de Baixa Largura de Banda: Em uma função baseada em cosseno bidimensional, a COM-QEL superou consistentemente a QEL padrão. Os resultados mostraram que a COM-QEL pôde derivar melhores soluções enquanto evitava aquelas com utilidade excessivamente baixa. O algoritmo demonstrou robustez ao hiperparâmetro $\tau$ dentro de uma faixa específica.
2. Funções de Alta Largura de Banda: Na desafiadora função Ackley (caracterizada por grandes flutuações), a COM-QEL evitou com sucesso soluções de baixa utilidade. O estudo destacou que reter ambos os termos de penalidade no objetivo de regularização (contabilizando tanto o conjunto de dados adversarial quanto o conjunto inicial) foi crucial para aumentar a utilidade enquanto mantinha a novidade.
3. Funções Estruturadas: Em uma função composta combinando um componente Rosenbrock e um componente Ackley, os autores compararam um Ansatz Eficiente em Hardware (HEA) padrão contra o QGNN sensível à estrutura. A COM-QEL baseada em QGNN superou a versão HEA tanto em utilidade quanto em novidade, confirmando que codificar a estrutura do problema no circuito quântico melhora o desempenho.

Significado e Afirmações
O artigo afirma que a COM-QEL equilibra efetivamente a exploração de regiões fora da amostra com a necessidade de cautela. Para funções bem comportadas, ela explora efetivamente; para funções altamente variáveis com muitos ótimos locais, ela se abstém de se mover muito longe do conjunto de dados, mitigando assim o risco de exploração do modelo. Os autores afirmam que o desempenho da otimização quântica offline pode ser significativamente melhorado incorporando regularização conservadora e codificando estruturas subjacentes do problema na arquitetura do circuito quântico. O trabalho se posiciona como um passo rumo à adaptação de algoritmos de otimização quântica às demandas rigorosas de configurações offline, embora os autores notem que trabalhos futuros são necessários para validação experimental em dispositivos quânticos reais e extensão para aprendizado por reforço offline.