Attention-based optimizer for symmetry finding

Problema

A busca por simetrias em sistemas físicos é fundamental para compreender e resolver modelos complexos, particularmente na física de muitos corpos quânticos. Embora métodos computacionais modernos permitam o estudo direto de problemas complicados, muitos permanecem intratáveis para implementações numéricas de força bruta (ex: diagonalização exata). Embora técnicas de aproximação como redes de tensores existam, elas frequentemente dependem de suposições estruturais específicas que se degradam quando o sistema físico não corresponde a essas suposições.

Algoritmos existentes para encontrar simetrias, como o método determinístico apresentado nas Refs. [38–40], podem reduzir o número de qubits ao encontrar um referencial onde as simetrias são estabilizadas. No entanto, embora sejam classicamente eficientes (tempo de execução cúbico), esses abordagens determinísticas sofrem com escalas de tempo longas para sistemas com um grande número de qubits. Além disso, eles garantem encontrar todos os geradores de simetrias, mas podem ser computacionalmente caros para sistemas grandes. Há uma necessidade de um método que possa identificar rapidamente simetrias de Pauli diretamente de um Hamiltoniano de entrada sem conhecimento prévio da estrutura do sistema, particularmente para sistemas físicos onde as simetrias não são imediatamente óbvias.

Metodologia

Os autores propõem um framework de otimização baseado em aprendizado de máquina que funde a busca automatizada de simetrias com aprendizado profundo. O núcleo do framework é uma arquitetura Set-Transformer, escolhida porque o problema de encontrar uma simetria de Pauli é intrinsecamente invariante à permutação (a ordem das Pauli-Strings em um Hamiltoniano não importa).

1. Representação de Entrada:
O Hamiltoniano de entrada $H = \sum P_i$ é representado como um tableau $H_t$, uma matriz binária onde cada linha corresponde a uma Pauli-String codificada como um vetor binário de dimensão $2n_q$ (usando formalismo simplético). Esta representação preserva a invariância de permutação da entrada.

2. Arquitetura:
O modelo consiste em três componentes principais:

• Embedding de Entrada e Projeção: As linhas do tableau binário são projetadas em um espaço latente contínuo e aprendível usando uma camada linear. Embeddings de posição são evitados para manter a invariância de permutação.
• Set-Transformer (Encoder-Decoder):
  • Encoder: Utiliza blocos de atenção de conjunto empilhados (SAB) contendo Multi-Head Attention (MHA) e camadas de Feed-Forward por linha (rFF). O mecanismo de autoatenção codifica correlações de pares e de ordens superiores entre as Pauli-Strings.
  • Decoder: Projeta as correlações aprendidas em um único vetor de simetria candidato. Inclui uma camada de Pooling Multi-head Attention (PMA), um SAB, normalização de camada e uma camada linear para mapear a dimensão latente de volta para $2n_q$.
  • Ativação: Uma camada Sin seguida por uma camada Sigmoid aprendível mapeia a saída contínua para valores binários aproximados (0 e 1), representando o candidato de simetria de Pauli $S_p$.
• Expansão de Contexto Adaptativa (ACE): Para abordar o problema de infinitos não-soluções em comparação com soluções (especialmente em Hamiltonianos aleatórios), o framework inclui um módulo ACE. Se o otimizador parecer preso em um mínimo local (detectado via oscilação de perda), o ACE expande sinteticamente o contexto adicionando produtos de Pauli-Strings existentes ($P_i P_j$) ao Hamiltoniano. Isso fornece novas informações para ajudar o otimizador a escapar de mínimos locais.

3. Objetivo de Otimização:
O framework minimiza uma função de perda customizada $C$ composta por quatro termos:

• Perda de Comutação ($C_{com}$): O objetivo primário, garantindo que o candidato $S(\theta)$ comute com todos os termos em $H$. Utiliza um proxy diferenciável, $\sin^2(\frac{\pi}{2} x)$, para a condição de comutador módulo-2.
• Penalidade de Zero ($C_{zp}$): Evita a solução trivial (o operador Identidade) penalizando saídas onde todos os elementos são zero.
• Penalidade Binária ($C_{bin}$): Incentiva os valores de saída contínua a convergirem para valores binários (0 ou 1).
• Regularizador de Linearidade ($C_{lin}$): Auxilia a otimização inicial favorecendo candidatos que anticomutam um número limitado de vezes, mitigando a natureza multimodal do landscape de perda de comutação.

A otimização é realizada usando o otimizador AdamW com condições de parada antecipada que verificam se uma simetria válida foi encontrada.

Principais Contribuições

• Primeiro Buscador de Simetria baseado em ML: Tanto quanto os autores sabem, este é o primeiro trabalho que utiliza aprendizado de máquina e inteligência artificial para encontrar simetrias diretamente de um Hamiltoniano de entrada sem conhecimento prévio do sistema ou da simetria.
• Arquitetura Set-Transformer: A aplicação de Set-Transformers para codificar correlações entre Pauli-Strings, tratando-as analogamente a tokens em processamento de linguagem natural, para extrair relações globais.
• Expansão de Contexto Adaptativa: Um módulo inovador que aumenta dinamicamente o contexto de entrada para ajudar o otimizador a navegar em landscapes de perda complexos onde as soluções são esparsas.
• Aceleração Probabilística: O framework oferece uma abordagem probabilística que encontra simetrias significativamente mais rápido que alternativas determinísticas para sistemas físicos específicos, trocando garantias determinísticas por velocidade.

Resultados

O framework foi testado em três categorias de Hamiltonianos:

1. Hamiltonianos de Pauli Aleatórios:

• Testados em sistemas de 10 qubits com variações de rank ($R$).
• O otimizador baseado em atenção encontrou simetrias mais rápido que o algoritmo determinístico para ranks $R=4$ a $16$.
• Para ranks mais altos, a complexidade de tempo escala como $O(2^{0.705R})$ para o tempo mínimo, comparado a $O(2^R)$ para o algoritmo determinístico até $R=8$.
• A probabilidade de sucesso diminui com o rank, exigindo mais começos paralelos (e, portanto, mais GPUs) para atingir uma taxa de sucesso de 90%. Para $R=18$, estimou-se que 32 começos paralelos seriam necessários.

2. Modelo de Ising Transverso Periódico 1-D:

• Testado em sistemas com $n_q$ variando de 10 a 1400.
• A implementação em GPU do framework encontrou simetrias aproximadamente 225 vezes mais rápido que a abordagem determinística, enquanto a implementação em CPU foi 1500 vezes mais rápida.
• O número de iterações exigidas pelo otimizador permaneceu aproximadamente constante (saturando em torno de 35–40) conforme o tamanho do sistema aumentava, enquanto o número de portas de Clifford para o algoritmo determinístico cresceu polinomialmente.
• A probabilidade de falha foi extremamente baixa (média $p_f \approx 0.033$).

3. Escada de Ising 2-D e Código Toric:

• Aplicado a escadas de Ising 2-D e códigos Toric (com e sem campos magnéticos) até $n_q = 1000$.
• O framework mostrou uma vantagem substancial sobre o algoritmo determinístico, sendo a implementação em GPU aproximadamente $10^5$ vezes mais rápida para a escada de Ising.
• Para códigos Toric, a vantagem aumentou com o tamanho do sistema. O escalonamento do algoritmo determinístico foi observado como pior que o esperado de $O(n_q^3)$, provavelmente devido ao número moderado de Pauli-Strings.
• O otimizador alcançou altas taxas de sucesso com baixas probabilidades de falha em todas as geometrias testadas.

Observação sobre Sistemas Físicos vs. Aleatórios:
O artigo observa que o framework performa excepcionalmente bem em Hamiltonianos físicos (Ising, Toric) porque suas representações de tableau codificam interações físicas ordenadas, locais e repetitivas. Essa estrutura torna o contexto imediatamente informativo, permitindo que o otimizador navegue facilmente pelo landscape de perda. Em contraste, Hamiltonians aleatórios carecem dessa regularidade, exigindo mais recursos computacionais (expansão de contexto e começos paralelos) para encontrar simetrias.

Significância e Alegações

Os autores afirmam que este trabalho representa um passo importante para estender o aprendizado de máquina para encontrar outras classes de simetrias onde não são conhecidas estratégias ótimas ou determinísticas. Ao fundir aprendizado de máquina com a busca automatizada de simetrias, o framework oferece uma "vantagem substancial" em velocidade para Hamiltonianos físicos em comparação com as estratégias determinísticas de estado da arte.

O artigo enquadra modestamente sua contribuição como uma prova de conceito para o uso de mecanismos de atenção para resolver problemas algébricos em física quântica. Destaca que, embora o método seja probabilístico e exija paralelização para sistemas aleatórios, é altamente eficaz para modelos físicos onde as interações sistêmicas estão incorporadas no Hamiltoniano. Os autores planejam estender esta abordagem para encontrar outras classes de simetrias, como simetrias de Clifford, em trabalhos futuros.