Connectivity determines the capability of sparse neural network quantum states

Resumo Técnico: A Conectividade Determina a Capacidade de Estados Quânticos de Redes Neurais Esparsas

Enunciado do Problema
Este trabalho investiga a aplicabilidade da Hipótese do Bilhete de Loteria (LTH) à tarefa não supervisionada de aproximar os estados fundamentais de Hamiltonianos de muitos corpos quânticos usando redes neurais. Diferente de tarefas típicas de aprendizado de máquina (ex: reconhecimento de imagens) onde os dados são esparsos, as funções de onda de muitos corpos quânticos são geralmente representações totalmente densas com amplitudes que abrangem muitas ordens de magnitude. Os autores abordam o desafio de encontrar subredes esparsas dentro de redes neurais superparametrizadas que possam igualar o desempenho do modelo denso original quando treinadas isoladamente. Especificamente, eles examinam se o "bilhete vencedor" neste contexto depende de valores de pesos iniciais específicos (como na LTH original) ou apenas da estrutura de conectividade da subrede esparsa.

Metodologia
O estudo emprega a Poda de Magnitude Iterativa com Rebobinamento de Pesos (IMP-WR) para gerar máscaras esparsas. O processo envolve:

1. Pré-treinamento: Treinamento de uma rede neural densa inicializada aleatoriamente.
2. Poda: Remoção iterativa dos pesos de menor magnitude e o rebobinamento dos pesos restantes para seus valores no início da iteração de poda.
3. Treinamento Isolado: Teste de três estratégias distintas de inicialização para as subredes esparsas resultantes ("bilhetes"):
   • $T(\theta_{init}, m_{imp})$: Teste LTH original (pesos originais + máscara aprendida).
   • $T(\theta_{rand}, m_{imp})$: Pesos aleatórios + máscara aprendida.
   • $T(\theta_{init}, m_{rand})$: Pesos originais + máscara aleatória.

Os experimentos utilizam dois modelos físicos:

• Modelo de Ising de Campo Transverso (TFIM): Um sistema 2D que exibe uma transição de fase quântica entre as fases ferromagnética e paramagnética.
• Código Toric (TC): Um modelo de ordem topológica com uma solução exata do estado fundamental.

As arquiteturas de rede neural testadas incluem Redes Neurais Feed-Forward (FFNN) rasas, Redes Neurais Convolucionais (CNN) rasas e CNNs Residuais (ResCNN). O treinamento é realizado usando Descida de Gradiente de Gradiente Natural (Reconfiguração Estocástica) para minimizar o custo de energia variacional.

Principais Contribuições

1. Reformulação da LTH para Estados Quânticos: Os autores demonstram que, para estados quânticos de redes neurais, o "bilhete vencedor" é definido pela estrutura de conectividade esparsa isoladamente. A inicialização específica dos pesos é negligenciável; subredes esparsas treinadas a partir de inicializações aleatórias ($T(\theta_{rand}, m_{imp})$) apresentam desempenho comparável àquelas treinadas a partir da inicialização original ($T(\theta_{init}, m_{imp})$). Isso contrasta com a LTH original, onde os valores iniciais específicos dos parâmetros são cruciais.
2. Comportamento de Escala Universal: O artigo identifica regiões de escala universal na curva erro vs. esparsidade que persistem através de diferentes tamanhos de rede e modelos físicos. Estas regiões incluem:
   • Um Platô de Baixo Erro (LEP) em altas densidades de parâmetros.
   • Uma região de Lei de Potência Aproximada (APL).
   • Um Platô de Alto Erro (HEP) em baixas densidades de parâmetros.
     As fronteiras destas regiões são determinadas pela física subjacente do Hamiltoniano.
3. Transições de Fase Induzidas pela Esparsidade: Ao tratar o número de parâmetros por spin ($\rho$) como um parâmetro de controle análogo a um campo físico, os autores identificam uma transição de fase quântica de primeira ordem em redes rasas. Esta transição ocorre na fronteira entre a APL e o HEP, caracterizada por uma descontinuidade na derivada da energia e uma queda brusca na fidelidade entre estados podados adjacentes.
4. Interpretabilidade via Poda: O processo de poda revela que a estrutura das subredes esparsas codifica diretamente a física do Hamiltoniano. Para o Código Toric, a poda revela uma solução assintoticamente exata composta de "filtros de paridade ímpar" que impõem as condições de plaqueta do estado fundamental.

Resultados

• Desempenho do TFIM: Redes esparsas (com 5–20% dos parâmetros originais) alcançam precisões comparáveis aos modelos densos. A transição para o platô de alto erro ocorre em diferentes níveis de esparsidade dependendo da fase (ferromagnética vs. paramagnética), refletindo a esparsidade intrínseca do autovetor do estado fundamental em cada fase.
• Assinaturas de Transição de Fase: No ponto crítico do TFIM, a transição da APL para o HEP é marcada por uma mudança súbita na magnetização total ($M_z$ e $M_x$) e uma queda acentuada na fidelidade, confirmando uma transição de fase de primeira ordem induzida pela esparsidade.
• Solução do Código Toric: A poda de uma FFNN de camada única no Código Toric produz uma solução onde o erro diminui exponencialmente com a magnitude do peso. A estrutura esparsa resultante consiste de filtros que implementam efetivamente as restrições do estado fundamental exato (superposição de configurações que satisfazem $\lambda_{Bp}(\sigma) = 1$).
• Independência de Arquitetura: O fenômeno do desempenho determinado pela conectividade mantém-se em FFNNs, CNNs e ResCNNs, embora as ResCNNs mostrem alto desempenho mesmo com máscaras aleatórias devido à sua estrutura de kernel localizada fornecer um forte prior inicial.

Significância
O artigo afirma que a poda serve como uma ferramenta poderosa não apenas para compressão de modelos, mas também para interpretar a física de sistemas de muitos corpos quânticos. Ao ligar a estrutura das subredes esparsas à física subjacente, os autores mostram que:

• Redes neurais podem descobrir soluções eficientes e assintoticamente exatas para problemas quânticos complexos (como o Código Toric) sem design arquitetural prévio.
• A dinâmica da poda revela propriedades fundamentais de fases quânticas, como transições de fase impulsionadas pela capacidade de representação (esparsidade).
• A independência do desempenho em relação à inicialização dos pesos sugere uma conexão forte e intrínseca entre a topologia da rede e a física que ela representa, potencialmente simplificando o treinamento de estados neurais quânticos ao remover a necessidade de uma inicialização precisa.

Os autores concluem que estas descobertas podem facilitar o uso de modelos comprimidos para aplicações como evolução temporal, simulação de circuitos quânticos e ajuste fino (fine-tuning), onde a eficiência de parâmetros é crítica.