Moment-Resolved Readout and Reservoir Diversity in Nonequilibrium Langevin Computing

Resumo Técnico: Leitura de Resolução de Momento e Diversidade de Reservatório em Computação de Langevin Fora do Equilíbrio

Declaração do Problema
A computação termodinâmica não linear baseada na dinâmica de Langevin utiliza flutuações térmicas como um substrato físico para o cálculo. No paradigma Whitelam–Casert existente, os graus de liberdade flutuantes, restringidos por um potencial quártico, atuam como neurônios termodinâmicos. No entanto, duas limitações primárias restringem a capacidade representacional desses sistemas:

1. Limitação de Leitura (Readout): As leituras tradicionais reduzem a distribuição fora do equilíbrio de tempo finito de um neurônio termodinâmico ao seu primeiro momento (deslocamento médio). Esse agrupamento grosseiro (coarse-graining) descarta informações físicas relativas à largura da distribuição, o peso da cauda, a assimetria e a estrutura não gaussiana, que são críticas em potenciais não lineares onde os inputs remodelam a distribuição em vez de apenas deslocar seu centro.
2. Limitação Arquitetônica: A maioria das implementações baseia-se em um único reservatório físico. Aumentar o tamanho de um reservatório homogêneo não garante um aumento na diversidade computacional, pois coordenadas adicionais podem explorar regiões altamente correlacionadas do espaço de resposta, levando à redundância em vez de padrões de erro complementares.

Metodologia
Os autores propõem estender o paradigma da computação de Langevin em duas direções: leitura de resolução de momento e arquitetura de múltiplos reservatórios heterogêneos.

• Modelo Estocástico: O sistema consiste em $N$ nós acoplados que evoluem sob dinâmica de Langevin superamortecida, impulsionada por um potencial quártico ($J_2 x^2 + J_4 x^4$) e inputs externos. A dinâmica é fora do equilíbrio, observada em um tempo finito $t_f$ após um reset para $x(0)=0$, sem assumir o relaxamento para uma distribuição de Boltzmann estacionária.
• Leitura de Resolução de Momento (Moment-Resolved Readout): Em vez de usar apenas a média $E[x]$, os autores constroem um vetor de resposta $\phi_K(I)$ composto por momentos polinomiais brutos elementares: $E[x]$, $E[x^{\odot 2}]$ e $E[x^{\odot 4}]$.
  • Esses momentos brutos foram escolhidos por sua conformidade com o drive linear e os termos quadráticos/quárticos do potencial de confinamento local.
  • Os autores esclarecem que estes não são medidas puras de variância ou curtose; em vez disso, são "observáveis de resposta polinomial alinhados à energia" que misturam informação de deslocamento com informação de forma central.
  • Para um reservatório com $N=256$ nós, isso resulta em uma dimensão de características de $3N = 768$.
• Arquitetura de Múltiplos Reservatórios Heterogêneos: Três reservatórios distintos ($K_1, K_2, K_3$) são construídos com diferentes inicializações e históricos de treinamento para gerar bases de resposta parcialmente distintas:
  • $K_1$: Treinado diretamente usando um substituto de resposta polinomial.
  • $K_2$: Inicializado a partir de uma configuração treinada por resposta de média e refinado usando o substituto polinomial.
  • $K_3$: Inicializado independentemente com uma escala de acoplamento interno mais forte ($s_W = 0.2$ vs. $0.1$).
  • A representação final é uma concatenação ao nível de característica $\Phi(I) = [\phi_{K_1}, \phi_{K_2}, \phi_{K_3}]$, resultando em um vetor de 2304 dimensões.
• Treinamento e Avaliação: As projeções de entrada são otimizadas usando substitutos determinísticos de resposta local (resolvendo para a solução estacionária do potencial quártico) em vez de realizar backpropagation através da simulação estocástica completa. A classificação final é realizada via uma única leitura linear padronizada treinada nas características concatenadas. Os modelos são avaliados no conjunto de dados MNIST (60.000 treinamento / 10.000 teste) sob um protocolo de reprodução fixo.

Principais Resultados

• Acurácia: A fusão de nível de característica de múltiplos reservatórios heterogêneos (HMR-FL) alcançou a maior acurácia observada de 96,95% (9695/10000 corretos).
  • Isso se compara favoravelmente ao modelo de reservatório único mais forte ($K_2$) com 96,82% e à linha de base de média de logit de nível de decisão de peso igual com 96,84%.
  • A melhoria sobre o reservatório único mais forte é de 0,13 pontos percentuais.
• Significância Estatística: Um teste de McNemar pareado exato sobre os pares discordantes entre o modelo completo e o reservatório único mais forte yielded um valor-p de $\approx 0,279$. Os autores declaram explicitamente que essa diferença não estabelece uma melhoria estatisticamente significativa sobre o reservatório único mais forte.
• Complementaridade de Erro: A análise de sobreposição de conjuntos de erro (coeficiente de Jaccard) revelou que os padrões de erro dos reservatórios não eram idênticos. $K_2$ e $K_3$ mostraram a menor sobreposição ($J=0,5376$), enquanto $K_1$ e $K_2$ mostraram a maior ($J=0,7015$). O modelo completo corrigiu 68 amostras classificadas incorretamente por $K_2$, mas introduziu 55 novos erros, sugerindo que reservatórios mais fracos com perfis de erro diferentes podem contribuir com coordenadas úteis.
• Ablação de Momento: A remoção de momentos de ordem superior degradou significamente o desempenho. A leitura apenas de média ($m_1$) alcançou 93,77%. A adição do segundo momento ($m_1, m_2$) elevou a acurácia para 96,82%, e a adição do quarto momento ($m_1, m_2, m_4$) atingiu 96,95%.
• Estratégia de Fusão: A fusão ao nível de característica (concatenando momentos brutos antes de uma leitura unificada) superou a fusão ao nível de decisão (média de logits de leituras independentes), que alcançou 96,84%. Isso sugere que preservar a geometria conjunta de características não comprimidas permite uma discriminação coletiva melhor do que comprimir reservatórios individuais antes da fusão.

Significância e Alegações
O artigo afirma estender a computação de Langevin de tempo finito introduzindo a leitura de resolução de momento e a heterogeneidade de reservatório como princípios de design candidatos.

• Leitura: O trabalho demonstra que a leitura de um conjunto ordenado de estatísticas de resposta de distribuição (especificamente momentos polinomiais brutos alinhados ao potencial local) aumenta a expressividade do computador termodinâmico além da leitura apenas da média.
• Heterogeneidade: Os resultados fornecem "evidência sugestiva" de que reservatórios com distintos históricos dinâmicos e de treinamento podem oferecer erros de classificação complementares, mesmo que a significância estatística do ganho de acurácia seja modesta sob o protocolo atual.
• Limitações e Modéstia: Os autores são cautelosos em suas conclusões. Eles observam que a melhoria de acurácia observada é pequena e não é estatisticamente significativa. Eles reconhecem que a comparação envolve o aumento das dimensões de características e dos recursos de amostragem, o que significa que os resultados não separam definitivamente os efeitos de heterogeneidade dos efeitos de capacidade. O trabalho chama para trabalhos futuros envolvendo controles de recursos iguais, sementes repetidas e varreduras de tempos de observação para isolar as contribuições específicas da heterogeneidade dinâmica e das estatísticas de ordem superior.

Em resumo, o artigo propõe um método fisicamente fundamentado para extrair informações mais ricas de sistemas de Langevin fora do equilíbrio e demonstra que combinar reservatórios diversos via fusão de nível de característica pode melhorar marginalmente o desempenho de reconhecimento de padrões, embora a robustez estatística desse ganho exija investigação adicional.