Moment-Resolved Readout and Reservoir Diversity in Nonequilibrium Langevin Computing

Sintesi Tecnica: Lettura Risolta per Momenti e Diversità dei Reservoir nella Computazione di Langevin Fuori Equilibrio

Enunciato del Problema
Il calcolo termodinamico non lineare basato sulla dinamica di Langevin utilizza le fluttuazioni termiche come substrato fisico per il calcolo. Nel paradigma esistente di Whitelam–Casert, i gradi di libertà fluttuanti, vincolati da un potenziale quartico, agiscono come neuroni termodinamici. Tuttavia, due limitazioni primarie ne restringono la capacità rappresentativa:

1. Limitazione della Lettura (Readout): Le letture tradizionali riducono la distribuzione fuori equilibrio a tempo finito di un neurone termodinamico al suo primo momento (spostamento medio). Questo raggruppamento grossolano (coarse-graining) scarta informazioni fisiche riguardanti la larghezza della distribuzione, il peso delle code, l'asimmetria e la struttura non gaussiana, che sono critiche in potenziali non lineari dove gli input rimodellano la distribuzione piuttosto che limitarsi a spostarne il centro.
2. Limitazione Architetturale: La maggior parte delle implementazioni si basa su un singolo reservoir fisico. Aumentare la dimensione di un reservoir omogeneo non garantisce un aumento della diversità computazionale, poiché ulteriori coordinate possono esplorare regioni altamente correlate dello spazio di risposta, portando a ridondanza piuttosto che a pattern di errore complementari.

Metodologia
Gli autori propongono di estendere il paradigma del calcolo di Langevin in due direzioni: lettura risolta per momenti e architettura multi-reservoir eterogenea.

• Modello Stocastico: Il sistema consiste in $N$ nodi accoppiati che evolvono sotto dinamica di Langevin sovrasmorzata, guidata da un potenziale quartico ($J_2 x^2 + J_4 x^4$) e input esterni. La dinamica è fuori equilibrio, osservata a un tempo finito $t_f$ dopo un reset a $x(0)=0$, senza assumere il rilassamento verso una distribuzione di Boltzmann stazionaria.
• Lettura Risolta per Momenti (Moment-Resolved Readout): Invece di utilizzare solo la media $E[x]$, gli autori costruiscono un vettore di risposta $\phi_K(I)$ composto da momenti polinomiali grezzi elemento per elemento: $E[x]$, $E[x^{\odot 2}]$ e $E[x^{\odot 4}]$.
  • Questi momenti grezzi sono scelti per la loro allineamento con la guida lineare e i termini quadratici/quartici del potenziale di confinamento locale.
  • Gli autori chiariscono che questi non sono misure pure di varianza o curtosi; piuttosto, sono "osservabili di risposta polinomiale allineate all'energia" che mescolano l'informazione di spostamento con l'informazione della forma centrale.
  • Per un reservoir con $N=256$ nodi, ciò produce una dimensione di feature di $3N = 768$.
• Architettura Multi-Reservoir Eterogenea: Tre distinti reservoir ($K_1, K_2, K_3$) sono costruiti con diverse inizializzazioni e storie di addestramento per generare basi di risposta parzialmente distinte:
  • $K_1$: Addestrato direttamente utilizzando una surrogata a risposta polinomiale.
  • $K_2$: Inizializzato da una configurazione addestrata con risposta media e raffinato tramite la surrogata polinomiale.
  • $K_3$: Inizializzato indipendentemente con una scala di accoppiamento interno più forte ($s_W = 0.2$ rispetto a $0.1$).
  • La rappresentazione finale è la concatenazione a livello di feature $\Phi(I) = [\phi_{K_1}, \phi_{K_2}, \phi_{K_3}]$, che risulta in un vettore di 2304 dimensioni.
• Addestramento e Valutazione: Le proiezioni di input sono ottimizzate utilizzando surrogati deterministici a risposta locale (risolvendo per la soluzione stazionaria del potenziale quartico) invece di effettuare backpropagation attraverso la completa simulazione stocastica. La classificazione finale viene eseguita tramite una singola lettura lineare standardizzata addestrata sulle feature concatenate. I modelli sono valutati sul dataset MNIST (60.000 campioni di training / 10.000 di test) sotto un protocollo di riproduzione fisso.

Risultati Chiave

• Accuratezza: La fusione a livello di feature di un multi-reservoir eterogeneo (HMR-FL) ha raggiunto l'accuratezza massima osservata del 96,95% (9695/10000 corretti).
  • Questo si confronta favorevolmente con il modello a singolo reservoir più forte ($K_2$) al 96,82% e con un baseline di media dei logit a livello di decisione a peso uguale del 96,84%.
  • Il miglioramento rispetto al singolo reservoir più forte è di 0,13 punti percentuali.
• Significatività Statistica: Un test esatto di McNemar accoppiato sui casi discordanti tra il modello completo e il singolo reservoir più forte ha prodotto un p-value di $\approx 0,279$. Gli autori dichiarano esplicitamente che questa differenza non stabilisce un miglioramento statisticamente significativo rispetto al singolo reservoir più forte.
• Complementarità dell'Errore: L'analisi della sovrapposizione degli insiemi di errori (coefficiente di Jaccard) ha rivelato che i pattern di errore dei reservoir non erano identici. $K_2$ e $K_3$ mostravano la sovrapposizione più bassa ($J=0,5376$), mentre $K_1$ e $K_2$ mostravano la più alta ($J=0,7015$). Il modello completo ha corretto 68 campioni classificati erroneamente da $K_2$, ma ha introdotto 55 nuovi errori, suggerendo che i reservoir più deboli con profili di errore differenti possono contribuire con coordinate utili.
• Ablazione dei Momenti: La rimozione dei momenti di ordine superiore ha degradato significativamente le prestazioni. La lettura basata solo sulla media ($m_1$) ha ottenuto il 93,77%. L'aggiunta del secondo momento ($m_1, m_2$) ha elevato l'accuratezza al 96,82%, e l'aggiunta del quarto momento ($m_1, m_2, m_4$) ha raggiunto il 96,95%.
• Strategia di Fusione: La fusione a livello di feature (concatenazione dei momenti grezzi prima di una lettura unificata) ha superato la fusione a livello di decisione (media dei logit da letture indipendenti), che ha raggiunto il 96,84%. Ciò suggerisce che preservare la geometria congiunta delle feature non compresse permette una discriminazione collettiva migliore rispetto alla compressione delle singole feature prima della fusione.

Significato e Rivendicazioni
Il lavoro sostiene di estendere il calcolo di Langevin a tempo finito introducendo la lettura risolta per momenti e l'eterogeneità del reservoir come principi di progettazione candidati.

• Lettura (Readout): Il lavoro dimosta che la lettura di un insieme ordinato di statistiche di risposta della distribuzione (specificamente momenti polinomiali grezzi allineati al potenziale locale) potenzia l'espressività del computer termodinamico oltre la lettura basata solo sulla media.
• Eterogeneità: Il lavoro fornisce "prove suggestive" che i reservoir con storie dinamiche e di addestramento distinte possono offrire errori di classificazione complementari, anche se la significatività statistica del guadagno di accuratezza è modesta nell'attuale protocollo.
• Limitazioni e Modestia: Gli autori sono cauti nelle loro conclusioni. Notano che il miglioramento dell'accuratezza osservato è piccolo e non statisticamente significativo. Riconoscono che il confronto comporta un aumento delle dimensioni delle feature e delle risorse di campionamento, il che significa che i risultati non separano definitivamente gli effetti dell'eterogeneità dalla capacità. Il lavoro chiama a futuri studi che coinvolgano controlli a parità di risorse, seed ripetuti e scansioni dei tempi di osservazione per isolare i contributi specifici dell'eterogeneità dinamica e delle statistiche di ordine superiore.

In sintesi, il lavoro propone un metodo fisicamente fondato per estrarre informazioni più ricche dai sistemi di Langevin fuori equilibrio e dimostra come la combinazione di diversi reservoir tramite fusione a livello di feature possa migliorare marginalmente le prestazioni di riconoscimento dei pattern, sebbene la robustezza statistica di tale guadagno richieda ulteriori indagini.