Moment-Resolved Readout and Reservoir Diversity in Nonequilibrium Langevin Computing

Technische Samenvatting: Moment-opgeloste Uitlezing en Reservoirdiversiteit in Non-evenwichtige Langevin-computing

Probleemstelling
Niet-lineaire thermodynamische computing gebaseerd op Langevin-dynamica maakt gebruik van thermische fluctuaties als fysiek substraat voor berekeningen. In het bestaande Whitelam–Casert-paradigma fungeren gefluctueerde vrijheidsgraden die beperkt worden door een quartisch potentiaal als thermodynamische neuronen. Echter, twee primaire beperkingen beperken de representatieve capaciteit van deze systemen:

1. Beperking van de uitlezing (Readout): Traditionele uitlezingen reduceren de eindige-tijd non-evenwichtsdistributie van een thermodynamisch neuron tot het eerste moment (gemiddelde verplaatsing). Deze grovere granulatie (coarse-graining) verwerpt fysieke informatie over de breedte, staartgewicht, asymmetrie en niet-Gaussische structuur van de distributie, die cruciaal zijn in niet-lineaire potentialen waarbij inputs de distributie herformuleren in plaats van enkel het centrum te verschuiven.
2. Architecturale Beperking: De meeste implementaties vertrouwen op een enkel fysiek reservoir. Het vergroten van de omvang van een homogeen reservoir garandeert geen toegenomen computationele diversiteit, aangezien extra coördinaten hoog gecorreleerde regio's van de responsruimte kunnen verkennen, wat leidt tot redundantie in plaats van complementaire foutpatronen.

Methodologie
De auteurs stellen voor de Langevin-computing-paradigma in twee richtingen uit te breiden: moment-opgeloste uitlezing en een heterogene multi-reservoir architectuur.

• Stochastisch Model: Het systeem bestaat uit $N$ gekoppelde knopen die evolueren onder overdempte Langevin-dynamica, gedreven door een quartisch potentiaal ($J_2 x^2 + J_4 x^4$) en externe inputs. De dynamica is non-evenwicht, geobserveerd op een eindige tijd $t_f$ na een reset naar $x(0)=0$, zonder aan te nemen dat er een relaxatie naar een stationaire Boltzmann-distributie plaatsvindt.
• Moment-opgeloste Uitlezing: In plaats van alleen het gemiddelde $E[x]$ te gebruiken, construeren de auteurs een responsvector $\phi_K(I)$ bestaande uit elementgewijze ruwe polynomiale momenten: $E[x^{\odot 1}]$, $E[x^{\odot 2}]$ en $E[x^{\odot 4}]$.
  • Deze ruwe momenten zijn gekozen vanwege hun uitlijning met de lineaire drive en de kwadratische/quartische termen van het lokale begrenzende potentiaal.
  • De auteurs verduidelijken dat dit geen zuivere maten van variantie of kurtosis zijn; het zijn "energie-uitgelijnde polynomiale respons-observabelen" die verplaatsingsinformatie mengen met centrale vorminformatie.
  • Voor een reservoir met $N=256$ knopen levert dit een feature-dimensie op van $3N = 768$.
• Heterogene Multi-Reservoir Architectuur: Drie verschillende reservoirs ($K_1, K_2, K_3$) zijn geconstrueerd met verschillende initialisaties en trainingsgeschiedenissen om deels verschillende respons-bases te genereren:
  • $K_1$: Getraind met behulp van een polynomiale respons-surrogaat.
  • $K_2$: Geïnitialiseerd vanuit een gemiddelde-respons-getrainde configuratie en verfijnd met de polynomiale surrogaat.
  • $K_3$: Onafhankelijk geïnitialiseerd met een sterkere interne koppelingsschaal ($s_W = 0.2$ vs. $0.1$).
  • De uiteindelijke representatie is de feature-niveau concatenatie $\Phi(I) = [\phi_{K_1}, \phi_{K_2}, \phi_{K_3}]$, wat resulteert in een 2304-dimensionale vector.
• Training en Evaluatie: De input-projecties worden geoptimaliseerd met deterministische lokale-respons-surrogaten (het oplossen van de stationaire oplossing van het quartische potentiaal) in plaats van backpropagatie door de volledige stochastische simulatie. De uiteindelijke classificatie wordt uitgevoerd via een enkele gestandaardiseerde lineaire uitlezing getraind op de geconcateneerde features. De modellen worden geëvalueerd op de MNIST-dataset (60.000 training / 10.000 test samples) onder een vast reproductieprotocol.

Belangrijkste Resultaten

• Nauwkeurigheid: De heterogene multi-reservoir feature-level fusie (HMR-FL) behaalde de hoogste geobserveerde nauwkeurigheid van 96,95% (9695/10000 correct).
  • Dit staat gunstig tegenover het sterkste enkele-reservoir model ($K_2$) met 96,82% en een equal-weight decision-level logit-averaging baseline van 96,84%.
  • De verbetering ten opzichte van het sterkste enkele reservoir is 0,13 procentpunt.
• Statistische Significantie: Een exacte gepaarde McNemar-test op de discordante paren tussen het volledige model en het sterkste enkele reservoir leverde een p-waarde op van $\approx 0,279$. De auteurs stellen expliciet dat dit verschil geen statistisch significante verbetering vaststelt ten opzichte van het sterkste enkele reservoir.
• Foutcomplementariteit: Analyse van de overlap in de foutsets (Jaccard-coëfficiënt) toonde aan dat de foutpatronen van de reservoirs niet identiek waren. $K_2$ en $K_3$ vertoonden de laagste overlap ($J=0,5376$), terwijl $K_1$ en $K_2$ de hoogste vertoonden ($J=0,7015$). Het volledige model corrigeerde 68 door $K_2$ verkeerd geclassificeerde monsters, maar introduceerde 55 nieuwe fouten, wat suggereert dat zwakkere reservoirs met verschillende foutprofielen nuttige coördinaten kunnen bijdragen.
• Moment Ablatie: Het verwijderen van hogere-orde momenten degradeerde de prestaties aanzienlijk. De gemiddelde-alleen uitlezing ($m_1$) behaalde 93,77%. Het toevoegen van het tweede moment ($m_1, m_2$) verhoogde de nauwkeurigheid naar 96,82%, en het toevoegen van het vierde moment ($m_1, m_2, m_4$) bereikte 96,95%.
• Fusiestrategie: Feature-level fusie (het concateneren van ruwe momenten vóór een unieke uitlezing) presteerde beter dan decision-level fusie (het middelen van logits van onafhankelijke uitlezingen), die 96,84% behaalde. Dit suggereert dat het behouden van de ongecomprimeerde gezamenlijke feature-geometrie een betere collectieve discriminatie mogelijk maakt dan het comprimeren van individuele reservoirs vóór fusie.

Betekenis en Claims
Het artikel claimt de eindige-tijd Langevin-computing uit te breiden door moment-opgeloste uitlezing en reservoirheterogeniteit als kandidaat-ontwerpprincipes te introduceren.

• Uitlezing: Het werk demonstreert dat het uitlezen van een geordende set distributionele responsstatistieken (specifiek ruwe polynomiale momenten uitgelijnd met het lokale potentiaal) de expressiviteit van de thermodynamische computer verhoogt ten opzien van de gemiddelde-alleen uitlezing.
• Heterogeniteit: De resultaten bieden "suggestief bewijs" dat reservoirs met verschillende dynamische en trainingsgeschiedenissen complementaire classificatiefouten kunnen bieden, zelfs als de statistische significantie van de winst in nauwkeurigheid onder het huidige protocol bescheiden is.
• Beperkingen en Bescheidenheid: De auteurs zijn voorzichtig in hun conclusies. Ze merken op dat de geobserveerde verbetering in nauwkeurigheid klein is en niet statistisch significant. Ze erkennen dat de vergelijking gepaard gaat met hogere feature-dimensies en meer sampling-bronnen, wat betekent dat de resultaten de effecten van heterogeniteit en capaciteit niet definitief van elkaar kunnen scheiden. Het artikel roept op tot toekomstig werk met gelijke-middelen controles, herhaalde seeds en scans van observatietijden om de specifieke bijdragen van dynamische heterogeniteit en hogere-orde statistieken te isoleren.

Samenvattend stelt het artikel een fysiek gefundeerde methode voor om rijkere informatie uit non-evenwichtige Langevin-systemen te extraheren en demonstreert dat het combineren van diverse reservoirs via feature-level fusie de patroonherkenningsprestaties marginaal kan verbeteren, hoewel de statistische robuustheid van deze winst verder onderzoek vereist.