Matching of signal, noise and hardware timescales for filtering and forecasting of correlated noise signals

Technische Samenvatting: Afstemming van tijdschalen van signaal, ruis en hardware voor het filteren en voorspellen van gecorreleerde ruissignalen

Probleemstelling
Fysieke reservoir computing (RC) biedt energiezuinige verwerking van tijdsafhankelijke gegevens door gebruik te maken van de nietlineaire dynamica van fysieke systemen. Er ontstaat echter een fundamentele uitdaging omdat fysieke reservoirs vaste intrinsieke responstijden bezitten, terwijl real-world signalen vaak bestaan uit een mengeling van deterministische componenten en stochastische (ruisende) componenten die meerdere tijdschalen beslaan. Ho dec de meeste machine learning-methoden zich richten op denoising of forecasting, is er een gebrek aan begrip over hoe een fysiek reservoir specificaal omgaat met inputsignalen waarbij de correlatietijd van de ruis ($\tau$) varieert ten opzichte van het geheugen van het reservoir en de voorspellingshorizon. In het bijzonder blijft het onduidelijk of dergelijke systemen gecorreleerde ruis wegfilteren of de temporele structuur ervan exploiteren voor voorspelling, en hoe dit gedrag afhangt van de afstemming van tijdschalen.

Methodologie
De auteurs onderzochten deze dynamica met behulp van een op een nanoporeuze niobiumoxide ($NbO_x$) memristor gebaseerd fysiek reservoir. Het experimentele platform bestond uit twee parallelle $NbO_x$-lagen gesandwicht tussen platina elektroden, wat vier stroomoutputs leverde voor één enkele ingangsspanning. Het systeem werd getest met drie verschillende taken:

1. Reconstructie: Het filteren van gekleurde ruis uit een deterministisch signaal om de oorspronkelijke golfvorm te herstellen.
2. Forecasting (Mixed): Het voorspellen van toekomstige waarden van een signaal dat zowel deterministische componenten als gekleurde ruis bevat.
3. Forecasting (Pure Noise): Het voorspellen van toekomstige waarden van de gekleurde ruiscomponent alleen.

De inputsignalen waren synthetisch en combineerden een quasi-periodieke deterministische functie (twee harmonieken) met gekleurde ruis gegenereerd via een Ornstein-Uhlenbeck-proces. De ruisparameters waren onafhankelijk instelbaar: ruisintensiteit ($D$) en de correlatietijd van de ruis ($\tau$), variërend van $1\tau_0$ tot $1000\tau_0$ (waarbij $\tau_0 = 6,3 \times 10^{-7}$ s). Daarnaast werd het systeem getest op real-world data: de tijdgemiddelde volatiliteit van vier cryptovaluta (Bitcoin, Ethereum, Solana, Dogecoin), waarbij de correlatietijd werd gemanipuleerd door de grootte van het gemiddelde venster te variëren.

Prestaties werden gekwantificeerd met behulp van de genormaliseerde wortel van de gemiddelde kwadratische fout (NRMSE) en de absolute gemiddelde fout (AME). De auteurs karakteriseerden ook de intrinsieke eigenschappen van het reservoir, specifiek de geheugencapaciteit (MC) en de niet-lineariteit (NL), over verschillende venstergroottes.

Belangrijkste bijdragen en resultaten
De studie stelt vast dat de prestaties van een fysiek RC-systeem bij het verwerken van ruisige signalen worden beheerst door de relatie tussen drie tijdschalen: de correlatietijd van de ruis ($\tau$), de geheugenhorizon van het reservoir (MH) en de voorspellingsvenstergrootte ($\tau_w$).

1. Twee onderscheidende forecasting-regimes:

   • Reservoir-gebaseerd middelen: Wanneer de correlatietijd van de ruis aanzienlijk korter is dan zowel de MH als de voorspellingsvenstergrootte (bijv. $\tau < MH$), laat de ruiscomponent een geheugenspoor achter in het reservoir, maar wordt de ruis gemiddeld binnen het voorspellingsvenster onder de beperkingen van de MH van het reservoir. Als gevolg hiervan lijkt de output van het reservoir meer op het onderliggende deterministische signaal dan op het ruisige inputsignaal, waardoor de ruis effectief wordt gefilterd. In dit regime presteert het systeem beter bij het reconstrueren van het deterministische signaal dan bij het voorspellen van het ruisige signaal zelf.
   • Algoritme-gebaseerde forecasting: Wanneer de correlatietijd van de ruis langer is dan de MH en het voorspellingsvenster (bijv. $\tau > MH$), vertoont de ruis voldoende temporele structuur zodat het systeem deze kan leren en voorspellen. Hier behandelt het reservoir de ruis als onderdeel van de signaaldynamica, wat de forecasting van het gecombineerde signaal of de ruiscomponent zelf mogelijk maakt.

2. Mismatch in tijdschalen en prestaties:

   • Het systeem vertoonde de hoogste fout (slechtste prestaties) wanneer de correlatietijd van de ruis vergelijkbaar was met de tijdschalen van het deterministische signaal (rond $10\tau_0$ in de synthetische tests), waar filtering en voorspelling het meest moeilijk worden door interferentie.
   • Prestaties verbeterden voor zeer snelle ruis (eruit gefilterd) en zeer trage ruis (voorspelbaar).
   • In de tests met de volatiliteit van cryptovaluta weerspiegelden de resultaten de bevindingen uit de synthetische tests: de voorspellingsfout nam af naarmate de correlatietijd toenam, wat bevestigt dat langzamer variërende stochastische componenten beter geschikt zijn voor algoritmische forecasting.

3. Nieuwe metrieken:

   • Geheugenhorizon (MH): Gedefinieerd als het tijdsvertragingbereik waarbij de correlatiecoëfficiënt $r^2 \geq 0,2$, wat de effectieve korte-termijngeheugen van de hardware kwantificeert.
   • Forecasting Regime Index (FRI): Een empirische metriek gedefinieerd als $FRI = \log_{10}[\tau / \sqrt{\tau_m \tau_w}]$. Een FRI < 0 duidt op het gemiddelde regime, terwijl een FRI > 0 duidt op het algoritme-gebaseerde forecasting-regime. Deze index voorspelde succesvol de overgang tussen de filtering en de voorspellingsgedragingen die in de experimentele data werden waargenomen.

4. Hardwarekarakterisering:

   • De geheugencapaciteit van het reservoir piekte bij een venstergrootte van $15,87\tau_0$ (MC $\approx$ 4,11) en nam af voor grotere vensters naarmate de niet-lineariteit toenam.
   • De studie toonde aan dat de optimale venstergrootte voor een specifieke taak afhangt van de afweging tussen lineaire geheugencapaciteit en de niet-lineariteit die nodig is om complexe signaalstructuren te verwerken.

Betekenis en claims
Het artikel beweert dat gekleurde ruis niet louter moet worden beschouwd als een overlast die moet worden verwijderd, maar als een gestructureerd onderdeel van het leerprobleem waarvan de voorspelbaarheid afhangt van de afstemming van de tijdschalen. De primaire bijdrage is de demonstratie dat de "computationele rol" van ruis (filtering versus voorspelling) wordt bepaald door de relatieve positie van de correlatietijd van de ruis ten opzichte van de geheugenhorizon van de hardware en het voorspellingsvenster.

De auteurs stellen dat deze bevinding nieuwe ontwerpprincipes vestigt voor fysieke RC-architecturen en data-encodering. In het bijzonder suggereren zij dat inputsignalen niet alleen gecodeerd moeten worden om in de voltage- en tijdsbereiken van de hardware te passen, maar om de autocorrelatiestructuur en het ruisspectrum van het signaal af te stemmen op de geheugen-dynamica van het reservoir. Dit is bijzonder relevant voor snelle fysieke reservoirs die langzame real-world signalen verwerken, waarbij niet-uniforme tijdscompressie noodzakelijk kan zijn om informatieve temporele structuren in het effectieve geheugenvenster van het reservoir te mappen. Het werk biedt een kwantitatief kader (via FRI en MH) om de ontwikkeling van fysieke reservoirs te begeleiden die gelijktijdig in staat zijn om stochastische signaalcomponenten over verschillende temporele schalen te filteren, te analyseren en te voorspellen.