Limits of spectral learning under noise

Technische Samenvatting: Limieten van Spectrale Leerprocessen onder Ruis

Probleemstelling
Het leren van functionele relaties uit ruisgevoelige data is een centrale uitdaging in de wetenschappelijke inferentie. Hoewel spectrale methoden — waarbij onbekende functies worden benaderd via expansies in een gekozen basis (bijv. Fourier, Legendre) — interpreteerbare decomposities bieden in modi van toenemende complexiteit, blijft hun stabiliteit onder additieve labelruis onvoldoende begrepen. Specifiek is het onduidelijk hoe ruis de geometrie van de coëfficiëntenruimte verstoort en de geïnferreerde spectrale decompositie degradeert. Bestaande literatuur heeft benadrukt dat ruis het herstel van analytische structuren beperkt, maar de specifieke mechanismen waarmee ruis instabiliteit induceert in spectrale representaties vereisen verdere verheldering.

Methodologie
De auteurs onderzoeken supervised regressie met additieve labelruis, waarbij geobserveerde labels worden gegeven door $y_i = f(x_i) + \epsilon_i$, met $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$. De doelfunctie $f(x)$ wordt benaderd met een ijle (sparse) spectrale expansie:
$$f_\sigma(x) = a(\sigma) + \sum_{k=1}^p c_k(\sigma) \phi_k(x)$$
waarbij $\{ \phi_k(x) \}$ basisfuncties zijn en $c(\sigma)$ de spectrale coëfficiënten vertegenwoordigen.

De kern van de methodologische aanpak omvat:

1. Empirische Kenmerkgeometrie: De auteurs analyseren de designmatrix $\Phi$ gevormd door gesamplede basisfuncties. Ze definiëren de empirische Gram-matrix $G_c = \Phi_c^\top \Phi_c / N$ (waarbij $\Phi_c$ gecentreerde kenmerken bevat), die de natuurlijke geometrie van de coëfficiëntenruimte bepaalt.
2. Whitening Transformatie: Om een benadering van een Euclidische geometrie te herstellen en coördinaten te ontkoppelen, passen de auteurs een whitening-transformatie toe met behulp van $A = (G_c + \rho I)^{-1/2}$. Dit transformeert de kenmerken naar $\tilde{\Phi} = \Phi_c A$ en de coëfficiënten naar $\tilde{c} = A \tilde{c}$, zodanig dat de empirische Gram-matrix in de nieuwe coördinaten de identiteitsmatrix benadert ($\tilde{G} \approx I$).
3. Perturbatieanalyse: In deze gewitende coördinaten wordt de door ruis geïnduceerde afwijking $\delta \tilde{c}$ behandeld als een stochastische drift. De auteurs leiden af dat de verwachte gekwadrateerde norm van deze drift schaalt met het effectieve aantal actieve spectrale modi ($p_{\text{eff}}$) en de ruisamplitude $\sigma$.
4. Universele Schaling: Door de omvang van de perturbatie te vergelijken met de signaalnorm, definiëren ze een intrinsieke ruisschaal $\sigma^*$ en leiden ze een gesloten vormelijke expressie af voor de overlap (cosinusovereenkomst) tussen de ruisgevoelige en de ruisloze coëfficiëntvectoren.

Belangrijkste Bijdragen en Theoretische Resultaten

• Intrinsieke Ruisschaal ($\sigma^*$): Het artikel leidt een karakteristieke ruisschaal af: $\sigma^* = \|\tilde{c}_0\| \sqrt{N/p_{\text{eff}}}$, waarbij $\|\tilde{c}_0\|$ de norm van de ruisloze coëfficiëntvector is, $N$ de steekproefomvang is, en $p_{\text{eff}}$ het aantal significant geëxciteerde richtingen is. Deze schaal reguleert de overgang tussen stabiel leren en door ruis gedomineerde regimes.
• Universele Degradatiecurve: De auteurs bieden een parameterloze analytische voorspelling voor de overlap $q(\sigma)$ tussen de ruisgevoelige en de ruisloze coëfficiëntvectoren:
  $$q(\sigma) \approx \left( 1 + \left( \frac{\sigma}{\sigma^*} \right)^2 \right)^{-1/2}$$
  Deze expressie voorspelt een universele degradatiecurve waarbij de overlap uitsluitend afhangt van de ratio tussen de ruisamplitude en de intrinsieke ruisschaal.
• Coëfficiëntdrift: De genormaliseerde afstand tussen de ruisgevoelige en de ruisloze coëfficiënten vertoont een lineaire schaling met $\sigma/\sigma^*$, wat bevestigt dat ruis een voorspelbare drift induceert in de coëfficiëntenruimte.

Experimentele Resultaten
Numerieke experimenten werden uitgevoerd in meerdere dimensies (1D en 2D) en met diverse orthogonale bases, waaronder Fourier, Legendre, Bessel, Haar, Jacobi en Chebyshev.

• Spectrale Verbreding: Naarmate de ruis toeneemt, wijken de geleerde spectrale coëfficiënten af van de verwachte power-law decay. Het spectrale gewicht verspreidt zich over de modi, wat leidt tot een scherpe toename van de genormaliseerde spectrale entropie, waarbij de distributie beweegt van een ijle (sparse) verdeling naar een uniforme verdeling.
• Data Collapse: Wanneer de empirische resultaten voor overlap en coëfficiëntafstand worden uitgezet tegen de ruwe ruisamplitude $\sigma$, variëren deze per basis en dimensie. Echter, wanneer ze worden uitgezet tegen de genormaliseerde schaal $\sigma/\sigma^*$, vallen alle curves samen op de enkele theoretische voorspelling van Eq. (6).
• RMSE-gedrag: De test Root-Mean-Square Error (RMSE) volgt dezelfde schaling. Bij lage ruis wordt de RMSE gedomineerd door basisapproximatiefouten (bias). Zodra $\sigma \gtrsim \sigma^*$, domineert de door ruis geïnduceerde term, en groeit de RMSE consistent met de voorspelde drift.

Betekenis en Claims
Het artikel claimt een fundamentele limiet te hebben geïdentificeerd voor het herstellen van functionele structuren uit ruisgevoelige data met behulp van spectrale methoden. De primaire betekenis ligt in het aantonen dat spectraal leren een scherpe ruisdrempel ($\sigma^*$) vertoont, waarboven coëfficiëntschattingen instabiel worden.

• Geometrische Interpretatie: De degradatie wordt geïnterpreteerd als een stochastische drift in een gewit de coëfficiëntenruimte, gestuurd door de interactie tussen de signaalnorm, de steekproefomvang en de effectieve dimensionaliteit van het model ($p_{\text{eff}}$).
• Vergelijking met Symbolische Regressie: De auteurs contrasteren hun bevindingen met symbolische regressie. Terwijl symbolische regressie (die zoekt naar gesloten vormmodellen) abrupte transities kan vertonen door de discrete topologie van de representatieruimte (vergelijkbaar met een Cantor-verzameling), vertonen spectrale expansies met orthogonale bases een continue degradatie.
• Algemene Afweging: De resultaten benadrukken een universele afweging tussen de intrinsieke signaalsterkte, de steekproefomvang en de modelcomplexiteit. Specifiek neemt het tolerabele ruisniveau toe met $\sqrt{N}$, maar neemt het af met de vierkantswortel van de effectieve modeldimensie.

Het werk concludeert dat deze schalingswetten breed van toepassing zijn op spectrale leermethoden gebaseerd op orthogonale functiereeksen, en een theoretisch kader bieden om te voorspellen wanneer ruis de herwinning van spectrale structuur fundamenteel in gevaar brengt.