Limits of spectral learning under noise

Sintesi Tecnica: Limiti dell'Apprendimento Spettrale sotto il Rumore

Problema
L'apprendimento di relazioni funzionali da dati rumorosi è una sfida centrale nell'inferenza scientifica. Sebbene i metodi spettrali — che approssimano funzioni ignote tramite espansioni in una base scelta (ad esempio, Fourier, Legendre) — offrano decomposizioni interpretabili in modi di crescente complessità, la loro stabilità sotto rumore additivo sulle etichette rimane scarsamente compresa. In particolare, non è chiaro come il rumore perturbi la geometria dello spazio dei coefficienti e degradi la decomposizione spettrale inferita. La letteratura esistente ha evidenziato che il rumore limita il recupero della struttura analitica, ma i meccanismi specifici attraverso i quali il rumore induce instabilità nelle rappresentazioni spettrali richiedono un ulteriore chiarimento.

Metodologia
Gli autori investigano la regressione supervisionata con rumore additivo sulle etichette, dove le etichette osservate sono date da $y_i = f(x_i) + \epsilon_i$, con $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$. La funzione target $f(x)$ è approssimata mediante un'espansione spettrale sparsa:
$$f_\sigma(x) = a(\sigma) + \sum_{k=1}^p c_k(\sigma) \phi_k(x)$$
dove $\{ \phi_k(x) \}$ sono funzioni di base e $c(\sigma)$ rappresenta i coefficienti spettrali.

Il nucleo dell'approccio metodologico prevede:

1. Geometria delle Caratteristiche Empiriche: Gli autori analizzano la matrice di design $\Phi$ formata dalle funzioni di base campionate. Definiscono la matrice di Gram empirica $G_c = \Phi_c^\top \Phi_c / N$ (dove $\Phi_c$ contiene le caratteristiche centrate), che detta la geometria naturale dello spazio dei coefficienti.
2. Trasformazione di Whitening (Sbiancamento): Per ripristinare una geometria approssimativamente euclidea e disaccoppiare le coordinate, gli autori applicano una trasformazione di whitening utilizzando $A = (G_c + \rho I)^{-1/2}$. Questa trasforma le caratteristiche in $\tilde{\Phi} = \Phi_c A$ e i coefficienti in $\tilde{c} = A \tilde{c}$, tali che la matrice di Gram empirica nelle nuove coordinate approssimi la matrice identità ($\tilde{G} \approx I$).
3. Analisi delle Perturbazioni: In queste coordinate biancate, la deviazione indotta dal rumore $\delta \tilde{c}$ è trattata come un drift stocastico. Gli autori derivano che la norma quadratica attesa di questo drift scala con il numero effettivo di modi spettrali attivi ($p_{\text{eff}}$) e l'ampiezza del rumore $\sigma$.
4. Scaling Universale: Confrontando l'entità della perturbazione con la norma del segnale, definiscono una scala di rumore intrinseca $\sigma^*$ e derivano un'espressione in forma chiusa per l'overlap (similarità del coseno) tra i vettori di coefficienti rumorosi e quelli privi di rumore.

Contributi Chiave e Risultati Teorici

• Scala di Rumore Intrinseca ($\sigma^*$): Il documento deriva una scala di rumore caratteristica $\sigma^* = \|\tilde{c}_0\| \sqrt{N/p_{\text{eff}}}$, dove $\|\tilde{c}_0\|$ è la norma del vettore dei coefficienti privo di rumore, $N$ è la dimensione del campione e $p_{\text{eff}}$ è il numero di direzioni significativamente eccitate. Questa scala governa la transizione tra il regime di apprendimento stabile e quello dominato dal rumore.
• Curva di Degradazione Universale: Gli autori forniscono una previsione analitica priva di parametri per l'overlap $q(\sigma)$ tra i vettori di coefficienti rumorosi e quelli privi di rumore:
  $$q(\sigma) \approx \left( 1 + \left( \frac{\sigma}{\sigma^*} \right)^2 \right)^{-1/2}$$
  Questa espressione predice una curva di degradazione universale dove l'overlap dipende esclusivamente dal rapporto tra l'ampiezza del rumore e la scala di rumore intrinseca.
• Drift dei Coefficienti: Si dimostra che la distanza normalizzata tra i coefficienti rumorosi e quelli privi di rumore scala linearmente con $\sigma/\sigma^*$, confermando che il rumore induce un drift prevedibile nello spazio dei coefficienti.

Risultati Sperimentali
Esperimenti numerici sono stati condotti su molteplici dimensioni (1D e 2D) e varie basi ortogonali, incluse Fourier, Legendre, Bessel, Haar, Jacobi e Chebyshev.

• Allargamento Spettrale (Spectral Broadening): All'aumentare del rumore, i coefficienti spettrali appresi deviano dal decadimento previsto per legge di potenza. Il peso spettrale si diffonde attraverso i modi, portando a un rapido aumento dell'entropia spettrale normalizzata, passando da una distribuzione sparsa verso una distribuzione uniforme.
• Collasso dei Dati (Data Collapse): Quando i risultati empirici per l'overlap e la distanza dei coefficienti vengono tracciati rispetto all'ampiezza del rumore grezzo $\sigma$, essi variano tra diverse basi e dimensioni. Tuttavia, quando vengono tracciati rispetto alla scala normalizzata $\sigma/\sigma^*$, tutte le curve collassano sulla singola previsione teorica data dall'Eq. (6).
• Comportamento dell'RMSE: L'errore quadratico medio (RMSE) di test segue lo stesso scaling. A bassi livelli di rumore, l'RMSE è dominato dagli errori di approssimazione di base (bias). Una volta che $\sigma \gtrsim \sigma^*$, il termine indotto dal rumore diventa dominante e l'RMSE cresce coerentemente con il drift previsto.

Significatività e Rivendicazioni
Il documento sostiene di aver identificato un limite fondamentale nel recupero della struttura funzionale da dati rumorosi utilizzando metodi spettrali. La significatività primaria risiede nel dimostrare che l'apprendimento spettrale presenta una soglia di rumore netta ($\sigma^*$) oltre la quale le stime dei coefficienti diventano instabili.

• Interpretazione Geometrica: La degradazione è interpretata come un drift stocastico in uno spazio dei coefficienti biancato, governato dall'interazione tra la norma del segnale, la dimensione del campione e la dimensionalità effettiva del modello ($p_{\text{eff}}$).
• Confronto con la Regressione Simbolica: Gli autori mettono in contrasto i loro risultati con la regressione simbolica. Mentre la regressione simbolica (che cerca modelli in forma chiusa) può esibire transizioni brusche a causa della topologia a intervalli (gapped) del suo spazio di rappresentazione (analogo a un insieme di Cantor), le espansioni spettrali con basi ortogonali mostrano una degradazione continua.
• Trade-off Generale: I risultati evidenziano un trade-off universale tra la scala intrinseca del segnale, la dimensione del campione e la complessità del modello. Specificamente, il livello di rumore tollerabile aumenta con $\sqrt{N}$ ma diminuisce con la radice quadrata della dimensione effettiva del modello.

Il lavoro conclude che queste leggi di scala si applicano ampiamente ai metodi di apprendimento spettrale basati su espansioni funzionali ortogonali, fornendo un quadro teorico per prevedere quando il rumore comprometterà fondamentalmente il recupero della struttura spettrale.