Limits of spectral learning under noise

Resumo Técnico: Limites da Aprendizagem Espectral sob Ruído

Enunciado do Problema
A aprendizagem de relações funcionais a partir de dados ruidosos é um desafio central na inferência científica. Embora os métodos espectrais — que aproximam funções desconhecidas via expansões em uma base escolhida (ex: Fourier, Legendre) — ofereçam decomposições interpretáveis em modos de complexidade crescente, sua estabilidade sob ruído de rótulo aditivo permanece mal compreendida. Especificamente, não está claro como o ruído perturba a geometria do espaço de coeficientes e degrada a decomposição espectral inferida. A literatura existente destacou que o ruído restringe a recuperação da estrutura analítica, mas os mecanismos específicos pelos quais o ruído induz instabilidade nas representações espectrais requerem maior elucidação.

Metodologia
Os autores investigam a regressão supervisionada com ruído de rótulo aditivo, onde os rótulos observados são dados por $y_i = f(x_i) + \epsilon_i$, com $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$. A função alvo $f(x)$ é aproximada usando uma expansão espectral esparsa:
$$f_\sigma(x) = a(\sigma) + \sum_{k=1}^p c_k(\sigma) \phi_k(x)$$
onde $\{ \phi_k(x) \}$ são funções de base e $c(\sigma)$ representa os coeficientes espectrais.

A abordagem metodológica central envolve:

1. Geometria de Características Empíricas: Os autores analisam a matriz de design $\Phi$ formada por funções de base amostradas. Eles definem a matriz de Gram empírica $G_c = \Phi_c^\top \Phi_c / N$ (onde $\Phi_c$ contém características centradas), que dita a geometria natural do espaço de coeficientes.
2. Transformação de Branqueamento (Whitening): Para restaurar uma geometria aproximadamente euclidiana e desacoplar as coordenadas, os autores aplicam uma transformação de branqueamento usando $A = (G_c + \rho I)^{-1/2}$. Isso transforma as características para $\tilde{\Phi} = \Phi_c A$ e os coeficientes para $\tilde{c} = A \tilde{c}$, de tal forma que a matriz de Gram empírica nas novas coordenadas aproxime-se da identidade ($\tilde{G} \approx I$).
3. Análise de Perturbação: Nestas coordenadas branqueadas, o desvio induzido pelo ruído $\delta \tilde{c}$ é tratado como um drift estocástico. Os autores derivam que a norma quadrática esperada deste drift escala com o número efetivo de modos espectrais ativos ($p_{\text{eff}}$) e a amplitude do ruído $\sigma$.
4. Escalonamento Universal: Ao comparar a magnitude da perturbação com a norma do sinal, eles definem uma escala de ruído intrínseca $\sigma^*$ e derivam uma expressão de forma fechada para a sobreposição (similaridade de cosseno) entre os vetores de coeficientes ruidosos e sem ruído.

Principais Contribuições e Resultados Teóricos

• Escala de Ruído Intrínseca ($\sigma^*$): O artigo deriva uma escala de ruído característica $\sigma^* = \|\tilde{c}_0\| \sqrt{N/p_{\text{eff}}}$, onde $\|\tilde{c}_0\|$ é a norma do vetor de coeficientes sem ruído, $N$ é o tamanho da amostra e $p_{\text{eff}}$ é o número de direções significativamente excitadas. Esta escala governa a transição entre a aprendizagem estável e os regimes dominados pelo ruído.
• Curva de Degradação Universal: Os autores fornecem uma previsão analítica livre de parâmetros para a sobreposição $q(\sigma)$ entre os vetores de coeficientes ruidosos e sem ruído:
  $$q(\sigma) \approx \left( 1 + \left( \frac{\sigma}{\sigma^*} \right)^2 \right)^{-1/2}$$
  Esta expressão prevê uma curva de degradação universal onde a sobreposição depende unicamente da razão entre a amplitude do ruído e a escala de ruído intrínseca.
• Drift de Coeficientes: A distância normalizada entre os coeficientes ruidosos e sem ruído mostra-se escalando linearmente com $\sigma/\sigma^*$, confirmando que o ruído induz um drift previsível no espaço de coeficientes.

Resultados Experimentais
Experimentos numéricos foram conduzidos em múltiplas dimensões (1D e D2) e várias bases ortogonais, incluindo Fourier, Legendre, Bessel, Haar, Jacobi e Chebyshev.

• Alargamento Espectral: À medida que o ruído aumenta, os coeficientes espectrais aprendidos desviam-se do decaimento esperado de lei de potência. O peso espectral espalha-se pelas modalidades, levando a um aumento acentuado na entropia espectral normalizada, movendo-se de uma distribuição esparsa em direção a uma distribuição uniforme.
• Colapso de Dados: Quando os resultados empíricos para sobreposição e distância de coeficientes são plotados contra a amplitude bruta do ruído $\sigma$, eles variam entre diferentes bases e dimensões. No entanto, quando plotados contra a escala normalizada $\sigma/\sigma^*$, todas as curvas colapsam sobre a única previsão teórica dada pela Eq. (6).
• Comportamento do RMSE: O Erro Quadrático Médio (RMSE) de teste segue o mesmo escalonamento. Em baixos níveis de ruído, o RMSE é dominado por erros de aproximação de linha de base (viés). Uma vez que $\sigma \gtrsim \sigma^*$, o termo induzido pelo ruído domina, e o RMSE cresce consistentemente com o drift previsto.

Significância e Alegações
O artigo afirma identificar um limite fundamental para a recuperação de estrutura funcional a partir de dados ruidosos usando métodos espectrais. A principal significância reside em demonstrar que a aprendizagem espectral exibe um limiar de ruído agudo ($\sigma^*$) além do qual as estimativas de coeficientes tornam-se instáveis.

• Interpretação Geométrica: A degradação é interpretada como um drift estocástico em um espaço de coeficientes branqueado, governado pela interação entre a norma do sinal, o tamanho da amostra e a dimensionalidade efetiva do modelo ($p_{\text{eff}}$).
• Comparação com Regressão Simbólica: O trabalho contrasta seus achados com a regressão simbólica. Enquanto a regressão simbólica (que busca modelos de forma fechada) pode exibir transições abruptas devido à topologia com lacunas de seu espaço de representação (análogo a um conjunto de Cantor), as expansões espectrais com bases ortogonais exibem uma degradação contínua.
• Trade-off Geral: Os resultados destacam um trade-off universal entre a escala de sinal intrínseca, o tamanho da amostra e a complexidade do modelo. Especificamente, o nível de ruído tolerável aumenta com $\sqrt{N}$, mas diminui com a raiz quadrada da dimensão efetiva do modelo.

O trabalho conclui que estas leis de escalonamento aplicam-se amplamente a métodos de aprendizagem espectral baseados em expansões de funções ortogonais, fornecendo um arcabouço teórico para prever quando o ruído comprometerá fundamentalmente a recuperação da estrutura espectral.