Limits of spectral learning under noise

Resumen Técnico: Límites del Aprendizaje Espectral bajo Ruido

Planteamiento del Problema
El aprendizaje de relaciones funcionales a partir de datos ruidosos es un desafío central en la inferencia científica. Mientras que los métodos espectrales —que aproximan funciones desconocidas mediante expansiones en una base elegida (por ejemplo, Fourier, Legendre)— ofrecen la interpretabilidad de las descomposiciones en modos de complejidad creciente, su estabilidad bajo ruido de etiqueta aditivo permanece insuficientemente comprendida. Específicamente, no está claro cómo el ruido perturba la geometría del espacio de coeficientes y degrada la descomposición espectral inferida. La literatura existente ha destacado que el ruido restringe la recuperación de la estructura analítica, pero los mecanismos específicos por los cuales el ruido induce inestabilidad en las representaciones espectrales requieren una mayor elucidación.

Metodología
Los autores investigan la regresión supervisada con ruido de etiqueta aditivo, donde las etiquetas observadas vienen dadas por $y_i = f(x_i) + \epsilon_i$, con $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$. La función objetivo $f(x)$ se aproxima mediante una expansión espectral dispersa:
$$f_\sigma(x) = a(\sigma) + \sum_{k=1}^p c_k(\sigma) \phi_k(x)$$
donde $\{ \phi_k(x) \}$ son funciones de base y $c(\sigma)$ representa los coeficientes espectrales.

El enfoque metodológico central involucra:

1. Geometría de Características Empíricas: Los autores analizan la matriz de diseño $\Phi$ formada por las funciones de base muestreadas. Definen la matriz de Gram empírica $G_c = \Phi_c^\top \Phi_c / N$ (donde $\Phi_c$ contiene las características centradas), la cual dicta la geometría natural del espacio de coeficientes.
2. Transformación de Blanqueo (Whitening): Para restaurar una geometría aproximadamente euclídea y desacoplar las coordenadas, los autores aplican una transformación de blanqueo utilizando $A = (G_c + \rho I)^{-1/2}$. Esto transforma las características a $\tilde{\Phi} = \Phi_c A$ y los coeficientes a $\tilde{c} = A \tilde{c}$, de tal manera que la matriz de Gram empírica en las nuevas coordenadas aproxima la matriz identidad ($\tilde{G} \approx I$).
3. Análisis de Perturbación: En estas coordenadas blanqueadas, la desviación inducida por el ruido $\delta \tilde{c}$ se trata como una deriva estocástica. Los autores derivan que la norma al cuadrado esperada de esta deriva escala con el número efectivo de modos espectrales activos ($p_{\text{eff}}$) y la amplitud del ruido $\sigma$.
4. Escalamiento Universal: Al comparar la magnitud de la perturbación con la norma de la señal, definen una escala de ruido intrínseca $\sigma^*$ y derivan una expresión de forma cerrada para el solapamiento (similitud de coseno) entre los vectores de coeficientes ruidosos y sin ruido.

Contribuciones Clave y Resultados Teóricos

• Escala de Ruido Intrínseca ($\sigma^*$): El artículo deriva una escala de ruido característica $\sigma^* = \|\tilde{c}_0\| \sqrt{N/p_{\text{eff}}}$, donde $\|\tilde{c}_0\|$ es la norma del vector de coeficientes sin ruido, $N$ es el tamaño de la muestra y $p_{\text{eff}}$ es el número de direcciones significativamente excitadas. Esta escala gobierna la transición entre el aprendizaje estable y los regímenes dominados por el ruido.
• Curva de Degradación Universal: Los autores proporcionan una predicción analítica libre de parámetros para el solapamiento $q(\sigma)$ entre los vectores de coeficientes ruidosos y sin ruido:
  $$q(\sigma) \approx \left( 1 + \left( \frac{\sigma}{\sigma^*} \right)^2 \right)^{-1/2}$$
  Esta expresión predice una curva de degradación universal donde el solapamiento depende únicamente de la relación entre la amplitud del ruido y la escala de ruido intrínseca.
• Deriva de Coeficientes: Se demuestra que la distancia normalizada entre los coeficientes ruidosos y los sin ruido escala linealmente con $\sigma/\sigma^*$, confirmando que el ruido induce una deriva predecible en el espacio de coeficientes.

Resultados Experimentales
Se realizaron experimentos numéricos en múltiples dimensiones (1D y 2D) y diversas bases ortogonales, incluyendo Fourier, Legendre, Bessel, Haar, Jacobi y Chebyshev.

• Ensanchamiento Espectral: A medida que el ruido aumenta, los coeficientes espectrales aprendidos se desvían del decaimiento esperado de ley de potencia. El peso espectral se propaga a través de los modos, provocando un aumento agudo en la entropía espectral normalizada, moviéndose de una distribución dispersa hacia una distribución uniforme.
• Colapso de Datos: Cuando los resultados empíricos para el solapamiento y la distancia de coeficientes se grafican contra la amplitud de ruido bruta $\sigma$, estos varían según la base y la dimensión. Sin embargo, cuando se grafican contra la escala normalizada $\sigma/\sigma^*$, todas las curvas colapsan sobre la única predicción teórica dada por la Ec. (6).
• Comportamiento del RMSE: El error cuadrático medio (RMSE) de prueba sigue el mismo escalamiento. Con bajo ruido, el RMSE está dominado por errores de aproximación de base (sesgo). Una vez que $\sigma \gtrsim \sigma^*$, el término inducido por el ruido domina, y el RMSE crece consistentemente con la deriva predicha.

Significancia y Reivindicaciones
El artículo afirma identificar un límite fundamental para la recuperación de la estructura funcional a partir de datos ruidosos utilizando métodos espectrales. La principal significancia radica en demostrar que el aprendizaje espectral exhibe un umbral de ruido agudo ($\sigma^*$) más allá del cual las estimaciones de los coeficientes se vuelven inestables.

• Interpretación Geométrica: La degradación se interpreta como una deriva estocástica en un espacio de coeficientes blanqueado, gobernada por la interacción entre la norma de la señal, el tamaño de la muestra y la dimensionalidad efectiva del modelo ($p_{\text{eff}}$).
• Comparación con la Regresión Simbólica: Los autores contrastan sus hallazgos con la regresión simbólica. Mientras que la regresión simbólica (que busca modelos de forma cerrada) puede exhibir transiciones abruptas debido a la topología con brechas de su espacio de representación (análogo a un conjunto de Cantor), las expansiones espectrales con bases ortogonales exhiben una degradación continua.
• Compromiso General: Los resultados resaltan un compromiso universal entre la escala de señal intrínseca, el tamaño de la muestra y la complejidad del modelo. Específicamente, el nivel de ruido tolerable aumenta con $\sqrt{N}$ pero disminuye con la raíz cuadrada de la dimensión efectiva del modelo.

El trabajo concluye que estas leyes de escalamiento se aplican ampliamente a los métodos de aprendizaje espectral basados en expansiones de funciones ortogonales, proporcionando un marco teórico para predecir cuándo el ruido comprometerá fundamentalmente la recuperación de la estructura espectral.