Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features

Resumen Técnico: Incertidumbre Predictiva Robusta y Doble Descenso en Características Aleatorias Bayesianas Contaminadas

Planteamiento del Problema
Los modelos de Características Aleatorias (RF, por sus siglas en inglés) son un mecanismo estándar para escalar los métodos de kernel a grandes conjuntos de datos, a menudo interpretados a través de una lente bayesiana donde la regularización de Ridge corresponde a la estimación de Máxima A Posteriori (MAP) con priors y verosimilitudes gaussianas. Sin embargo, las formulaciones clásicas de RF bayesianas dependen de supuestos de modelado (priors gaussianos sobre los coeficientes y verosimilitudes gaussianas para las salidas) que rara vez son exactos en la práctica. Las desviaciones causadas por ruido de colas pesadas, corrupción de etiquetas, heterocedasticidad o cambios en la distribución pueden conducir a distribuciones predictivas a posteriori que son excesivamente confiadas, frágiles ante valores atípicos o sensibles a la elección del prior. El artículo aborda la cuestión de cómo cambian las conclusiones de los modelos RF bayesianos cuando la especificación errónea del prior y de la verosimilitud se contabiliza explícitamente, investigando específicamente si las propiedades estructurales de los modelos RF, como el fenómeno de doble descenso, persisten bajo tal incertidumbre.

Metodología
Los autores proponen un modelo de Características Aleatorias Contaminadas (CRF), una formulación bayesiana robusta que reemplaza las especificaciones únicas de prior y verosimilitud con conjuntos credales (conjuntos de medidas convexos y débilmente cerrados en la topología débil*).

• Conjuntos de Contaminación: El modelo utiliza conjuntos de priors $\epsilon$-contaminados y conjuntos de verosimilitud $\eta$-contaminados. Estos se definen como mezclas de las especificaciones gaussianas base ($P^N$ y $L^N$) con distribuciones alternativas arbitrarias ($Q$ y $S$). Formalmente, $P_\epsilon = \{(1-\epsilon)P^N + \epsilon Q\}$ y $L_\eta = \{(1-\eta)L^N + \eta S\}$.
• Regla de Inferencia: Los autores adoptan la actualización bayesiana generalizada pesimista (Walley, 1991). Este enfoque produce conclusiones a posteriori conservadoras (del peor caso) mediante la actualización de las envolventes inferior y superior de los conjuntos credales, en lugar de una única distribución a posteriori.
• Enfoque Analítico: El artículo deriva límites explícitos y tratables para las densidades predictivas inferiores y superiores. Trata los parámetros de contaminación $\epsilon$ y $\eta$ como parámetros de robustez o sensibilidad, interpretándolos como un "presupuesto de ambigüedad" para los supuestos de la distribución generadora de datos y del prior.

Contribuciones Clave

1. Límites Predictivos Explícitos: Los autores derivan límites tratables y explícitos para las densidades predictivas inferiores y superiores inducidas por la contaminación simultánea del prior y de la verosimilitud. Demuestran que la densidad predictiva inferior $\underline{\ell}_{pred}$ satisface $\underline{\ell}_{pred} \leq (1-\eta)\ell_{pred}$, donde $\ell_{pred}$ es la densidad predictiva gaussiana clásica. El límite superior incluye un término aditivo del peor caso. Estos resultados sugieren que una contaminación moderada del prior y de la verosimilitud actúa aproximadamente como una contaminación directa de la distribución predictiva a posteriori.
2. Región de Máxima Densidad Imprecisa (IHDR): Para cuantificar la incertidumbre predictiva, el artículo introduce la IHDR, definida como la región más pequeña que alcanza una masa de probabilidad predictiva inferior objetivo. Los autores muestran que la IHDR puede aproximarse eficientemente mediante un intervalo de credibilidad de la distribución predictiva a posteriori gaussiana clásica con un nivel de cobertura ajustado ($\beta = \min\{1, \frac{1-\alpha}{1-\eta}\}$). Esto proporciona un procedimiento computacionalmente factible para intervalos predictivos robustos.
3. Límites de Varianza y Asintótica: El artículo deriva límites para las varianzas predictivas inferiores y superiores. Bajo una aproximación de truncamiento leve para el límite superior, se demuestra que estos límites de varianza son transformaciones afines de la varianza predictiva clásica. Crucialmente, los autores demuestran que estos límites preservan la asintótica de crecimiento proporcional de orden principal conocida para los modelos RF.
4. Preservación del Doble Descenso: El análisis demuestra que la estructura de fase del doble descenso (el comportamiento singular del riesgo y la varianza cerca del umbral de interpolación $N \approx n$) se preserva bajo la contaminación. Los parámetros de contaminación actúan como factores de reescalado que amplifican la magnitud del pico de varianza pero no desplazan su ubicación en el régimen de crecimiento proporcional.

Resultados

• Límites Teóricos: Los límites derivados confirman que las envolventes de incertidumbre alrededor de la distribución predictiva gaussiana clásica están directamente influenciadas por los niveles de contaminación $\epsilon$ y $\eta$. El límite inferior es un reescalado simple, mientras que el límite superior implica un reescalado más un término dependiente del intervalo de truncamiento.
• Comportamiento Asintótico: En el régimen asintótico proporcional ($n, d, N \to \infty$ con proporciones fijas), el modelo robusto retiene el mismo comportamiento asintótico que el modelo RF base. El pico de doble descenso en la varianza predictiva permanece en la misma ubicación ($\psi_1 = N/d$), aunque su altura es amplificada por la contaminación.
• Validación Numérica: Los experimentos sobre la especificación errónea de etiquetas (simulada mediante valores atípicos tipo Huber) confirman que el aumento del nivel de contaminación $\eta$ amplifica el pico del MSE de prueba cerca del umbral de interpolación sin desplazar su ubicación. El componente de sesgo permanece estable, mientras que el componente de varianza impulsa el comportamiento de doble descenso, de acuerdo con los límites teóricos.

Significación y Reivindicaciones
El artículo establece una teoría de robustez para las características aleatorias bayesianas. Sostiene que la incertidumbre predictiva en los modelos RF puede seguir siendo computacionalmente tratable y asintóticamente bien comportada incluso bajo la especificación errónea de los priors y de la verosimilitud.

• Robustez sin Sacrificio: El marco proporciona garantías explícitas del peor caso (vía envolventes de incertidumbre e IHDR) sin abandonar la tratabilidad analítica del modelo RF gaussiano.
• Estabilidad Estructural: Una reivindicación central es que las características estructurales del aprendizaje de alta dimensión, específicamente el fenómeno de doble descenso, son robustas a la especificación errónea del modelo. La contaminación actúa como una "dilución" o amplificación de la incertidumbre, pero no altera la estructura fundamental de la transición de fase del modelo.
• Utilidad Práctica: El método propuesto ofrece una forma fundamentada de cuantificar la incertidumbre en presencia de valores atípicos o cambios en la distribución, permitiendo a los profesionales reportar curvas de sensibilidad o intervalos predictivos calibrados basados en los parámetros de contaminación.

Los autores señalan que la selección totalmente automática de los niveles de contaminación $(\epsilon, \eta)$ bajo una contaminación no paramétrica arbitraria requiere supuestos de modelado adicionales y queda para trabajos futuros. Del mismo modo, la elección de los intervalos de truncamiento para los límites superiores de la varianza es actualmente heurística, aunque se identifican las elecciones adaptativas a los datos como una dirección para futuras investigaciones.