Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features

Résumé Technique : Incertitude Prédictive Robuste et Double Descente dans les Caractéristiques Aléatoires Bayésiennes Contaminées

Énoncé du Problème
Les modèles de Caractéristiques Aléatoires (RF - Random Features) constituent un mécanisme standard pour l'extrapolation des méthodes à noyau vers de grands ensembles de données, souvent interprétés à travers un prisme bayésien où la régularisation Ridge correspond à une estimation du Maximum A Posteriori (MAP) avec des priors et des vraisemblances gaussiennes. Cependant, les formulations classiques de RF bayésiennes reposent sur des hypothèses de modélisation (priors gaussiens sur les coefficients et vraisemblances gaussiennes pour les sorties) qui sont rarement exactes en pratique. Les écarts causés par un bruit à queue lourde, une corruption des étiquettes, l'hétéroscédasticité ou des décalages de distribution peuvent conduire à des distributions prédictives a posteriori excessivement confiantes, fragiles face aux valeurs aberrantes ou sensibles au choix du prior. Cet article examine comment les conclusions des modèles RF bayésiens changent lorsque la spécification du prior et de la vraisemblance est explicitement prise en compte, en investiguant spécifiquement si les propriétés structurelles des modèles RF, telles que le phénomène de double descente, persistent sous une telle incertitude.

Méthodologie
Les auteurs proposent un modèle de Caractéristiques Aléatoires Contaminées (CRF - Contamination Random Features), une formulation bayésienne robuste qui remplace les spécifications uniques de prior et de vraisemblance par des ensembles crédels (ensembles convexes, faiblement-* fermés, de mesures de probabilité).

• Ensembles de Contamination : Le modèle utilise des ensembles de priors $\epsilon$-contaminés et des ensembles de vraisemblances $\eta$-contaminés. Ceux-ci sont définis comme des mélanges des spécifications gaussiennes de base ($P^N$ et $L^N$) avec des distributions alternatives arbitraires ($Q$ et $S$). Formellement, $P_\epsilon = \{(1-\epsilon)P^N + \epsilon Q\}$ et $L_\eta = \{(1-\eta)L^N + \eta S\}$.
• Règle d'Inférence : Les auteurs adoptent une mise à jour bayésienne généralisée pessimiste (Walley, 1991). Cette approche produit des conclusions a posteriori conservatrices (pire cas) en mettant à jour les enveloppes inférieures et supérieures des ensembles crédels plutôt qu'une distribution a posteriori unique.
• Approche Analytique : L'article dérive des bornes explicites pour les densités prédictives a posteriori inférieures et supérieures. Il traite les paramètres de contamination $\epsilon$ et $\eta$ comme des paramètres de robustesse ou de sensibilité, les interprétant comme un « budget d'ambiguïté » pour les hypothèses de prior et de génération de données.

Contributions Clés

1. Bornes Prédictives Explicites : Les auteurs dérivent des bornes tractables et explicites pour les densités prédictives a posteriori inférieures et supérieures induites par une contamination simultanée du prior et de la vraisemblance. Ils prouvent que la densité prédictive a posteriori inférieure $\underline{\ell}_{pred}$ satisfait $\underline{\ell}_{pred} \leq (1-\eta)\ell_{pred}$, où $\ell_{pred}$ est la densité prédictive gaussienne classique. La borne supérieure inclut un terme additif de pire cas. Ces résultats suggèrent qu'une contamination modérée du prior et de la vraisemblance agit approximativement comme une contamination directe de la distribution prédictive a posteriori.
2. Région de Densité Maximale Imprécise (IHDR - Imprecise Highest Density Region) : Pour quantifier l'incertitude prédictive, l'article introduit l'IHDR, définie comme la plus petite région atteignant une masse de probabilité prédictive inférieure cible. Les auteurs montrent que l'IHDR peut être approximée efficacement par un intervalle de crédibilité de la distribution prédictive a posteriori gaussienne classique avec un niveau de couverture ajusté ($\beta = \min\{1, \frac{1-\alpha}{1-\eta}\}$). Cela fournit une procédure computationnellement réalisable pour des intervalles prédictifs robustes.
3. Bornes de Variance et Asymptotique : L'article dérive des bornes pour les variances prédictives inférieures et supérieures. Sous une légère approximation de troncature pour la borne supérieure, il est démontré que ces bornes de variance sont des transformations affines de la variance prédictive classique. Crucialement, les auteurs prouvent que ces bornes préservent les asymptotiques de croissance proportionnelle de premier ordre connues pour les modèles RF.
4. Préservation de la Double Descente : L'analyse démontre que la structure de phase de la double descente (le comportement singulier du risque et de la variance près du seuil d'interpolation $N \approx n$) est préservée sous la contamination. Les paramètres de contamination agissent comme des facteurs de mise à l'échelle qui amplifient l'amplitude du pic de variance mais ne déplacent pas sa position dans le régime de croissance proportionnelle.

Résultats

• Bornes Théoriques : Les bornes dérivées confirment que les enveloppes d'incertitude autour de la distribution prédictive gaussienne classique sont directement influencées par les niveaux de contamination $\epsilon$ et $\eta$. La borne inférieure est une simple mise à l'échelle, tandis que la borne supérieure implique une mise à l'échelle plus un terme dépendant de l'intervalle de troncature.
• Comportement Asymptotique : Dans le régime asymptotique proportionnel ($n, d, N \to \infty$ avec des ratios fixes), le modèle robuste conserve le même comportement asymptotique que le modèle RF de base. Le pic de double descente de la variance prédictive reste à la même position ($\psi_1 = N/d$), bien que sa hauteur soit amplifiée par la contamination.
• Validation Numérique : Des expériences sur la spécification erronée des étiquettes (simulée via des valeurs aberrantes de type Huber) confirment que l'augmentation du niveau de contamination $\eta$ amplifie le pic de l'erreur quadratique moyenne (MSE) de test près du seuil d'interpolation sans en déplacer la localisation. La composante de biais reste stable, tandis que la composante de variance pilote le comportement de double descente, ce qui est cohérent avec les bornes théoriques.

Signification et Revendications
Cet article établit une théorie de la robustesse pour les caractéristiques aléatoires bayésiennes. Il affirme que l'incertitude prédictive dans les modèles RF peut rester computationnellement traitable et asymptotiquement bien comportementée, même sous une spécification erronée des priors et des vraisemblances.

• Robustesse sans Sacrifice : Le cadre fournit des garanties explicites de pire cas (via des enveloppes d'incertitude et des IHDR) sans abandonner la tractabilité analytique du modèle RF gaussien.
• Stabilité Structurelle : Une revendication centrale est que les caractéristiques structurelles de l'apprentissage de haute dimension, spécifiquement le phénomène de double descente, sont robustes à la spécification erronée du modèle. La contamination agit comme une « dilution » ou une amplification de l'incertitude, mais ne modifie pas la structure fondamentale de la transition de phase du modèle.
• Utilité Pratique : La méthode proposée offre un moyen fondé pour quantifier l'incertitude en présence de valeurs aberrantes ou de décalages de distribution, permettant aux praticiens de rapporter des courbes de sensibilité ou des intervalles prédictifs calibrés basés sur les paramètres de contamination.

Les auteurs notent que la sélection automatique complète des niveaux de contamination $(\epsilon, \eta)$ sous une contamination non paramétrique arbitraire nécessite des hypothèses de modélisation supplémentaires et est laissée pour des travaux futurs. De même, le choix des intervalles de troncature pour les bornes de variance supérieures est actuellement heuristique, bien que des choix adaptatifs aux données soient identifiés comme une direction de recherche future.