Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features

Sintesi Tecnica: Incertezza Predittiva Robusta e Double Descent in Random Features Bayesiane Contaminate

Enunciato del Problema
I modelli di Random Feature (RF) sono un meccanismo standard per scalare i metodi kernel a grandi dataset, spesso interpretati attraverso una lente bayesiana dove la regolarizzazione ridge corrisponde alla stima del Massimo A Posteriori (MAP) con prior e verosimiglianze gaussiane. Tuttavia, le formulazioni classiche di RF bayesiane si basano su assunzioni di modellazione (prior gaussiani sui coefficienti e verosimiglianze gaussiane per gli output) che raramente sono esatte nella pratica. Le deviazioni causate da rumore a code pesanti, corruzione delle etichette, eteroschedasticità o shift di distribuzione possono portare a distribuzioni predittive che sono eccessivamente sicure di sé, fragili rispetto agli outlier o sensibili alle scelte del prior. Il lavoro affronta la questione di come le conclusioni delle RF bayesiane cambino quando la misspecificazione di prior e verosimiglianza viene esplicitamente presa in considerazione, investigando specificamente se le proprietà strutturali dei modelli RF, come il fenomeno della double descent, persistano sotto tale incertezza.

Metodologia
Gli autori propongono un modello di Contamination Random Features (CRF), una formulazione bayesiana robusta che sostituisce le singole specificazioni di prior e verosimiglianza con insiemi credali (insiemi convessi, debolmente-chiusi di misure di probabilità*).

• Insiemi di Contaminazione: Il modello utilizza insiemi di prior $\epsilon$-contaminati e insiemi di verosimiglianza $\eta$-contaminati. Questi sono definiti come miscele delle specifiche gaussiane di base ($P^N$ e $L^N$) con distribuzioni alternative arbitrarie ($Q$ e $S$). Formalmente, $P_\epsilon = \{(1-\epsilon)P^N + \epsilon Q\}$ e $L_\eta = \{(1-\eta)L^N + \eta S\}$.
• Regola di Inferenza: Gli autori adottano l'aggiornamento bayesiano generalizzato pessimistico (Walley, 1991). Questo approccio produce conclusioni posteriori conservative (worst-case) aggiornando gli inviluppi inferiori e superiori degli insiemi credali anziché una singola distribuzione posteriore.
• Approccio Analitico: Il documento deriva espliciti limiti per le densità predittive posteriore inferiore e superiore. Tratta i parametri di contaminazione $\epsilon$ e $\eta$ come parametri di robustezza o sensibilità, interpretandoli come un "budget di ambiguità" per le assunzioni sul prior e sulla generazione dei dati.

Contributi Chiave

1. Limiti Predittivi Espliciti: Gli autori derivano limiti trattabili ed espliciti per le densità predittive posteriore inferiore e superiore indotte dalla simultanea contaminazione di prior e verosimiglianza. Dimostrano che la densità predittiva posteriore inferiore $\underline{\ell}_{pred}$ soddisfa $\underline{\ell}_{pred} \leq (1-\eta)\ell_{pred}$, dove $\ell_{pred}$ è la classica densità predittiva gaussiana. Il limite superiore include un termine additivo di caso peggiore. Questi risultati suggeriscono che una moderata contaminazione del prior e della verosimiglianza agisce approssimativamente come una contaminazione diretta della distribuzione predittiva posteriore.
2. IHDR Impreciso (Imprecise Highest Density Region): Per quantificare l'incertezza predittiva, il lavoro introduce l'IHDR, definito come la regione più piccola che raggiunge una massa di probabilità predittiva inferiore target. Gli autori mostrano che l'IHDR può essere approssimato efficientemente da un intervallo di credibilità della classica distribuzione predittiva posteriore gaussiana con un livello di copertura aggiustato ($\beta = \min\{1, \frac{1-\alpha}{1-\eta}\}$). Ciò fornisce una procedura computazionalmente fattibile per intervalli predittivi robusti.
3. Limiti di Varianza e Asintotica: Il documento deriva limiti per le varianze predittive inferiore e superiore. Sotto un'approssimazione di troncamento lieve per il limite superiore, si dimostra che questi limiti di varianza sono trasformazioni affini della classica varianza predittiva. Fondamentalmente, gli autori provano che questi limiti preservano la crescita asintotica proporzionale di ordine principale nota per i modelli RF.
4. Preservazione della Double Descent: L'analisi dimostra che la struttura di fase della double descent (il comportamento singolare di rischio e varianza vicino alla soglia di interpolazione $N \approx n$) è preservata sotto contaminazione. I parametri di contaminazione agiscono come fattori di riscalamento che amplificano l'entità del picco di varianza ma non spostano la sua posizione nel regime di crescita proporzionale.

Risultati

• Limiti Teorici: I limiti derivati confermano che gli inviluppi di incertezza attorno alla classica distribuzione predittiva gaussiana sono direttamente influenzati dai livelli di contaminazione $\epsilon$ e $\eta$. Il limite inferiore è un semplice riscalamento, mentre il limite superiore comporta un riscalamento più un termine dipendente dall'intervallo di troncamento.
• Comportamento Asintotico: Nel regime asintotico proporzionale ($n, d, N \to \infty$ con i rapporti fissi), il modello robusto mantiene lo stesso comportamento asintotico del modello RF di base. Il picco di double descent nella varianza predittiva rimane nella stessa posizione ($\psi_1 = N/d$), sebbene la sua altezza sia amplificata dalla contaminazione.
• Validazione Numerica: Esperimenti sulla misspecificazione delle etichette (simulata tramite outlier di tipo Huber) confermano che l'aumento del livello di contaminazione $\eta$ amplifica il picco dell'MSE (Mean Squared Error) di test vicino alla soglia di interpolazione senza spostarne la posizione. La componente di bias rimane stabile, mentre la componente di varianza guida il comportamento della double descent, in linea con i limiti teorici.

Significatività e Rivendicazioni
Il lavoro stabilisce una teoria della robustezza per le random features bayesiane. Si afferma che l'incertezza predittiva nei modelli RF può rimanere computazionalmente trattabile e asintoticamente ben comportata anche sotto misspecificazione limitata di prior e verosimiglianza.

• Robustezza senza Sacrificio: Il framework fornisce garanzie esplicite di caso peggiore (tramite inviluppi di incertezza e IHDR) senza abbandonare la trattabilità analitica del modello RF gaussiano.
• Stabilità Strutturale: Una rivendicazione centrale è che le caratteristiche strutturali dell'apprendimento ad alta dimensione, specificamente il fenomeno della double descent, sono robuste alla misspecificazione del modello. La contaminazione agisce come una "diluizione" o un'amplificazione dell'incertezza, ma non altera la fondamentale struttura di transizione di fase del modello.
• Utilità Pratica: Il metodo proposto offre un modo rigoroso per quantificare l'incertezza in presenza di outlier o shift di distribuzione, consentendo ai professionisti di riportare curve di sensibilità o intervalli predittivi calibrati basati sui parametri di contaminazione.

Gli autori osservano che la selezione completamente automatica dei livelli di contaminazione $(\epsilon, \eta)$ sotto contaminazione non parametrica arbitraria richiede ulteriori assunzioni di modellazione ed è lasciata al lavoro futuro. Allo stesso modo, la scelta degli intervalli di troncamento per i limiti superiori della varianza è attualmente euristica, sebbene siano state identificate direzioni per una scelta adattiva ai dati.