Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features

Technische Samenvatting: Robuuste Voorspellende Onzekerheid en Dubbel Dalend Gedrag in Gecontamineerde Bayesiaanse Random Features

Probleemstelling
Random Feature (RF) modellen zijn een standaardmechanisme voor het schalen van kernelmethoden naar grote datasets, vaak geïnterpreteerd vanuit een Bayesiaans perspectief waarbij ridge-regularisatie overeenkomt met MAP-schatting (Maximum A Posteriori) met Gaussische priors en likelihoods. Echter, klassieke Bayesiaanse RF-formuleringen vertrouwen op modellering-aannames (Gaussische priors op coëfficiënten en Gaussische likelihoods voor outputs) die in de praktijk zelden exact zijn. Afwijkingen veroorzaakt door heavy-tailed ruis, labelcorruptie, heteroscedasticiteit of distributieverschuivingen kunnen leiden tot voorspellende distributies die overmatig zelfverzekerd, kwetsbaar voor uitschieters of gevoelig voor de keuze van de prior zijn. Dit artikel onderzoekt de vraag hoe conclusies van Bayesiaanse RF-modellen veranderen wanneer misspecificatie van de prior en de likelihood expliciet wordt meegenomen, specifiek onderzoekend of de structurele eigenschappen van RF-modellen, zoals het dubbel dalend fenomeen (double descent), standhouden onder dergelijke onzekerheid.

Methodologie
De auteurs stellen een Contamination Random Features (CRF) model voor, een robuuste Bayesiaanse formulering die de enkelvoudige specificaties van de prior en de likelihood vervangt door credal sets (convex, weak*-gesloten verzamelingen van waarschijnlijkheidsmaten).

• Contaminatie-sets: Het model maakt gebruik van $\epsilon$-gecontamineerde prior-sets en $\eta$-gecontamineerde likelihood-sets. Dit zijn mengsels van de baseline Gaussische specificaties ($P^N$ en $L^N$) met willekeurige alternatieve distributies ($Q$ en $S$). Formeel zijn dit $P_\epsilon = \{(1-\epsilon)P^N + \epsilon Q\}$ en $L_\eta = \{(1-\eta)L^N + \eta S\}$.
• Inferentieregel: De auteurs hanteren pessimistische gegeneraliseerde Bayesiaanse updating (Walley, 1991). Deze aanpak levert conservatieve (worst-case) posterior-conclusies op door de onderste en bovenste enveloppen van de credal sets te updaten in plaats van een enkele posterior distributie.
• Analytische benadering: Het artikel leidt expliciete grenzen af voor de onderste en bovenste posterior voorspellende dichtheden. Hierbij worden de contaminatieparameters $\epsilon$ en $\eta$ behandeld als robuustheids- of sensitiviteitsparameters, geïnterpreteerd als een "ambiguïteitsbudget" voor de aannames over de prior en de datagenererende processen.

Belangrijkste Bijdragen

1. Expliciete Voorspellende Grenzen: De auteurs leiden werkbare, expliciete grenzen af voor de onderste en bovenste posterior voorspellende dichtheden die worden geïnduceerd door gelijktijdige contaminatie van de prior en de likelihood. Ze bewijzen dat de onderste posterior voorspellende dichtheid $\underline{\ell}_{pred}$ voldoet aan $\underline{\ell}_{pred} \leq (1-\eta)\ell_{pred}$, waarbij $\ell_{pred}$ de klassieke Gaussische voorspellende dichtheid is. De bovengrens bevat een additieve worst-case term. Deze resultaten suggereren dat matige contaminatie van de prior en de likelihood ongeveer functioneert als een directe contaminatie van de posterior voorspellende distributie.
2. Imprecieze Hoogste Dichtheidsregio (IHDR): Om voorspellende onzekerheid te kwantificeren, introduceren het artikel de IHDR, gedefinieerd als de kleinste regio die een doelgestelde onderste voorspellende waarschijnlijkheidsmassa bereikt. De auteurs tonen aan dat de IHDR efficiënt kan worden benaderd door een betrouwbaarheidsinterval van de klassieke Gaussische posterior voorspellende distributie met een gecorrigeerd dekkingsniveau ($\beta = \min\{1, \frac{1-\alpha}{1-\eta}\}$). Dit biedt een computationeel haalbare procedure voor robuuste voorspellende intervallen.
3. Variantiegrenzen en Asymptotica: Het artikel leidt grenzen af voor de onderste en bovenste voorspellende varianties. Onder een milde truncatie-benadering voor de bovengrens, wordt aangetoond dat deze variantiegrenzen affine transformaties zijn van de klassieke voorspellende variantie. Cruciaal is dat de auteurs bewijzen dat deze grenzen de leidende-orde proportionele groei-asymptotica behouden die bekend zijn voor RF-modellen.
4. Behoud van Dubbel Dalend Gedrag: De analyse toont aan dat de dubbel dalende fase-structuur (het singuliere gedrag van risico en variantie nabij de interpolatiedrempel $N \approx n$) behouden blijft onder contaminatie. De contaminatieparameters fungeren als schaalfactoren die de magnitude van de variantiepiek vergroten, maar de locatie ervan in het proportionele groeiregime niet verschuiven.

Resultaten

• Theoretische Grenzen: De afgeleide grenzen bevestigen dat de onzekerheidsenveloppes rond de klassieke Gaussische voorspellende distributie direct worden beïnvloed door de contaminatieniveaus $\epsilon$ en $\eta$. De ondergrens is een eenvoudige herschaling, terwijl de bovengrens een herschaling plus een term afhankelijk van het truncatie-interval omvat.
• Asymptotisch Gedrag: In het proportionele asymptotische regime ($n, d, N \to \infty$ met vaste ratio's), behoudt het robuuste model hetzelfde asymptotische gedrag als het baseline RF-model. De dubbel dalende piek in de voorspellende variantie bevindt zich nog steeds op dezelfde locatie ($\psi_1 = N/d$), hoewel de hoogte ervan wordt vergroot door de contaminatie.
• Numerieke Validatie: Experimenten op labelmisspecificatie (gesimuleerd via Huber-stijl uitschieters) bevestigen dat het verhogen van het contaminatieniveau $\eta$ de piek van de test MSE nabij de interpolatiedrempel versterkt zonder de locatie ervan te verschuiven. De bias-component blijft stabiel, terwijl de variantie-component het dubbel dalende gedrag aanstuurt, wat consistent is met de theoretische grenzen.

Betekenis en Claims
Het artikel vestigt een robuustheidstheorie voor Bayesiaanse random features. Het stelt dat voorspellende onzekerheid in RF-modellen computationeel hanteerbaar en asymptotisch goed gedrag kan vertonen, zelfs onder begrensde prior- en likelihood-misspecificatie.

• Robuustheid zonder Offer: Het framework biedt expliciete worst-case garanties (via onzekerheidsenveloppes en IHDR's) zonder de analytische tractabiliteit van het Gaussische RF-model op te geven.
• Structurele Stabiliteit: Een centrale claim is dat de structurele kenmerken van hoogdimensionaal leren, specif specifiek het dubbel dalende fenomeen, robuust zijn tegen modelmisspecificatie. De contaminatie werkt als een "verdunning" of amplificatie van de onzekerheid, maar verandert de fundamentele fase-transitie structuur van het model niet.
• Praktisch Nut: De voorgestelde methode biedt een geprincipeerde manier om onzekerheid te kwantificeren in de aanwezigheid van uitschieters of distributieverschuivingen, waardoor gebruikers in staat zijn om sensitiviteitscurven of gekalibreerde voorspellende intervallen te rapporteren op basis van de contaminatieparameters.

De auteurs merken op dat het volledig automatisch selecteren van contaminatieniveaus $(\epsilon, \eta)$ onder willekeurige niet-parametrische contaminatie extra modellering-aannames vereist en voor toekomstig onderzoek is gelaten. Ook is de keuze van truncatie-intervallen voor de bovenste variantiegrenzen momenteel heuristisch, hoewel data-adaptieve keuzes zijn geïdentificeerd als een richting voor toekomstig onderzoek.