Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features

Resumo Técnico: Incerteza Preditiva Robusta e Descida Dupla em Características Aleatórias Bayesianas Contaminadas

Enunciado do Problema
Modelos de Características Aleatórias (RF - Random Features) são um mecanismo padrão para escalar métodos de kernel para grandes conjuntos de dados, frequentemente interpretados através de uma lente bayesiana, onde a regularização ridge corresponde à estimativa de Máxima A Posteriori (MAP) com priors e verossimilhanças gaussianas. No entanto, as formulações clássicas de RF bayesianas dependem de suposições de modelagem (priors gaussianas nos coeficientes e verossimilhanças gaussianas para as saídas) que raramente são exatas na prática. Desvios causados por ruído de cauda pesada, corrupção de rótulos, heterocedasticidade ou mudanças de distribuição podem levar a distribuições preditivas que são excessivamente confiantes, frágeis a outliers ou sensíveis às escolhas do prior. O artigo aborda a questão de como as conclusões de RF bayesianas mudam quando a especificação incorreta de prior e verossimilhança é explicitamente considerada, investigando especificamente se as propriedades estruturais dos modelos de RF, como o fenômeno da descida dupla (double descent), persistem sob tal incerteza.

Metodologia
Os autores propõem um modelo de Características Aleatórias de Contaminação (CRF - Contamination Random Features), uma formulação bayesiana robusta que substitui as especificações únicas de prior e verossimilhança por conjuntos credais (conjuntos convexos, fechados na topologia fraca* de medidas de probabilidade).

• Conjuntos de Contaminação: O modelo utiliza conjuntos de prior $\epsilon$-contaminados e conjuntos de verossimilhança $\eta$-contaminados. Estes são definidos como misturas das especificações gaussianas de base ($P^N$ e $L^N$) com distribuições alternativas arbitrárias ($Q$ e $S$). Formalmente, $P_\epsilon = \{(1-\epsilon)P^N + \epsilon Q\}$ e $L_\eta = \{(1-\eta)L^N + \eta S\}$.
• Regra de Inferência: Os autores adotam a atualização bayesiana generalizada pessimista (Walley, 1991). Esta abordagem produz conclusões posteriores conservadoras (pior caso) ao atualizar os envelopes inferior e superior dos conjuntos credais, em vez de uma única distribuição posterior.
• Abordagem Analítica: O artigo deriva limites explícitos para as densidades preditivas posteriores inferiores e superiores. Trata os parâmetros de contaminação $\epsilon$ e $\eta$ como parâmetros de robustez ou sensibilidade, interpretando-os como um "orçamento de ambiguidade" para as suposições de prior e de geração de dados.

Principais Contribuições

1. Limites Preditivos Explícitos: Os autores derivam limites tratáveis e explícitos para as densidades preditivas posteriores inferiores e superiores induzidas pela contaminação simultânea de prior e verossimilhança. Eles provam que a densidade preditiva posterior inferior $\underline{\ell}_{pred}$ satisfaz $\underline{\ell}_{pred} \leq (1-\eta)\ell_{pred}$, onde $\ell_{pred}$ é a densidade preditiva gaussiana clássica. O limite superior inclui um termo aditivo de pior caso. Estes resultados sugerem que a contaminação moderada do prior e da verossimilhança atua aproximadamente como uma contaminação direta da distribuição preditiva posterior.
2. Região de Densidade Máxima Imprecisa (IHDR - Imprecise Highest Density Region): Para quantificar a incerteza preditiva, o artigo introduz a IHDR, definida como a menor região que atinge uma massa de probabilidade preditiva inferior alvo. Os autores mostram que a IHDR pode ser aproximada eficientemente por um intervalo de credibilidade da distribuição preditiva posterior gaussiana clássica com um nível de cobertura ajustado ($\beta = \min\{1, \frac{1-\alpha}{1-\eta}\}$). Isso fornece um procedimento computacionalmente viável para intervalos preditivos robustos.
3. Limites de Variância e Assintótica: O artigo deriva limites para as variâncias preditivas inferior e superior. Sob uma aproximação de truncamento suave para o limite superior, mostra-se que estes limites de variância são transformações afins da variância preditiva clássica. Crucialmente, os autores provam que estes limites preservam a assintótica de crescimento proporcional de ordem principal conhecida para modelos de RF.
4. Preservação da Descida Dupla: A análise demonstra que a estrutura de fase da descida dupla (o comportamento singular do risco e da variância próximo ao limiar de interpolação $N \approx n$) é preservada sob contaminação. Os parâmetros de contaminação atuam como fatores de reescalonamento que amplificam a magnitude do pico de variância, mas não deslocam sua localização no regime de crescimento proporcional.

Resultos

• Limites Teóricos: Os limites derivados confirmam que os envelopes de incerteza em torno da distribuição preditiva gaussiana clássica são diretamente influenciados pelos níveis de contaminação $\epsilon$ e $\eta$. O limite inferior é um simples reescalonamento, enquanto o limite superior envolve um reescalonamento mais um termo dependente do intervalo de truncamento.
• Comportamento Assintótico: No regime assintótico proporcional ($n, d, N \to \infty$ com razões fixas), o modelo robusto mantém o mesmo comportamento assintótico que o modelo RF de base. O pico de descida dupla na variância preditiva permanece na mesma localização ($\psi_1 = N/d$), embora sua altura seja amplificada pela contaminação.
• Validação Numérica: Experimentos de especificação incorreta de rótulos (simulados via outliers do tipo Huber) confirmam que o aumento do nível de contaminação $\eta$ amplifica o pico de MSE de teste próximo ao limiar de interpolação sem deslocar sua localização. O componente de viés permanece estável, enquanto o componente de variância impulsiona o comportamento de descida dupla, consistente com os limites teóricos.

Significância e Alegações
O artigo estabelece uma teoria de robustez para características aleatórias bayesianas. Ele afirma que a incerteza preditiva em modelos de RF pode permanecer computacionalmente tratável e assintoticamente bem comportada mesmo sob especificação incorreta de prior e verossimilhança.

• Robustez sem Sacrifício: O framework fornece garantias explícitas de pior caso (via envelopes de incerteza e IHDRs) sem abandonar a tratabilidade analítica do modelo RF gaussiano.
• Estabilidade Estrutural: Uma alegação central é que as características estruturais do aprendizado de alta dimensão, especificamente o fenômeno da descida dupla, são robustas à especificação incorreta do modelo. A contaminação atua como uma "diluição" ou amplificação da incerteza, mas não altera a estrutura fundamental de transição de fase do modelo.
• Utilidade Prática: O método proposto oferece uma maneira fundamentada de quantificar a incerteza na presença de outliers ou mudanças de distribuição, permitindo que praticantes relatem curvas de sensibilidade ou intervalos preditivos calibrados baseados nos parâmetros de contaminação.

Os autores observam que a seleção totalmente automática dos níveis de contaminação $(\epsilon, \eta)$ sob contaminação não paramétrica arbitrária requer suposições de modelagem adicionais e é deixada para trabalhos futuros. Da mesma forma, a escolha dos intervalos de truncamento para os limites superiores de variância é atualmente heurística, embora escolhas adaptativas aos dados sejam identificadas como uma direção para pesquisas futuras.