Résumé technique : Ribbon : Approximation scalable et quantification robuste de l'incertitude

1. Énoncé du problème

Quantifier de manière fiable l'incertitude prédictive est un défi central pour les modèles d'apprentissage automatique complexes, de haute dimension ou mal spécifiés. Bien que l'inférence pleinement bayésienne et les méthodes de rééchantillonnage par bootstrap offrent des estimations d'incertitude fondées sur des principes, elles sont souvent prohibitivement coûteuses en termes de calcul pour les modèles modernes (par exemple, les réseaux de neurones profonds) en raison de l'exigence de l'échantillonnage de la distribution postérieure ou de l'ajustement répété du modèle. Inversement, les alternatives scalables comme l'approximation de Laplace ou l'inférence variationnelle souffrent souvent de fragilité ; elles reposent sur des hypothèses de courbure locale qui peuvent échouer en cas de mauvaise spécification du modèle, conduisant à une mauvaise calibration même lorsque les prédictions ponctuelles sont précises. Il existe un besoin pour une approche unifiée qui combine la robustesse des méthodes de rééchantillonnage avec l'efficacité de calcul des approximations locales.

2. Méthodologie : Le cadre Ribbon

Le document présente Ribbon, un cadre scalable pour la quantification de l'incertitude prédictive qui approxime l'incertitude du bootstrap repondéré par Dirichlet sans réajustement répété du modèle.

Mécanisme central

Ribbon opère sur le principe de la linéarisation par fonction d'influence. Au lieu de réentraîner le modèle pour chaque échantillon de bootstrap, il propage les perturbations de la distribution empirique des données à travers une linéarisation du premier ordre autour d'un modèle ajusté unique ($\hat{\theta}$).

1. Minimisation du risque empirique (ERM) pondéré : La cible est l'estimateur ERM pondéré $\hat{\theta}_w = \arg\min_\theta \sum w_i \ell(z_i, \theta)$, où les poids $w$ sont tirés d'une distribution de Dirichlet symétrique, $\text{Dirichlet}(\alpha, \dots, \alpha)$.

   • Lorsque $\alpha = 1$, cela correspond au bootstrap bayésien standard.
   • Lorsque $\alpha \neq 1$, cela sert de généralisation à température graduée pour la calibration fréquentiste.

2. Approximation par fonction d'influence : Plutôt que de résoudre de manière répétée pour $\hat{\theta}_w$, Ribbon approxime le décalage de paramètre $\Delta\theta_w = \hat{\theta}_w - \hat{\theta}$ en utilisant une expansion du premier ordre :
   $$\Delta\theta_w \approx -H^{-1} \left( \frac{1}{n} G^\top \tilde{w} \right)$$
   Où :

   • $H$ est la Hessienne moyenne (ou une approximation amortie comme GGN/KFAC) de la perte à $\hat{\theta}$.
   • $G$ est la matrice de gradients empilés des pertes par échantillon.
   • $\tilde{w} = nw - \mathbf{1}$ représente les perturbations de poids centrées.
   • Cela réduit le problème à des opérations d'algèbre linéaire efficaces (produits matrice-vecteur) plutôt qu'à de l'optimisation.

3. Distribution prédictive :

   • Incertitude épistémique : Propagée dans l'espace de prédiction via une mise à jour linéarisée (pushforward de Jacobienne) ou en évaluant le modèle aux paramètres perturbés.
   • Incertitude aléatoire : Ajoutée post-hoc en utilisant une estimation du bruit résiduel (par exemple, un bruit gaussien homoscédastique pour la régression).

4. Calibration via $\alpha$ : Le paramètre de concentration de Dirichlet $\alpha$ agit comme un scalaire de dispersion globale. Il est ajusté sur un ensemble de validation pour atteindre la couverture empirique cible (pour la régression) ou les règles de score optimales (pour la classification), corrigeant ainsi la sous-dispersion ou la sur-dispersion globale.

3. Principales contributions

Le document apporte trois contributions principales :

1. Formalisation de Ribbon : Il établit la connexion théorique entre Ribbon, le bootstrap bayésien, les fonctions d'influence et les approximations de Laplace.
2. Garanties théoriques :
   • Spécification correcte : Sous une spécification de vraisemblance correcte avec $\alpha=1$, Ribbon est asymptotiquement équivalent à l'approximation de Laplace à priorité plate ($N(\hat{\theta}, H^{-1}/n)$).
   • Mauvaise spécification : Sous une mauvaise spécification du modèle, Ribbon récupère naturellement la forme de la covariance sandwich robuste ($H^{-1}H_F H^{-1}/n$), où $H_F$ est le second moment du gradient empirique. Cela capture la variabilité de l'échantillonnage ignorée par les méthodes basées uniquement sur la courbure.
   • Calibration : Il fournit des garanties asymptotiques pour la cohérence de la calibration basée sur la validation sous des hypothèses de régularité.
3. Validation empirique : Les auteurs démontrent que Ribbon fournit des estimations d'incertitude robustes et bien calibrées à travers des benchmarks de régression synthétique, de régression California Housing et de classification MNIST, surpassant souvent les approximations de Laplace standard et égalant les ensembles profonds (Deep Ensembles) sans le coût de réentraînement.

4. Résultats empiriques

Le document évalue Ribbon par rapport aux Deep Ensembles, au Dropout de Monte Carlo (MC Dropout), aux approximations de Laplace standard et, lorsque cela est possible, au réentraînement par Bootstrap et à l'échantillonnage de Hamiltonien Monte Carlo (HMC).

• Régression de sinus hétéroscédastique synthétique : Dans un cadre délibérément mal spécifié (données hétéroscédastiques, modèle homoscédastique), Ribbon a atteint une couverture in-distribution (ID) quasi nominale (90,2 %) et a maintenu une expansion out-of-distribution (OOD) modérée (86,1 %). Il a nettement surpassé l'approximation de Laplace standard (75,3 % ID, 74,5 % OOD) et le MC Dropout (qui a totalement échoué sur l'OOD).
• Régression California Housing : Ribbon a obtenu une couverture quasi nominale (91,4 % au total) et le score CRPS le plus bas parmi les méthodes à ajustement unique. Il a surpassé l'approximation de Laplace standard, qui présentait une sur-couverture sévère (95,8 %) et un mauvais CRPS.
• Classification MNIST : Les variantes de Ribbon étaient compétitives avec les approximations de Laplace à l'échelle de tous les paramètres et nettement mieux calibrées que le MC Dropout (ECE et scores de Brier plus faibles). Bien que les Deep Ensembles aient atteint la précision la plus élevée, Ribbon a fourni une quantification de l'incertitude stable avec un surcoût computationnel minimal.
• Efficacité de calcul : Ribbon ne nécessite qu'un seul ajustement de modèle. Son coût post-hoc est dominé par les résolutions de systèmes matrice-vecteur et les produits Jacobien-vecteur, ce qui le rend des ordres de grandeur plus rapide que le réentraînement par bootstrap ou HMC, et comparable ou plus rapide que le MC Dropout et Laplace.

5. Signification et affirmations

Le document positionne Ribbon comme une solution pratique à la tension entre les approximations basées sur la courbure, scalables mais fragiles, et les méthodes de rééchantillonnage robustes mais coûteuses.

• Robustesse : En exploitant la linéarisation par fonction d'influence, Ribbon hérite de la robustesse du bootstrap, s'adaptant automatiquement à la mauvaise spécification du modèle via la structure de la covariance sandwich.
• Scalabilité : Il évite le coût prohibitif des réajustements répétés, rendant la quantification de l'incertitude robuste réalisable pour les modèles modernes à grande échelle.
• Calibration : L'introduction du paramètre de concentration ajustable $\alpha$ fournit un mécanisme transparent pour aligner l'incertitude prédictive avec les fréquences observées, traitant le problème courant de la mauvaise calibration dans les méthodes bayésiennes scalables.

Les auteurs notent que Ribbon hérite des limites des approximations linéaires locales ; sa validité dépend de la lissé de la surface de perte et de la qualité de l'approximation de la courbure. Dans des régimes hautement non convexes ou discontinus, la linéarisation peut échouer à capturer les interactions non linéaires. Cependant, les preuves empiriques suggèrent qu'avec un amortissement approprié et des approximations de courbure (par exemple, KFAC, GGN), Ribbon reste un outil hautement efficace et efficace sur le plan computationnel pour la quantification de l'incertitude prédictive.