Résumé Technique : Approximation de Laplace Auto-Supervisée pour la Quantification de l'Incertain Bayésienne

Énoncé du Problème

L'inférence bayésienne approximative (ABI) se concentre traditionnellement sur le calcul de la distribution a posteriori des paramètres du modèle, $p(\theta | D)$. Cependant, dans les applications pratiques, l'objet principal d'intérêt est souvent la distribution prédictive a posteriori, $p(\hat{y}_{n+1} | x_{n+1}, D)$, qui quantifie l'incertitude des prédictions plutôt que celle des paramètres eux-mêmes.

Les méthodes standard pour approximer la distribution prédictive a posteriori, telles que l'Inférence Variationnelle (VI), les Chaînes de Markov Monte Carlo (MCMC), ou les approximations de Laplace classiques appliquées à la distribution a posteriori des paramètres suivies d'un échantillonnage Monte Carlo (MC), entraînent souvent des surcoûts computationnels significatifs. Plus précisément, dans les Réseaux de Neurones Bayésiens (RNB), la nécessité d'un échantillonnage MC pour intégrer sur la distribution a posteriori des paramètres augmente drastiquement les coûts d'inférence. De plus, les alternatives déterministes existantes reposent souvent sur de fortes hypothèses distributionnelles ou restreignent la modélisation de l'incertitude à la dernière couche, limitant ainsi leur applicabilité aux modèles de régression profonde généraux.

Méthodologie

Les auteurs proposent l'Approximation de Laplace Auto-Supervisée (SSLA), une technique qui contourne le calcul explicite de la distribution a posteriori des paramètres pour approximer directement la distribution prédictive a posteriori. La méthode s'inspire des concepts d'apprentissage auto-supervisé et d'apprentissage semi-supervisé, spécifiquement l'idée d'apprendre à partir de données auto-prédites.

Mécanisme Central

L'idée fondamentale de la SSLA est de quantifier l'incertitude prédictive en observant comment l'ajustement d'un modèle change lorsqu'il est « réajusté » sur ses propres données auto-prédites.

1. Jeu de Données Augmenté : Étant donné un jeu de données d'entraînement $D$ et une nouvelle entrée $x_{n+1}$, le modèle génère une prédiction ponctuelle $\hat{y}_{n+1}$ (par exemple, la prédiction MAP). Un jeu de données augmenté $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ est construit.
2. Réajustement : Le modèle est réajusté sur $D_{n+1}$ pour trouver un nouvel optimum $\tilde{\theta}$.
3. Quantification de l'Incertain : L'incertitude prédictive est dérivée du changement dans la vraisemblance, l'a priori et la courbure (information de Fisher) du modèle induit par l'inclusion de la auto-prédiction.
   • Si le modèle attribue une forte vraisemblance à sa auto-prédiction (c'est-à-dire $\tilde{\theta} \approx \hat{\theta}$), la prédiction est considérée comme ayant une faible incertitude.
   • Si la auto-prédiction provoque un déplacement significatif de l'ajustement du modèle (grand changement de vraisemblance ou de courbure), la prédiction se voit attribuer une forte incertitude.

Formulation Mathématique

Les auteurs dérivent une approximation traitable pour la densité logarithmique prédictive a posteriori, $\log p(\hat{y}_{n+1} | x_{n+1}, D)$, qui se décompose en trois incréments interprétables évalués aux ajustements du modèle :
$$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{Incident de Vraisemblance}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{Incident de Prior}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{Incident de Courbure}}$$
Où :

• $\hat{\theta}$ est l'estimation MAP sur $D$.
• $\tilde{\theta}$ est l'estimation MAP sur $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$.
• $\ell$ et $\tilde{\ell}$ sont les log-vraisemblances.
• $J$ et $\tilde{J}$ sont les matrices d'information de Fisher observées (Hessiennes négatives).

Variante Approximative (ASSLA)

Pour éliminer le coût computationnel du réajustement du modèle (résolution de $\tilde{\theta}$), les auteurs introduisent l'ASSLA Approximative (ASSLA).

• Développement Asymptotique : Des résultats théoriques (Lemme 1, Théorème 1) montrent que pour un $n$ grand, la différence entre l'optimum augmenté $\tilde{\theta}$ et l'optimum original $\hat{\theta}$ est de l'ordre $O(n^{-1})$.
• Simplification : L'ASSLA approxime $\tilde{\theta} \approx \hat{\theta}$ et ne conserve que les termes d'ordre dominant. Cela permet à la méthode d'évaluer l'incertitude prédictive en utilisant uniquement l'ajustement original $\hat{\theta}$ et les contributions de courbure locale de la nouvelle pseudo-observation, évitant ainsi la nécessité d'une seconde étape d'optimisation.
• Modularité du Prior : Dans l'approximation ASSLA, l'incrément de prior est supprimé en tant que terme d'ordre supérieur, rendant la méthode computationnellement efficace tout en conservant sa sensibilité aux changements de vraisemblance et de courbure.

Contributions Clés

1. Approximation Prédictive Directe : Un cadre novateur qui approxime la distribution prédictive a posteriori directement, contournant la distribution a posteriori des paramètres et le besoin d'échantillonnage Monte Carlo.
2. Mécanisme Auto-Supervisé : L'introduction d'une approximation de Laplace basée sur l'apprentissage auto-supervisé où l'incertitude est quantifiée via la sensibilité de l'ajustement du modèle aux données auto-prédites.
3. Modularité : La formulation SSLA permet l'insertion de différentes spécifications de prior sans réentraînement, facilitant l'analyse de sensibilité bayésienne concernant le choix du prior.
4. Efficacité Computationnelle : La dérivation de l'ASSLA, qui supprime l'exigence de réajustement, rend la méthode évolutive vers de grands modèles et jeux de données tout en maintenant une calibration compétitive.
5. Justification Théorique : Des preuves rigoureuses caractérisant l'erreur d'approximation de l'ASSLA, démontrant que l'erreur diminue linéairement avec la taille de l'échantillon $n$ sous des conditions de régularité standard.

Résultats Expérimentaux

Les auteurs ont évalué (A)SSLA sur des tâches de régression allant des modèles analytiques conjugués à la régression hétéroscédastique complexe avec des réseaux de neurones.

• Modèles Conjugués : Dans les configurations Normale-Normale et Poisson-Gamma, SSLA et ASSLA correspondaient étroitement aux distributions prédictives a posteriori calculées analytiquement sur des tailles d'échantillon allant de $n=20$ à $n=1\,000\,000$. Des instabilités numériques dans ASSLA ont été observées uniquement pour de très grands $n$ ($>10^6$) en raison d'annulations de virgule flottante, résolues en utilisant la double précision.
• Régression Hétéroscédastique (Synthétique) : Sur des données synthétiques avec un bruit dépendant de l'entrée, ASSLA a produit des intervalles de crédibilité plus lisses et plus serrés que les approximations de Laplace classiques (qui étaient trop conservatrices) et était compétitif par rapport à l'Inférence Variationnelle (VI) et aux Chaînes de Markov Hamiltoniennes (HMC). Cependant, ASSLA a montré une tendance à sous-estimer légèrement l'incertitude dans les intervalles larges par rapport à HMC.
• Benchmarks Réels : Évalué sur divers jeux de données UCI (par exemple, Béton, Qualité du Vin, Partage de Vélos) :
  • Calibration : ASSLA a généralement obtenu un Meilleur Log-Vraisemblance Négatif (NLL) et un Meilleur Score de Probabilité Rangée Continue (CRPS) que l'approximation de Laplace classique, indiquant des prédictions plus nettes et mieux calibrées.
  • Couverture : Bien qu'ASSLA ait parfois présenté une sous-couverture dans des régimes difficiles (par exemple, le jeu de données Troubles du Foie avec un faible rapport signal/bruit), il surpassait souvent la base de Laplace conservatrice qui produisait des intervalles trop larges.
  • Efficacité : ASSLA offrait un compromis favorable entre coût computationnel et qualité prédictive, évitant le surcoût élevé de l'échantillonnage MC.

Signification et Revendications

L'article revendique que (A)SSLA offre une alternative déterministe, sans échantillonnage aux techniques d'inférence bayésienne standard pour la quantification de l'incertitude prédictive. La signification réside dans :

• Contournement de l'Intratabilité : Elle évite le goulot d'étranglement computationnel de l'intégration sur l'espace des paramètres via l'échantillonnage MC, qui est une limitation majeure en Deep Learning Bayésien.
• Applicabilité Pratique : La méthode est applicable aux modèles de régression profonde génériques et prend en charge une spécification modulaire du prior, ce qui est particulièrement pertinent pour des domaines émergents comme le Deep Learning Bayésien Crédal.
• Gestion des Compromis : Les auteurs positionnent ASSLA comme une méthode qui équilibre la faisabilité computationnelle avec une calibration probabiliste compétitive, offrant une solution pratique pour les tâches de régression réelles où l'inférence bayésienne complète est trop coûteuse.

Les auteurs restent modestes concernant les limitations, reconnaissant que SSLA peut devenir instable sur des jeux de données très volumineux ou en cas de conflits prior-données, et que ASSLA peut sous-estimer l'incertitude dans les régions de forte variance. Ils suggèrent que ces méthodes devraient être utilisées conjointement avec la détection de dérive/de données hors distribution (OOD) et une modélisation de vraisemblance robuste.