💻 computer science

Large-scale Score-based Variational Posterior Inference for Bayesian Deep Neural Networks

Ce papier propose une nouvelle méthode d'inférence variationnelle basée sur le score, évolutive, pour les réseaux de neurones profonds bayésiens, qui combine une fonction de perte de matching de score avec une pénalité proximale pour surmonter l'effondrement des modes et permettre un entraînement efficace sur des architectures à grande échelle telles que les Transformers de vision sans échantillonnage reparamétré.

Auteurs originaux : Minyoung Kim

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minyoung Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver le meilleur itinéraire à travers une immense chaîne de montagnes enveloppée de brouillard pour atteindre un trésor caché. Dans le monde de l'Intelligence Artificielle, ce « trésor » représente l'ensemble parfait de règles (paramètres) pour un réseau de neurones afin de résoudre un problème, comme reconnaître un chat sur une photo ou prédire la météo.

Comme la montagne est si vaste et brouillée, nous ne pouvons pas voir l'ensemble de la carte d'un coup. Nous devons deviner notre chemin. C'est ici qu'intervient l'Apprentissage Profond Bayésien. Au lieu de simplement choisir une seule meilleure trajectoire (qui pourrait être une impasse), il tente de comprendre l'ensemble du paysage des trajectoires possibles, nous offrant ainsi un sentiment d'incertitude et de sécurité.

L'article introduit une nouvelle façon, plus intelligente, de naviguer dans ce brouillard montagneux. Voici le détail utilisant des analogies simples :

1. L'Ancienne Méthode : La Boussole « KL Inverse » (ELBO)

Pendant longtemps, la méthode standard pour naviguer consistait à utiliser une approche appelée Inférence Variationnelle (VI) basée sur quelque chose appelé ELBO.

L'Analogie : Imaginez que vous avez une boussole qui ne vous indique que comment atteindre le sommet le plus proche. Elle est très bonne pour trouver un point haut rapidement.
Le Problème : S'il y a deux sommets distincts (deux bonnes solutions différentes) et que vous commencez près de l'un, cette boussole reste bloquée sur ce seul sommet. Elle ignore l'autre. En termes techniques, cela s'appelle un « effondrement de mode ». Elle pense qu'il n'y a qu'une seule réponse alors qu'il pourrait y en avoir plusieurs.

2. Les Tentatives « Basées sur le Score » Précédentes

Les chercheurs ont essayé une approche différente appelée VI basée sur le score.

L'Analogie : Au lieu de chercher un sommet, imaginez que vous essayez de faire correspondre la « pente » du terrain. Vous voulez que la pente de votre carte corresponde exactement à la pente de la vraie montagne.
Le Problème : Les versions précédentes de cette méthode étaient comme essayer de conduire un char lourd dans une rue de ville étroite. Elles nécessitaient trop de puissance de calcul (comme calculer la forme de toute la montagne d'un coup) et ne pouvaient pas gérer les données « bruyantes » (où vous ne voyez qu'un petit pan de la montagne à la fois). Elles étaient trop lentes et trop lourdes pour les modèles d'IA modernes et gigantesques (comme les Transformers de vision).

3. La Nouvelle Solution : Le Randonneur « Matching de Score Proximal »

Les auteurs proposent une nouvelle méthode qui combine le meilleur des deux mondes. Imaginez un randonneur qui fait de petits pas prudents tout en vérifiant constamment sa pente par rapport à la vraie montagne.

Voici comment cela fonctionne, étape par étape :

L'Étape « Proximale » (Le Filet de Sécurité) :
Imaginez que vous faites de la randonnée. Si vous essayez de changer de trajectoire trop radicalement en une seule étape, vous pourriez tomber d'une falaise. Cette nouvelle méthode ajoute une « pénalité proximale ». C'est comme une corde de sécurité qui dit : « Ne sautez pas trop loin de l'endroit où vous êtes actuellement. » Elle force la nouvelle hypothèse à rester proche de l'hypothèse précédente, rendant le voyage stable et empêchant les sauts sauvages et inexacts.
Gérer les Données « Bruyantes » (Le Mini-Lot) :
Dans le passé, pour vérifier la pente, vous deviez d'abord parcourir toute la montagne (ce qui prend une éternité). Cette nouvelle méthode vous permet de vérifier la pente sur un simple petit pan de la montagne (un « mini-lot ») à la fois.
- La Magie : Bien que regarder seulement un petit pan vous donne une lecture « bruyante » ou légèrement inexacte, les mathématiques de cet article prouvent que si vous continuez à faire ces petits pas bruyants, vous finirez par trouver le chemin parfait. Cela le rend assez rapide pour les énormes modèles d'IA.
Pas de « Astuce de Reparamétrisation » :
Les anciennes méthodes utilisaient souvent une « astuce magique » compliquée (reparamétrisation) pour faire fonctionner les mathématiques, ce qui était comme essayer de résoudre un puzzle en le retournant à l'envers. Cette nouvelle méthode résout le puzzle directement, la rendant plus flexible et efficace.

4. Pourquoi Cela Compte (Les Résultats)

Les auteurs ont testé ce nouveau randonneur sur des terrains très difficiles :

Géants de la Reconnaissance d'Images : Ils l'ont testé sur des modèles d'IA massifs (comme ResNet et les Transformers de vision) utilisés pour identifier des animaux de compagnie, des fleurs et des avions.
Prévision de Séries Temporelles : Ils l'ont testé pour prédire les tendances futures (comme le trafic ou la météo).

Les Constats :

Meilleure Incertitude : Contrairement à l'ancienne méthode de « boussole », ce nouveau randonneur ne s'est pas bloqué sur un seul sommet. Il a trouvé une meilleure compréhension de l'ensemble du paysage, ce qui signifie que l'IA est plus honnête sur ce qu'elle sait et ce qu'elle ne sait pas.
Vitesse et Échelle : Il a fonctionné sur des modèles comportant des centaines de millions de paramètres (comme le Transformer de vision), ce que les méthodes « basées sur le score » précédentes ne pouvaient pas gérer.
Efficacité : Il n'a pas nécessité significativement plus de mémoire informatique ou de temps que les anciennes méthodes standard, mais il a donné de bien meilleurs résultats.

Résumé

L'article présente un nouvel outil de navigation pour l'IA. Au lieu de rester bloqué sur une seule solution ou de nécessiter un supercalculateur pour calculer toute la carte d'un coup, cette nouvelle méthode fait de petits pas sûrs et efficaces. Elle permet aux géants des modèles d'IA de mieux comprendre le « brouillard » de l'incertitude, les rendant plus fiables pour des tâches réelles comme la reconnaissance d'images ou la prévision de l'avenir.

Résumé technique : Inférence variationnelle de posterior basée sur le score à grande échelle pour les réseaux de neurones profonds bayésiens

Énoncé du problème

Les réseaux de neurones profonds bayésiens (RNPB) offrent des avantages significatifs par rapport à l'apprentissage profond par estimation ponctuelle, notamment une quantification robuste de l'incertitude, une résistance au bruit et une atténuation du surapprentissage. Cependant, l'inférence de posterior exacte dans les RNPB est généralement intraitable. L'inférence variationnelle (IV) est une méthode d'approximation dominante qui formule l'inférence comme un problème d'optimisation en approchant le posterior cible $\pi(\theta)$ par une distribution traitable $q_\lambda(\theta)$ .

L'approche dominante actuelle, l'IV basée sur la borne inférieure de la vraisemblance (ELBO) (minimisant la divergence de Kullback-Leibler inverse), souffre d'un problème bien connu de « collapse des modes », où l'approximation échoue à capturer tous les modes de la densité cible. Bien que les méthodes IV basées sur le score (qui minimisent la différence entre le score cible $\nabla_\theta \log \pi(\theta)$ et le score du modèle $\nabla_\theta \log q_\lambda(\theta)$ ) puissent théoriquement résoudre le collapse des modes, les approches basées sur le score existantes ne sont pas évolutives aux RNPB à grande échelle. Plus précisément :

Intratabilité computationnelle : Des méthodes comme l'appariement de scores gaussiens (GSM) et Batch-and-Match (BaM) reposent sur des inversions ou des multiplications de matrices qui s'échelle de manière cubique ou quadratique avec la dimension de l'état, les rendant prohibitives pour les paramètres de réseaux de neurones de haute dimension.
Incompatibilité avec les gradients stochastiques : Les méthodes basées sur le score existantes nécessitent généralement des scores exacts ou ne peuvent pas gérer des scores de mini-lots bruyants et non biaisés dérivés de gradients stochastiques, qui sont essentiels pour l'entraînement sur de grands ensembles de données.
Contraintes de reparamétrisation : De nombreuses méthodes reposent sur un échantillonnage reparamétrisé, qui peut être coûteux en calcul ou instable en haute dimension.

Méthodologie

Les auteurs proposent un nouvel algorithme d'IV basée sur le score avec gradient stochastique proximal conçu pour s'adapter aux RNPB à grande échelle, y compris les Transformers de vision (ViT) et les ResNets.

Objectif d'optimisation principal

La méthode met à jour itérativement la distribution variationnelle $q_t(\theta)$ vers $q_{t+1}(\theta)$ en résolvant le problème d'optimisation suivant à chaque itération $t$ :

$q_{t+1} = \arg \min_{q \in \mathcal{Q}} \mathbb{E}_{\theta \sim q_t(\theta)} \left[ \alpha_t \|\nabla_\theta \log q(\theta) - \nabla_\theta \log q_t(\theta)\|_2^2 + \|\nabla_\theta \log q(\theta) - s(\theta)\|_2^2 \right]$

Où :

$s(\theta) = \nabla_\theta \log \pi(\theta)$ est le score cible.
$\alpha_t$ est un paramètre d'impact proximal adaptatif (planifié linéairement de 0 à une constante $\le 1$ ).
Le premier terme est une pénalité proximale imposant que la nouvelle itérée reste proche de l'itérée actuelle en termes de scores.
Le deuxième terme est la fonction de perte d'appariement de scores.

Innovations techniques clés

Gestion des scores de mini-lots bruyants : Contrairement aux méthodes basées sur le score précédentes qui nécessitent des scores exacts, cette approche utilise des scores de mini-lots bruyants et non biaisés $\hat{s}(\theta)$ obtenus via des gradients stochastiques. La linéarité du terme de score dans la fonction de perte garantit que le gradient de la perte par rapport aux paramètres variationnels $\lambda$ reste une estimation non biaisée, même avec des scores bruyants.
Évitement de la reparamétrisation : Le terme proximal permet de prendre l'espérance par rapport à la distribution actuelle fixe $q_t$ plutôt que par rapport à la variable $q$ . Cela contourne le besoin de l'astuce de reparamétrisation (utilisée dans l'ADVI) et évite de dériver deux fois par rapport à $\theta$ (nécessaire par les méthodes traditionnelles de Fisher/Score), réduisant considérablement la surcharge computationnelle et l'empreinte mémoire.
Évolutivité : En utilisant des normes euclidiennes au lieu de normes induites par la covariance (qui nécessitent une inversion de matrice) et en prenant en charge les gradients stochastiques, la méthode s'adapte aux réseaux avec des centaines de millions de paramètres (par exemple, ViT-L-32 avec environ 305 millions de paramètres).

Convergence théorique

Les auteurs fournissent un théorème de convergence (Théorème 3.1) stipulant que, sous l'hypothèse que la famille variationnelle est suffisamment riche pour représenter des champs de vecteurs lisses, le score de la distribution variationnelle converge vers le score cible à mesure que les itérations augmentent. Bien que l'hypothèse de richesse représentationnelle soit idéale, les auteurs notent qu'elle est vérifiée exactement si le vrai posterior et la famille variationnelle sont tous deux gaussiens.

Contributions clés

Algorithme novateur : Introduction d'un algorithme d'IV d'appariement de scores avec gradient stochastique proximal qui combine une perte d'appariement de scores avec une pénalité proximale.
Évolutivité aux RNPB à grande échelle : La méthode est la première approche IV basée sur le score démontrée comme fonctionnant efficacement sur des réseaux profonds à grande échelle (ResNets, ViTs) et de grands ensembles de données, surmontant les goulots d'étranglement computationnels du GSM et du BaM.
Robustesse au bruit : L'algorithme gère efficacement les scores de mini-lots bruyants et non biaisés, permettant l'utilisation de gradients stochastiques sans nécessiter de calculs de scores sur des lots complets.
Élimination de la reparamétrisation : La méthode évite l'astuce de reparamétrisation, simplifiant le paysage d'optimisation et améliorant l'efficacité par rapport à l'ADVI basée sur l'ELBO.

Résultats expérimentaux

Les auteurs ont évalué la méthode sur des données synthétiques, le benchmark PosteriorDB et des tâches réelles à grande échelle :

Données synthétiques : Sur des cibles gaussiennes et des mélanges gaussiens, la méthode proposée a démontré une convergence plus rapide et une meilleure robustesse aux choix de paramètres initiaux (spécifiquement concernant les petites valeurs propres de covariance) par rapport à l'ADVI, au GSM et au BaM. Elle a géré avec succès le décalage de modèle et les espaces d'état de haute dimension où le GSM/BaM ont échoué en raison de problèmes numériques.
MNIST (RNPB à petite échelle) : Dans des régimes de faible quantité de données, la méthode a atteint des taux d'erreur de test comparables à l'ADVI mais a démontré une quantification de l'incertitude supérieure, comme en témoignent une erreur de calibration attendue (ECE) et une log-vraisemblance négative (NLL) plus faibles.
Reconnaissance visuelle à grande échelle (ResNet-101 et ViT-L-32) : Sur des ensembles de données tels que Pets, Flowers, Aircraft et DTD, la méthode a égalé la précision de prédiction de test de l'ADVI tout en la surpassant constamment dans les métriques d'incertitude (ECE et NLL). Les méthodes concurrentes (GSM, BaM, appariement de scores traditionnel) ont échoué en raison de contraintes de mémoire ou d'explosions numériques.
Prévision de séries temporelles : En utilisant l'architecture de réseau Koopa, la méthode a surpassé l'IV basée sur l'ELBO et les bases non bayésiennes en termes de MSE, MAE et NLL sur plusieurs ensembles de données (ECL, ETTh2, Ex. Rate, ILI, Traffic, Weather).
Flots normalisants : La méthode a été étendue aux densités variationnelles de flots normalisants, montrant des améliorations constantes par rapport à l'ADVI sur les tâches de séries temporelles.
Efficacité : Bien que maintenant à la fois les itérées précédentes et actuelles, le temps réel et l'empreinte mémoire GPU étaient comparables à l'ADVI, prouvant sa viabilité pratique pour l'entraînement à grande échelle.

Importance et affirmations

L'article affirme que ce travail fournit une alternative évolutive et flexible à l'IV basée sur l'ELBO dominante pour l'apprentissage profond bayésien à grande échelle. En abordant le problème de collapse des modes inhérent aux objectifs de KL inverse et en surmontant les limitations computationnelles des méthodes basées sur le score précédentes, l'algorithme proposé permet une inférence bayésienne rigoureuse sur des architectures modernes à haute capacité comme les Transformers de vision.

Les auteurs soulignent que leur approche est empiriquement efficace sur divers benchmarks, offrant une meilleure quantification de l'incertitude sans sacrifier la performance prédictive. Ils notent modestement que, bien que la convergence théorique repose sur de fortes hypothèses concernant l'expressivité de la famille variationnelle, les résultats empiriques soutiennent l'utilité de la méthode en pratique. Ce travail positionne l'IV basée sur le score comme une voie viable et évolutive pour l'apprentissage profond bayésien, allant au-delà des contraintes des approches antérieures limitées aux gaussiennes ou aux lots complets.