Résumé Technique : SVRG et au-delà via la Correction de l'A Posteriori

Énoncé du Problème

Le Stochastic Variance Reduced Gradient (SVRG) et ses variantes sont des techniques établies pour accélérer l'optimisation stochastique en utilisant des gradients de lot complet (full-batch) pour stabiliser les mises à jour de mini-lots. Malgré plus d'une décennie de recherche et de nombreuses variantes pratiques (ex. : SAGA, SARAH, Spider), ces méthodes n'ont jamais été fondamentalement connectées à l'inférence bayésienne. Bien que la réduction de la variance ait été appliquée pour accélérer les procédures bayésiennes (ex. : l'inférence variationnelle stochastique), un lien théorique plus profond expliquant le SVRG par des principes bayésiens, ou utilisant des méthodes bayésiennes pour dériver de nouvelles extensions de SVRG, a fait défaut. De plus, les variantes existantes de type Newton de SVRG ne corrigent généralement que le gradient, négligeant les corrections de la matrice Hessienne, et le SVRG standard peine à offrir des accélérations dans les contextes de deep learning par rapport aux problèmes convexes.

Méthodologie

Les auteurs comblent cette lacune en dérivant le SVI (SVRG) comme un cas particulier de la Correction de l'A Posteriori (PoCo), une méthode bayésienne récemment proposée pour l'adaptation des connaissances (Khan, 2025).

Fondement Théorique

1. Règle d'Apprentissage Bayésienne (BLR) & Gradients Naturels : Le travail utilise la BLR, qui unifie les algorithmes d'apprentissage en optimisant sur des distributions $q(\theta)$ de la famille exponentielle en utilisant des gradients naturels. La règle de mise à jour dans l'espace des paramètres naturels $\lambda$ est donnée par :
   $$\lambda \leftarrow (1-\eta)\lambda - \eta \sum_{i=0}^N \tilde{\nabla} L_i(\lambda)$$
   où $\tilde{\nabla}$ désigne le gradient naturel.

2. Correction de l'A Posteriori (PoCo) : PoCo généralise la BLR en introduisant une estimation de l'a posteriori plus ancienne $\hat{q}_{out}$ (dérivée d'un paramètre plus ancien $\lambda_{out}$) pour corriger les mises à jour futures. La règle de mise à jour devient :
   $$q_{in} \leftarrow q_{in}^{1-\eta} \hat{q}_{out}^{\eta} \exp\left( -\eta N [\hat{\ell}_{i|in} - \hat{\ell}_{i|out}] \right)$$
   Ici, $\hat{\ell}$ représente des fonctions de perte de substitution linéaires. Cette formulation traite efficacement les corrections de gradient comme un mécanisme de transfert de connaissances entre les anciens et les nouveaux gradients.

3. Dérivation de SVRG à partir de PoCo :

   • En restreignant l'a posteriori $q$ à une Gaussienne isotrope $N(\theta | m, I)$ et en appliquant l'approximation de la méthode delta ($\mathbb{E}_q[\nabla \ell] \approx \nabla \ell(m)$), la mise à jour PoCo se réduit exactement à la règle de mise à jour standard de SVRG.
   • Cela établit le SVRG comme un cas particulier de la correction de l'a posteriori bayésienne où la « connaissance » est la moyenne d'une Gaussienne isotrope.

4. Nouvelles Extensions via des A Posteriori Flexibles :
   Le cadre permet de dériver de nouveaux algorithmes en choisissant différentes distributions a posteriori de la famille exponentielle :

   • Variante de type Newton (VON-PoCo) : En utilisant des Gaussiennes multivariées complètes $N(\theta | m, S^{-1})$, la méthode dérive naturellement des corrections pour la moyenne et la matrice de précision (inverse de la covariance). Cela aboutit à une estimation de la Hessienne à variance réduite (SVRH), corrigeant la Hessienne en plus du gradient. Cela diffère des travaux précédents sur Newton-SVRG qui ne corrigent que les gradients.
   • Variante de type Adam (IVON-PoCo) : En utilisant des Gaussiennes diagonales, les auteurs dérivent une version à variance réduite de l'optimiseur Improved Variational Online Newton (IVON). Cette variante, nommée IVON-PoCo (et sa version avec momentum IVON-PoCoMo), est capable de passer à l'échelle sur de grands problèmes. Elle utilise des « mega-batches » (de grands sous-ensembles de données) pour estimer les statistiques du lot complet, employant un facteur de pondération $\alpha$ pour gérer l'écart par rapport aux hypothèses de lot complet strictes.

Contributions Clés

1. Unification Théorique : L'article fournit le premier lien fondamental entre SVRG et les méthodes bayésiennes, montrant que SVRG est un cas particulier de la Correction de l'A Posteriori sur des Gaussiennes isotropes. Cela recadre la correction de gradient comme un mécanisme de transfert de connaissances.
2. Dérivation de Nouveaux Algorithmes :
   • VON-PoCo : Une variante de SVRG de type Newton qui intègre automatiquement des corrections de la Hessienne, une caractéristique absente de la littérature existante sur Newton-SVRG.
   • IVON-PoCo : Une extension scalable de type Adam qui applique la réduction de variance à l'optimiseur IVON, adaptée au deep learning.
3. Évaluation Empirique : Les auteurs évaluent ces méthodes sur la régression logistique, la classification d'images (ResNets sur CIFAR-10 et ImageNet) et le pré-entraînement de modèles de langage (GPT-2).

Résultats

• Problèmes Convexes (Régression Logistique) : Sur des jeux de données comme MNIST, Covertype et CIFAR-10, tant VSGD-PoCo (premier ordre) qu'IVON-PoCo (second ordre) surpassent significativement leurs homologues non corrigés (VSGD et IVON). Ils atteignent une précision comparable à L-BFGS en lot complet avec moins d'évaluations de gradient, reflétant l'accélération que SVRG apporte à SGD.
• Deep Learning (ImageNet & GPT-2) :
  • Sur ImageNet (ResNet-50), IVON-PoCo montre des améliorations claires de la précision de test lorsqu'elle est mesurée par étapes d'optimisation, bien que les gains diminuent lorsqu'ils sont mesurés par nombre total d'exemples de données vus (ce qui est cohérent avec les conclusions précédentes sur SVRG en deep learning).
  • Sur le pré-entraînement de GPT-2 (125M), IVON-PoCoMo améliore la perplexité de validation finale par rapport à AdamW et l'IVON standard. Cependant, les auteurs notent que ces améliorations ne se traduisent pas par des accélérations tangibles en temps de calcul réel (wall-clock time) ou en efficacité de calcul de gradient par rapport à l'augmentation simple de la taille du lot ou à l'utilisation d'optimiseurs standards.
  • Les résultats s'alignent sur Defazio & Bottou (2019), suggérant que les méthodes de réduction de variance font actuellement face à des défis pour fournir des accélérations de temps d'exécution en deep learning par rapport aux contextes convexes.

Signification et Revendications

L'article affirme poser une base pour des travaux futurs en connectant SVRG aux principes bayésiens.

• Nouvelle Perspective : Il offre une interprétation inédite de SVRG comme une méthode d'adaptation des connaissances, la généralisant à travers le prisme de la Correction de l'A Posteriori.
• Innovation Algorithmique : Il démontre que les principes bayésiens peuvent générer automatiquement des extensions complexes (comme les corrections de la Hessienne) qui sont difficiles à dériver via les heuristiques standard de SVRG.
• Revendications Modérées sur le Deep Learning : Les auteurs sont explicites sur le fait que, bien que leurs méthodes améliorent les performances finales des modèles (précision/perplexité) sur les tâches de deep learning, elles ne fournissent pas encore les mêmes accélérations de calcul observées dans les problèmes convexes. Ils considèrent ce travail comme une étape vers l'amélioration potentielle de l'efficacité de la réduction de la variance pour le deep learning à l'avenir, plutôt que comme une solution immédiate aux inefficacités de temps d'exécution observées dans le deep learning actuel.