📊 statistics

AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods

Cet article introduit AdAdaGrad et sa variante scalaire AdAdaGradNorm, des schémas de taille de lot adaptative pour les méthodes de gradient adaptatif qui augmentent progressivement les tailles de lots pendant l'entraînement afin d'atteindre des garanties de convergence théoriques et d'améliorer à la fois l'efficacité de l'entraînement et la généralisation du modèle dans l'apprentissage profond à grande échelle.

Auteurs originaux : Tim Tsz-Kit Lau, Han Liu, Mladen Kolar

Publié 2026-08-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tim Tsz-Kit Lau, Han Liu, Mladen Kolar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, les outils les plus puissants sont construits en apprenant aux ordinateurs à apprendre à partir d'océans de données vastes. Ce processus d'apprentissage repose sur une méthode appelée descente de gradient stochastique, que l'on peut comparer à un randonneur tentant de trouver le point le plus bas dans une vallée montagneuse et brumeuse. Le randonneur ne peut pas voir l'ensemble du paysage d'un seul coup d'œil, il fait donc de petits pas basés sur la pente située directement sous ses pieds. Pour se déplacer efficacement, le randonneur doit décider combien d'échantillons du terrain il doit vérifier avant de faire un pas. S'il en vérifie trop peu, sa vision est bruitée et il risque de trébucher ; s'il en vérifie trop, il avance trop lentement et perd du temps. Pendant des années, la stratégie dominante dans l'entraînement à grande échelle a consisté à vérifier autant de terrain que possible à la fois, en utilisant des groupes de données massifs pour accélérer le processus. Cependant, cette approche mène souvent à un problème subtil : alors que l'ordinateur apprend très bien les données d'entraînement, il peine à être performant sur de nouvelles données inédites. Ce décalage, connu sous le nom de fossé de généralisation, suggère que la taille même du groupe de données compte autant que la vitesse de l'apprentissage.

Les chercheurs Tim Tsz-Kit Lau, Han Liu et Mladen Kolar ont développé une nouvelle approche pour résoudre ce dilemme, en introduisant un système qui ajuste automatiquement la taille du groupe de données pendant l'entraînement. Au lieu de s'en tenir à un nombre fixe ou de suivre un calendrier rigide, leur méthode, appelée AdAdaGrad, observe le processus d'apprentissage en temps réel et décide quand augmenter la quantité de données traitées. L'idée centrale est de commencer avec un petit groupe de données gérable pour permettre un apprentissage flexible, puis d'élargir progressivement la taille du groupe à mesure que le modèle gagne en confiance. Cette expansion n'est pas aléatoire ; elle est pilotée par un test statistique qui mesure à quel point le groupe de données est cohérent avec lui-même. Si le groupe est cohérent, le système sait qu'il est sûr d'examiner plus de données à la fois. Si le groupe est bruité, il reste petit pour éviter de confondre le modèle. Cet ajustement dynamique permet à l'ordinateur de profiter de la vitesse des grands groupes de données dans les phases ultérieures de l'entraînement, tout en conservant l'apprentissage minutieux et précis des petits groupes dans les premières étapes.

Les chercheurs ont testé cette idée sur plusieurs tâches différentes, allant de problèmes mathématiques simples à des systèmes complexes de reconnaissance d'images identifiant des chiffres manuscrits et des objets comme des voitures ou des avions. Dans ces expériences, ils ont comparé leur méthode adaptative à des approches standards utilisant des tailles de lots fixes. Les résultats ont montré que leur système pouvait atteindre une précision élevée sur de nouvelles données tout en utilisant moins d'étapes totales pour y parvenir. Par exemple, lors de l'entraînement d'un réseau neuronal pour reconnaître des images du jeu de données CIFAR-10, la méthode adaptative a atteint une précision de validation de plus de 90 % avec une configuration spécifique, alors que les méthodes à taille fixe peinaient souvent à égaler cette performance sans sacrifier la vitesse. L'étude a révélé que l'approche adaptative était particulièrement efficace pour réduire le fossé entre la manière dont le modèle apprenait ses données d'entraînement et sa performance sur de nouvelles données. Cela suggère que le moment où un modèle voit de grandes quantités de données est aussi critique que la quantité elle-même.

Une découverte clé de ce travail est que cette stratégie adaptative fonctionne bien même lorsqu'elle est combinée à des algorithmes d'apprentissage modernes qui ajustent leurs propres tailles de pas automatiquement. Les chercheurs ont prouvé mathématiquement que leur méthode converge vers une solution stable avec une haute probabilité, ce qui signifie que le modèle trouvera de manière fiable une bonne réponse sans rester bloqué ou diverger. Ils ont également démontré que la méthode est efficace en pratique, capable d'utiliser toute la puissance du matériel informatique moderne en passant finalement à de très grands groupes de données lorsque le processus d'entraînement le permet. Dans un test spécifique impliquant un large réseau de reconnaissance d'images, la méthode adaptative a pu utiliser la taille maximale de groupe de données disponible pendant la majeure partie de l'entraînement, tout en obtenant de meilleurs résultats qu'une méthode utilisant un groupe plus petit et fixe tout au long du processus. Cela indique que le système a réussi à équilibrer le besoin de vitesse et le besoin de précision.

L'article souligne également que cette approche n'est pas limitée à un seul type d'algorithme d'apprentissage. Les chercheurs ont montré que la même logique adaptative pouvait être appliquée à différentes variations de la descent de gradient, y compris celles qui ajustent les taux d'apprentissage pour chaque paramètre individuel du modèle. Bien que les détails mathématiques de ces variations diffèrent, le principe sous-jacent de surveillance de la cohérence des données pour décider de la taille du groupe est resté efficace dans tous les cas. Les auteurs ont noté que, bien que leurs expériences actuelles se soient concentrées sur des modèles et des ensembles de données plus petits pour démontrer le concept, la méthode est conçue pour passer à l'échelle des systèmes massifs utilisés dans l'intelligence artificielle moderne. Ils ont reconnu que la mise en œuvre de cela dans un environnement distribué, où de nombreux ordinateurs travaillent ensemble, présente des défis d'ingénierie qui nécessiteront des travaux supplémentaires. Cependant, les garanties théoriques et les résultats expérimentaux positifs suggèrent une voie prometteuse pour entraîner des modèles plus vastes de manière plus efficace et plus performante.

En fin de compte, ce travail offre une nouvelle façon de concevoir la manière dont les ordinateurs apprennent à partir des données. Il s'éloigne de l'idée que le plus grand est toujours le meilleur ou qu'un calendrier fixe est la seule façon de gérer la complexité. Au lieu de cela, il propose un système réactif qui s'adapte aux besoins du processus d'apprentissage au fur et à mesure qu'il se déroule. En laissant les données elles-mêmes dicter le rythme et l'étendue de l'apprentissage, les chercheurs ont montré qu'il est possible d'entraîner des modèles qui sont à la fois rapides et précis. Le succès de ces schémas adaptatifs suggère que l'avenir de l'entraînement des modèles à grande échelle pourrait résider dans la flexibilité, permettant aux systèmes de naviguer dans le paysage complexe de l'intelligence artificielle avec un niveau d'intuition que les règles fixes ne peuvent fournir.

Résumé Technique : AdAdaGrad – Schémas de Taille de Batch Adaptatifs pour les Méthodes de Gradient Adaptatives

1. Énoncé du Problème

Dans l'apprentissage profond à grande échelle, le choix de la taille de batch (taille de lot) dans l'optimisation par gradient stochastique par mini-lots est un hyperparamètre critique qui équilibre l'efficacité computationnelle et la généralisation du modèle. Bien que l'entraînement par grands lots soit dominant en raison des avancées matérielles (GPU/TPU), cela conduit souvent à un « écart de généralisation » (generalization gap), où les modèles entraînés avec de grands lots généralisent moins bien que ceux entraînés avec de petits lots. Ce phénomène est attribué au fait que l'entraînement par grands lots converge vers des minima abrupts (sharp minima) dans le paysage de la perte.

Les stratégies existantes pour atténuer cet écart reposent souvent sur des calendriers de taille de batch heuristiques (par exemple, tailles constantes ou warmups linéaires) ou sur une mise à l'échelle adaptative du taux d'apprentissage (par exemple, AdaScale). Cependant, ces approches manquent fréquemment de garanties de convergence théoriques rigoureuses, particulièrement pour les méthodes de gradient adaptatives (telles qu'AdaGrad et Adam), qui sont prévalentes dans le deep learning moderne. De plus, les méthodes d'échantillonnage adaptatif existantes (qui ajustent dynamiquement les tailles de batch en fonction des statistiques de gradient) ont principalement été analysées pour la descente de gradient stochastique (SGD) sous des hypothèses restrictives (par exemple, la convexité ou des pas de taille fixe), laissant un fossé entre la théorie et la pratique pour les optimiseurs adaptatifs dans des contextes non convexes.

2. Méthodologie

Le papier introduit AdAdaGrad et sa variante scalaire AdAdaGrad-Norm, qui intègrent des stratégies de taille de batch adaptatives avec des mises à jour de gradient adaptatives. La méthodologie centrale repose sur des méthodes d'échantillonnage adaptatif initialement développées pour le SGD, mais adaptées ici pour des pas de taille adaptatifs par coordonnée et scalaires.

2.1 Tests d'Échantillonnage Adaptatif

Les algorithmes augmentent dynamiquement la taille du batch $b_k$ pendant l'entraînement en fonction de la variance des gradients stochastiques par rapport au gradient complet. Deux tests principaux sont employés :

Test de Norme (Norm Test) : Vérifie si la variance du gradient du batch est bornée par une fraction de la norme au carré du gradient complet.
$\text{Var}_{i \in B_k}(\nabla f(x_k; \xi_i)) \leq \eta^2 \|\nabla F_{B_k}(x_k)\|^2$
Test de Produit Scalaire Augmenté : Une alternative plus douce qui contrôle la variance de la projection des gradients d'échantillons sur le gradient du batch, combinée à un test d'orthogonalité pour s'assurer que le gradient du batch n'est pas presque orthogonal au gradient complet.

2.2 Intégration avec les Optimiseurs Adaptatifs

Les schémas proposés combinent ces règles de taille de batch avec :

AdaGrad-Norm : Met à jour les paramètres en utilisant un pas scalaire $\alpha / \sqrt{v_k}$ , où $v_k$ accumule les normes au carré des gradients passés.
AdaGrad : Met à jour les paramètres en utilisant des pas par coordonnée $\alpha / \sqrt{v_k}$ , où $v_k$ accumule les carrés des gradients élément par élément.
Adaptation par Coordonnée : Pour AdaGrad, le papier propose un test de norme de variance exact par coordonnée, garantissant que la condition de variance est satisfaite pour chaque dimension de paramètre individuellement. Ceci est crucial car le préconditionneur d'AdaGrad est diagonal.

2.3 Détails d'Implémentation

L'implémentation pratique utilise des statistiques de batch empiriques calculées à partir du mini-lot actuel pour estimer la variance et déterminer la taille de batch suivante. Cela contraste avec l'analyse théorique, qui suppose une version de « test exact » où la taille du batch est choisie pour satisfaire des conditions de variance au niveau de la population. Les auteurs implémentent ces schémas dans PyTorch en utilisant torch.func et vmap pour un calcul efficace du gradient par échantillon.

3. Contributions Clés

3.1 Contributions Théoriques

Garanties de Convergence : Le papier établit des taux de convergence à haute probabilité de $\mathcal{O}(1/K)$ vers un point stationnaire de premier ordre pour des fonctions lisses non convexes en $K$ itérations. C'est une amélioration significative par rapport aux taux standards de $\mathcal{O}(1/\sqrt{K})$ souvent associés aux méthodes adaptatives sous variance bornée.
Lissité Généralisée : L'analyse de convergence pour AdAdaGrad-Norm est étendue à des fonctions satisfaisant une $(L_0, L_1)$ -lissité (lissité généralisée), une condition plus réaliste pour les architectures de deep learning (ex: Transformers) que la lissité $L$ -Lipschitzienne standard.
Croissance Forte Attendue (E-SG) : Les auteurs prouvent que la satisfaction des tests d'échantillonnage adaptatif exacts implique une condition de Croissance Forte Attendue le long des itérations, ce qui est un moteur clé pour l'amélioration des taux de convergence.
Analyse Novatrice pour les Optimiseurs Adaptatifs : L'analyse traite le défi technique du couplage du gradient stochastique à la fois dans la direction de mise à jour et dans le dénominateur adaptatif (ex: $\sqrt{v_k}$ ), une caractéristique absente de l'analyse standard du SGD.

3.2 Contributions Empiriques

Réduction de l'Écart de Généralisation : Les expériences sur des tâches de classification d'images (MNIST, CIFAR-10) démontrent que les schémas proposés peuvent réduire l'écart de généralisation entre les petits et les grands tailles de batch.
Compromis Efficacité vs Généralisation : Les méthodes permettent de commencer avec de petits lots (pour la généralisation) et d'augmenter progressivement vers de grands lots (pour l'efficacité) sans programmation manuelle.
Performance :
- AdAdaGrad (avec le test de norme) surpasse systématiquement les bases à batch constant et les méthodes adaptatives standards en précision de validation tout en maintenant une efficacité d'entraînement élevée.
- AdAdaGrad-Norm montre de solides performances, bien que dans certains contextes convexes, il puisse sous-performer par rapport au SGD avec des tailles de batch adaptatives.
- AdAdam : Une extension à Adam (AdAdam) montre des tendances similaires, atteignant une haute précision avec des tailles de batch effectives importantes et moins d'étapes que l'Adam à batch constant.

4. Résultats

Le papier valide ses affirmations par des expériences numériques sur :

Régression Logistique (MNIST) : Un problème convexe où AdAdaGrad a atteint la meilleure précision de validation (90 %) et la meilleure perte, bien qu'avec un compromis sur les étapes de calcul selon le paramètre $\eta$ .
CNN à trois couches (MNIST & CIFAR-10) : Sur des objectifs non convexes, AdAdaGrad a nettement surpassé AdaSGD et les bases à batch constant en précision de validation. Par exemple, sur MNIST, AdAdaGrad avec $\eta=0.1$ a atteint 96 % de précision en 149 itérations avec un batch moyen > 40 000, alors que les grands batches constants souffraient d'une faible généralisation.
ResNet-18 (CIFAR-10) : Les schémas proposés ont réussi à entraîner des modèles plus larges. AdAdaGrad avec $\eta=0.025$ a utilisé des batches complets (50 000) dans les phases ultérieures, atteignant une haute précision avec seulement 23 étapes supplémentaires par rapport à un batch constant de 50 000, tout en évitant la chute de généralisation observée avec la base à grand batch constant.

5. Signification et Revendications

Le papier affirme être le premier à fournir des schémas de taille de batch adaptatifs basés sur des méthodes d'échantillonnage adaptatif spécifiquement pour les méthodes de gradient adaptatives qui arrivent avec :

Des garanties de convergence rigoureuses (taux de haute probabilité $\mathcal{O}(1/K)$ ) pour des fonctions lisses non convexes.
Une forte performance empirique pour réduire l'écart de généralisation dans l'entraînement par grands lots.
Des implémentations efficaces compatibles avec les bibliothèques de deep learning modernes (PyTorch).

Les auteurs soulignent que leur travail met en évidence le potentiel des stratégies de taille de batch adaptatives pour automatiser le compromis entre efficacité d'entraînement et généralisation du modèle, particulièrement dans le contexte des optimiseurs adaptatifs qui sont désormais standards dans l'entraînement de modèles à grande échelle (ex: Transformers). Ils notent que bien que les résultats théoriques reposent sur des conditions de "test exact" idéalisées, les résultats empiriques utilisant des tests approximatifs basés sur le batch valident l'utilité pratique de l'approche.

Limites et Travaux Futurs : Le papier reconnaît que les tests par coordonnée sont coûteux en termes de calcul pour les modèles de haute dimension, menant à l'utilisation de tests de norme standards dans les expériences. Il note également que l'extension de ces schémas aux paradigmes d'entraînement distribué (Parallélisme de Données, Parallélisme de Tenseur) reste un domaine ouvert pour la recherche future.