🤖 machine learning

Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

Cet article propose des formulations en temps continu des algorithmes d'optimisation AdaGrad, RMSProp et Adam sous forme d'équations intégro-différentielles du premier ordre et valide leur exactitude par des simulations numériques, une analyse de stabilité et des études de convergence.

Auteurs originaux : Carlos Heredia

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Carlos Heredia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Transformer un jeu de « pas à pas » en un « flux continu »

Imaginez que vous essayiez de trouver le point le plus bas d'une vallée brumeuse et accidentée (cela représente le problème d'optimisation en apprentissage automatique). Vous ne voyez pas toute la vallée, vous devez donc faire de petits pas en descente en vous basant sur la pente située juste sous vos pieds.

Habituellement, les informaticiens décrivent ce processus comme une série d'étapes distinctes : Étape 1, Étape 2, Étape 3... C'est comme une animation en stop-motion. Le papier de Carlos Heredia pose une question différente : Et si nous considérions ce voyage non pas comme une série de sauts, mais comme une rivière fluide et continue coulant vers le bas ?

L'auteur propose une nouvelle façon de décrire mathématiquement trois célèbres stratégies de « marche intelligente » (AdaGrad, RMSProp et Adam) en utilisant des équations intégro-différentielles.

Les trois « marcheurs intelligents »

Pour comprendre le papier, nous devons d'abord savoir qui sont ces trois marcheurs :

AdaGrad (Le « collectionneur de souvenirs ») : Ce marcheur se souvient de chaque pas qu'il a jamais fait. S'il a fait un grand pas dans une certaine direction auparavant, il se lasse de cette direction et fait des pas plus petits la fois suivante. Il accumule un « sac de pas passés » qui devient de plus en plus lourd.
RMSProp (Le « marcheur amnésique ») : Ce marcheur se souvient aussi des pas passés, mais il a une mémoire courte. Il se soucie principalement de ce qui s'est passé récemment. Il laisse les vieux souvenirs s'effacer (comme un château de sable emporté par la marée) pour ne pas être alourdi par l'histoire.
Adam (Le « navigateur équilibré ») : Ce marcheur est un mélange des deux. Il se souvient de la direction de ses pas passés (l'élan/momentum) et de la taille de ses pas passés (la variance). Il essaie de l'équilibre entre vitesse et stabilité.

L'innovation du papier : L'équation du « voyage dans le temps »

Le papier soutient que les mathématiques standard utilisées pour ces marcheurs (équations discrètes) sont un peu maladroites. Au lieu de cela, l'auteur les modélise comme des équations intégro-différentielles.

L'analogie du « sac à souvenirs » :

Mathématiques standards (EDO) : Imaginez une voiture dont la vitesse dépend uniquement de la pédale d'accélérateur sur laquelle vous appuyez en ce moment même.
Les mathématiques de ce papier (Équations intégro-différentielles) : Imaginez une voiture dont la vitesse dépend de la pédale d'accélérateur sur laquelle vous appuyez maintenant, PLUS une moyenne pondérée de chaque pression sur la pédale effectuée depuis que vous avez commencé à conduire.

La partie « Intégrale » de l'équation est le Sac à souvenirs. Elle somme l'intégralité de l'histoire du voyage jusqu'à cet instant précis. La partie « Différentielle » est le mouvement actuel.

L'auteur montre que si l'on écrit les règles d'AdaGrad, de RMSProp et d'Adam en utilisant ces mathématiques de « Sac à souvenirs », on obtient une équation fluide et continue qui imite parfaitement les étapes en stop-motion des algorithmes informatiques originaux.

Qu'ont-ils prouvé ? (Le test de stabilité)

Ce n'est pas parce que l'on peut écrire une équation fluide qu'elle fonctionne. L'auteur a passé beaucoup de temps à prouver que ces rivières lisses descendent réellement vers le fond de la vallée.

Pour les paysages convexes (Un bol parfait) :
- AdaGrad : Le papier prouve que même si le marcheur ajoute continuellement à son sac à souvenirs, il finira par atteindre le fond. Cependant, comme le sac devient plus lourd, il ralentit considérablement à mesure qu'il s'approche de l'objectif.
- RMSProp : Comme ce marcheur oublie les étapes passées, son sac à souvenirs reste léger. Le papier prouve qu'il atteint le fond plus rapidement et plus fluidement qu'AdaGrad.
- Adam : L'auteur a dû inventer un « contrôle de sécurité » spécial (une condition mathématique) pour prouver qu'Adam ne s'embrouille pas avec son propre élan. Si le contrôle de sécurité est validé, le marcheur est garanti de trouver le fond.
Pour les paysages non-convexes (Une chaîne de montagnes avec de nombreuses vallées) :
- Ici, l'objectif n'est pas nécessairement le point le plus bas absolu, mais juste un point bas (un minimum local).
- Le papier prouve que les trois marcheurs finiront par s'arrêter de bouger (leur vitesse tombe à zéro) et s'installeront dans une vallée. Ils ne trouveront peut-être pas la vallée la plus profonde du monde, mais ils arrêteront certainement de errer et se reposeront dans une vallée.

La particularité du « décalage temporel »

L'une des observations ingénieuses du papier concerne le temps.
Dans le code informatique, on calcule le pas du prochain second en utilisant la mémoire de ce second.
Dans les mathématiques fluides, cela crée un léger effet de « voyage dans le temps ». L'équation de la vitesse du marcheur à l'instant $t$ dépend en fait de la mémoire calculée à l'instant $t + \text{un petit peu}$ .
L'auteur appelle cela un « argument décalé ». C'est comme dire : « Pour savoir à quelle vitesse je marche maintenant, je dois regarder la carte que je vais dessiner dans la fraction de seconde suivante. » Le papier prouve que ce petit décalage temporel est la clé pour que les mathématiques fonctionnent correctement.

La simulation : Est-ce que cela correspond à la réalité ?

L'auteur n'a pas seulement fait des mathématiques sur papier ; il a lancé des simulations informatiques.

Il a pris les équations continues et fluides.
Il les a comparées aux algorithmes informatiques originaux, qui fonctionnent par étapes.
Le résultat : Les deux correspondaient presque parfaitement. À mesure que les « pas » (taux d'apprentissage) devenaient plus petits, la rivière fluide devenait indiscernable de l'animation en stop-motion.

Résumé en une phrase

Ce papier prend trois stratégies d'apprentissage informatique populaires (AdaGrad, RMSProp et Adam), qui fonctionnent habituellement en prenant des étapes discrètes, et les réécrit sous forme de flux continus et fluides qui transportent un « sac à souvenirs » du passé, prouvant mathématiquement que ces flux trouvent de manière fiable les meilleures solutions, tout comme les algorithmes originaux.

Résumé Technique : Modélisation d'AdaGrad, RMSProp et Adam par des Équations Intégro-Différentielles

Énoncé du Problème

Les algorithmes d'optimisation tels qu'AdaGrad, RMSProp et Adam sont fondamentaux pour l'apprentissage automatique, pourtant leur nature discrète intrinsèque complique souvent l'analyse théorique concernant la convergence et la stabilité. Bien que des approximations en temps continu utilisant des équations différentielles ordinaires (EDO) aient été proposées pour la descente de gradient standard et les méthodes à momentum, ces approches échouent généralement à capturer les effets de mémoire et l'accumulation cumulative des gradients qui définissent les méthodes d'optimisation adaptatives. L'accumulation discrète des gradients passés dans des algorithmes comme AdaGrad (somme cumulative) et RMSProp/Adam (moyennes mobiles exponentielles) suggère qu'une simple formulation d'EDO est insuffisante. Le document répond à la nécessité d'un cadre en temps continu qui modélise explicitement ces dépendances non locales pour fournir une compréhension théorique plus précise des méthodes adaptatives.

Méthodologie

L'auteur propose de modéliser AdaGrad, RMSProp et Adam comme des équations intégro-différentielles (EID) du premier ordre. La méthodologie repose sur les étapes fondamentales suivantes :

Formulation Continue : En supposant une relation entre l'itération discrète $k$ et le temps continu $t$ via le taux d'apprentissage $\alpha$ ( $t = \alpha k$ ), les règles de mise à jour discrètes sont transformées en dynamiques continues.
- AdaGrad : Modélisé comme une EID où le taux d'apprentissage est inversement proportionnel à la racine carrée des gradients au carré accumulés, représenté par un terme intégral non local $G(t, \theta) = \frac{1}{\alpha} \int_0^t \|\nabla f(\theta(\tau))\|^2 d\tau$ .
- RMSProp : Modélisé de manière similaire mais avec un noyau exponentiel dans l'intégrale, représentant la moyenne mobile : $v(t, \theta) = \frac{1-\beta}{\alpha} \int_0^t e^{-\frac{1-\beta}{\alpha}(t-\tau)} \|\nabla f(\theta(\tau))\|^2 d\tau$ .
- Adam : Modélisé en utilisant deux moments couplés (premier et second) avec des noyaux exponentiels, incorporant des termes de correction de biais qui apparaissent comme des gains dépendants du temps dans la limite continue.
Analyse Théorique : Le document emploie des outils de la théorie des systèmes dynamiques, spécifiquement l'analyse de stabilité de Lyapunov, pour étudier les EID proposées.
- Cas Convexe : Des hypothèses de $L$ -lissage et de $m$ -forte convexité sont utilisées pour dériver les taux de convergence. L'analyse distingue la mémoire « accumulative » (AdaGrad, $\xi=0$ ) de la mémoire « d'oubli » (RMSProp, $\xi=\lambda$ ).
- Cas Non-Convexe : Des hypothèses de fonctions d'objectif minorées et de sous-ensembles de niveau compacts sont utilisées. L'analyse repose sur l'inégalité de Polyak–Łojasiewicz (PL) et l'inégalité de Kurdyka–Łojasiewicz (KL) pour établir la convergence vers les points critiques.
- Conditions de Stabilité : Pour Adam, une « condition de Lyapunov scalaire » spécifique impliquant les taux de décroissance $\beta_1$ et $\beta_2$ est dérivée pour garantir que le gain effectif ne croît pas trop rapidement par rapport à la relaxation du premier moment.
Simulation Numérique : L'auteur implémente un Solveur d'IDES itératif modifié personnalisé au sein du framework JAX (utilisant l'accélération GPU) pour résoudre les équations dérivées. La méthode utilise un schéma d'itération à point fixe combiné à la quadrature de Gauss pour gérer les termes intégraux. Les résultats sont comparés aux algorithmes discrets originaux sur deux modèles de test : une fonction quadratique convexe et une fonction quartique non convexe.

Principales Contributions

Le document apporte trois contributions principales :

Modèles en Temps Continu : Il propose les premières formulations continues d'AdaGrad, RMSProp et Adam en tant qu'équations intégro-différentielles du premier ordre (Propositions 1–3). Ces modèles encapsulent explicitement les effets de mémoire au sein d'opérateurs intégraux non locaux, se distinguant ainsi des approximations par EDO classiques.
Théorèmes de Stabilité et de Convergence :
- Cadre Convexe : Les théorèmes 1 et 2 établissent des bornes de convergence. Pour AdaGrad, il prouve une borne sous-exponentielle $\|\theta(t) - \theta^*\| \leq C e^{-c\sqrt{t}}$ initialement, suivie d'une convergence exponentielle une fois que la mémoire accumulée est montrée comme étant bornée. Pour RMSProp, il prouve une décroissance exponentielle de l'écart de l'objectif et de la variable de mémoire grâce au mécanisme d'oubli.
- Stabilité d'Adam : Le théorème 3 fournit un résultat de stabilité conditionnelle pour Adam, nécessant une condition de Lyapunov scalaire sur les paramètres $\beta_1, \beta_2$ et une estimation de défaut de décalage unilatéral.
- Cadre Non-Convexe : Les théorèmes 4, 5 et 6 étendent ces résultats aux fonctions non convexes. Ils établissent la stationnarité asymptotique ( $\|\nabla f(\theta(t))\| \to 0$ ) et la convergence vers les points critiques sous les conditions PL ou KL. Crucialement, l'analyse différencie le comportement à long terme du terme de mémoire : il converge vers une limite finie et non nulle dans AdaGrad (cumulatif) mais décroît vers zéro dans RMSProp (oubli).
Validation Numérique : Le document fournit des simulations numériques étendues (Figures 1–15) démontrant que les modèles EID continus répliquent avec précision la dynamique des algorithmes discrets. Les simulations confirment que lorsque le taux d'apprentissage $\alpha$ diminue, les trajectoires continues et discrètes deviennent presque indiscernables.

Résultats

Précision : Les simulations numériques montrent un fort accord entre les modèles EID contin et les implémentations discrètes pour les objectifs convexes et non convexes. Les modèles contin capturent correctement des phénomènes tels que la saturation du taux d'apprentissage dans AdaGrad et le comportement oscillatoire dans Adam.
Taux de Convergence :
- Dans le cas fortement convexe, RMSProp présente une convergence exponentielle pour les paramètres et la mémoire. AdaGrad présente une convergence exponentielle pour les paramètres, mais le terme de mémoire sature à une valeur non nulle.
- Dans le cas non convexe, les modèles convergent vers des points critiques. Sous l'inégalité PL, l'écart de l'objectif décroît exponentiellement. Sous l'inégalité KL, le taux de convergence dépend de l'exposant $\sigma$ (exponentiel pour $\sigma=1/2$ , polynomial pour $1/2 < \sigma < 1$ , et temps fini pour $0 \leq \sigma < 1/2$ ).
Dynamique de la Mémoire : L'analyse confirme que le mécanisme d'« oubli » de RMSProp ( $\xi = \lambda$ ) permet à la variable de mémoire de décroître vers zéro, tandis que la nature « accumulative » d'AdaGrad ( $\xi = 0$ ) conduit à une limite de mémoire persistante et non nulle.

Signification et Revendications

Le document affirme que la modélisation des optimiseurs adaptatifs en tant qu'équations intégro-différentielles offre une perspective novatrice sur leur compréhension théorique. En représentant explicitement les effets de mémoire par des opérateurs intégraux, le cadre comble l'écart entre les algorithmes discrets et les systèmes dynamiques continus plus précisément que les approches basées sur les EDO.

L'auteur souligne que cette approche permet :

Une Représentation Précise : Modéliser directement comment les gradients passés influencent les mises à jour actuelles, une caractéristique définissante des méthodes adaptatives.
Une Analyse Théorique : Permettre l'application d'outils mathématiques avancés de la théorie des EID (par exemple, l'analyse de stabilité, les preuves de convergence) à l'optimisation adaptative.
Le Pont des Dynamiques : Offrir des perspectives sur le comportement de ces algorithmes et sur les améliorations potentielles en les traitant comme des systèmes dynamiques non locaux.

Le document conclut modestement, notant que bien que les modèles soient basés sur des contextes déterministes et des fonctions simplifiées, ils servent d'outil valide et puissant pour l'analyse théorique. Il suggère que les travaux futurs pourraient étendre ces idées aux contextes stochastiques, aux espaces de haute dimension et aux architectures complexes de réseaux de neurones, pouvant potentiellement inspirer de nouvelles méthodologies impliquant des formalismes lagrangiens et hamiltoniens non locaux.