🤖 machine learning

Scaling the Memory of Balanced Adam

Ce papier propose que le paramètre de moment $\beta$ dans Adam équilibré soit traité comme une variable d'échelle de mémoire plutôt que comme une constante fixe, en introduisant une règle de rafraîchissement ( $R_\beta \approx 1000$ ) qui améliore considérablement la robustesse de l'entraînement sur 11 expériences en vision et en langage en alignant l'horizon de mémoire statistique de l'optimiseur avec l'horizon d'apprentissage effectif.

Auteurs originaux : Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Ajuster la « mémoire » d'un robot apprenant

Imaginez que vous enseignez à un robot à reconnaître des chats, à écrire des poèmes ou à résoudre des problèmes de mathématiques. Pour ce faire, le robot utilise un outil appelé Adam (un « optimiseur »). Imaginez Adam comme l'entraîneur interne du robot. Chaque fois que le robot commet une erreur, l'entraîneur examine l'historique des erreurs passées pour décider comment ajuster le cerveau du robot pour la prochaine tentative.

Pendant longtemps, cet entraîneur disposait de deux paramètres de « mémoire » différents (appelés $\beta_1$ et $\beta_2$ ). L'un mémorisait la direction des erreurs, et l'autre mémorisait la taille des erreurs.

La découverte :
Des recherches récentes (y compris ce papier) ont montré que vous n'avez pas réellement besoin de deux paramètres différents. Si vous les réglez exactement de la même manière ( $\beta_1 = \beta_2$ ), le robot apprend tout aussi bien, mais le système devient beaucoup plus simple. Désormais, l'entraîneur n'a qu'un seul bouton de mémoire à tourner.

Le problème :
La grande question est : Quel nombre devons-nous régler sur ce bouton ?
La plupart des gens choisissent simplement un nombre standard (comme 0,9) et s'y tiennent, peu importe la situation. Les auteurs de ce papier soutiennent que c'est comme utiliser la même paire de chaussures pour une marche de 5 miles et un marathon de 100 miles. Cela n'a pas de sens car la « distance » de l'entraînement change.

L'idée centrale : Le « Compte de rafraîchissement »

Les auteurs proposent une nouvelle façon de penser à ce bouton de mémoire. Au lieu de le considérer comme un nombre fixe, ils disent qu'il devrait être pensé comme un horizon de mémoire.

L'analogie : Imaginez que le robot lit un livre pour apprendre une langue.
- Si le robot a une mémoire courte, il ne se souvient que des quelques dernières phrases.
- Si le robot a une mémoire longue, il se souvient de tout le chapitre.

Le papier introduit un concept appelé le Compte de rafraîchissement ( $R_\beta$ ). Cela répond à la question : « Combien de fois le robot rafraîchit-il complètement sa mémoire du passé pendant toute la session d'entraînement ? »

Les auteurs ont découvert que le robot apprend le mieux lorsque ce « compte de rafraîchissement » reste à peu près le même, quelle que soit la durée de la session d'entraînement.

Session d'entraînement courte : Le robot a besoin d'une mémoire courte (un nombre plus bas) afin de pouvoir rafraîchir sa mémoire environ 1 000 fois.
Session d'entraînement longue : Le robot a besoin d'une mémoire longue (un nombre plus élevé) afin de toujours rafraîchir sa mémoire environ 1 000 fois.

La solution : Une règle simple

Le papier a testé cette idée sur 11 tâches différentes, allant de l'enseignement à un robot de reconnaître des images (comme des chats et des voitures) à l'enseignement de la rédaction de texte (comme les LLM).

Ils ont découvert une simple « Règle d'or » :
Réglez le bouton de mémoire de sorte que le robot rafraîchisse sa mémoire exactement 1 000 fois pendant la partie utile de l'entraînement.

Si l'entraînement est court (par exemple, 6 000 étapes), la règle choisit un nombre plus bas (comme 0,82).
Si l'entraînement est long (par exemple, 40 000 étapes), la règle choisit un nombre plus élevé (comme 0,97).

Pourquoi cela compte-t-il ? (Les résultats)

Les auteurs ont comparé leur « Règle de rafraîchissement » à la « Règle fixe » standard (où tout le monde utilise simplement 0,944).

Performance moyenne : Les deux méthodes étaient très proches en termes de succès moyen. Le nombre fixe standard est en fait tout à fait bon.
Le « filet de sécurité » (Robustesse) : C'est là que la nouvelle règle brille.
- Imaginez que vous conduisez une voiture. La « Règle fixe » est comme conduire à une vitesse qui fonctionne bien sur la plupart des routes, mais parfois vous pourriez heurter un nid-de-poule et avoir un accident.
- La « Règle de rafraîchissement » est comme un système de suspension intelligent. Il s'adapte à la longueur de la route.
- Le résultat : La nouvelle règle a réduit les échecs « du pire scénario » de 33 %. Autrement dit, elle a rendu l'entraînement beaucoup plus fiable. Elle a assuré que chaque expérience individuelle (les 11 au total) a fonctionné presque parfaitement, alors que l'ancienne méthode avait quelques expériences qui ont beaucoup peiné.

L'essentiel

Le papier soutient que nous ne devrions pas traiter le paramètre de mémoire dans l'entraînement de l'IA comme une constante statique et immuable. Au lieu de cela, nous devrions le traiter comme une échelle.

Tout comme vous n'utiliseriez pas la même échelle de carte pour une ville et pour tout un pays, vous ne devriez pas utiliser le même paramètre de mémoire pour un entraînement court et un entraînement long. En ajustant la mémoire en fonction de la durée de l'entraînement (en maintenant le « compte de rafraîchissement » à 1 000), nous rendons le processus d'entraînement de l'IA plus robuste et moins susceptible d'échouer de manière inattendue.

En bref : Ne choisissez pas simplement un nombre et ne espérez pas le meilleur. Ajustez la mémoire du robot en fonction de la longueur du voyage, et vous obtiendrez une conduite beaucoup plus fluide.

Résumé Technique : Mise à l'échelle de la Mémoire de l'Adam Équilibré

Énoncé du Problème

Bien que des preuves récentes suggèrent que l'optimiseur Adam fonctionne de manière robuste lorsque ses paramètres de momentum sont liés ( $\beta_1 = \beta_2 = \beta$ ), le réduisant ainsi à un optimiseur à paramètre unique, la valeur optimale pour ce paramètre restant reste mal comprise. Traiter $\beta$ comme une constante fixe et sans dimension (par exemple, les valeurs standards 0,9 ou 0,99) est insuffisant car la même valeur représente des régimes dynamiques radicalement différents selon la durée totale de l'entraînement. Une valeur de $\beta$ appropriée pour un entraînement court peut s'avérer inefficace pour un entraînement long. Le problème central abordé est de savoir comment choisir l'échelle de mémoire unique de l'Adam équilibré d'une manière qui tienne compte de l'échelle de l'entraînement.

Méthodologie

Les auteurs proposent de reformuler $\beta$ non pas comme une constante statique, mais comme une variable contrôlant un « horizon de mémoire statistique ».

Définitions :
- Horizon de Mémoire ( $H_\beta$ ) : Défini par $H_\beta = (1-\beta)^{-1}$ , représentant le nombre approximatif d'étapes d'optimisation récentes qui dominent les estimations internes de l'optimiseur.
- Horizon d'Apprentissage Effectif ( $T_{ES}$ ) : Une estimation de la durée utile de l'entraînement, dérivée des temps d'arrêt anticipé sur les trajectoires de validation.
- Compteur de Rafraîchissement ( $R_\beta$ ) : Une quantité sans dimension définie par $R_\beta = T_{ES} / H_\beta = (1-\beta)T_{ES}$ . Cela mesure combien de fois Adam « rafraîchit » ses statistiques internes pendant la phase utile de l'entraînement.
La Règle de Rafraîchissement :
L'hypothèse centrale est que l'Adam équilibré se comporte de manière robuste lorsque le compteur de rafraîchissement est maintenu approximativement constant, indépendamment de l'échelle de l'entraînement. La règle proposée est :
$R_\beta \approx R_0 \implies \beta = 1 - \frac{R_0}{T_{ES}}$
où $R_0$ est une constante cible.
Configuration Expérimentale :
- Portée : 11 expériences couvrant la vision (ResNet50, ViT-B/16, EfficientNet-B0, Swin-T) et le langage (Llama60M, NanoGPT, T5-small), entraînés sur des ensembles de données divers (par exemple, ImageNet, CIFAR-100, C4, BookCorpus).
- Protocole : Toutes les exécutions imposent la contrainte diagonale $\beta_1 = \beta_2 = \beta$ . Une grille de 13 valeurs de bêta (allant de 0 à 0,999) a été balayée.
- Calibration : 8 expériences ont servi d'ensemble de développement pour calibrer $R_0$ , tandis que 3 expériences retenues ont été utilisées pour la validation.
- Métrique : La performance a été mesurée par l'écart relatif de perte de validation par rapport au « oracle » $\beta^*$ (le meilleur $\beta$ trouvé dans la grille pour cette expérience spécifique). Les métriques comprenaient l'Écart Moyen, l'Écart Maximum et la Valeur à Risque Conditionnelle (CVaR) sur les 25 % des cas les plus mauvais.

Résultats Clés

L'étude a révélé que la sélection de $\beta$ pour maintenir un compteur de rafraîchissement constant améliore significativement la robustesse par rapport aux bases fixes.

Cible Optimale : La calibration sur l'ensemble de développement a identifié $R_0 = 1000$ comme la cible minimisant l'écart maximum. Cette règle sélectionne différentes valeurs de $\beta$ en fonction de $T_{ES}$ (variant de 0,822 à 0,968 à travers les expériences).
Robustesse vs Performance Moyenne :
- La base fixe $\beta = 0,944$ (le choix fixe le plus fort dans la grille) a obtenu le meilleur moyenne d'écart global (0,290 %).
- Cependant, la règle de rafraîchissement ( $R_0 = 1000$ ) a considérablement amélioré la robustesse dans le pire des cas. Elle a réduit l'écart maximum global de validation de 33,4 % (passant de 1,328 % à 0,885 %) et abaissé la CVaR globale de 32,7 % (passant de 1,059 % à 0,713 %).
- Crucialement, la règle de rafraîchissement a ramené les 11 expériences à moins de 1 % de leurs oracles de validation respectifs, alors que la base fixe n'y est parvenue que pour 9 expériences sur 11.
Stabilité : La méthode s'est révélée robuste aux erreurs modérées dans l'estimation de $T_{ES}$ . Même avec un bruit multiplicatif allant jusqu'à $\sigma=0,20$ dans l'estimation de l'horizon, la règle de rafraîchissement a maintenu une CVaR globale inférieure à celle de la base fixe.

Importance et Revendications

L'article soutient que l'hyperparamètre restant de l'Adam équilibré est mieux compris comme une variable d'échelle de mémoire plutôt que comme une constante fixe.

Perspective Sensible à l'Échelle : Le travail fournit une « perspective consciente du budget sur la mise à l'échelle des optimiseurs ». Il postule que $\beta$ devrait être considéré comme un contrôle pour l'horloge de mémoire statistique de l'optimiseur, qui doit être adaptée à l'horizon d'apprentissage effectif.
Dynamique plutôt que Défauts : Les résultats suggèrent que traiter le momentum d'Adam comme faisant partie de la dynamique d'apprentissage (spécifiquement, le nombre de rafraîchissements statistiques) est supérieur à le traiter comme un défaut statique.
Implication Pratique : Bien qu'un $\beta$ fixe (comme 0,944) soit un défaut pratique fort, la règle de rafraîchissement offre un mécanisme principiel pour ajuster $\beta$ à mesure que l'horizon d'entraînement change, garantissant que la mémoire interne de l'optimiseur n'est ni trop courte (causant de l'instabilité) ni trop longue (causant une adaptation lente) par rapport à la durée de l'entraînement.

Les auteurs reconnaissent les limites, notant que $T_{ES}$ doit être estimé (rendant la règle calibrée à l'échelle plutôt que zero-shot) et que la valeur spécifique $R_0=1000$ est une découverte empirique pour la suite testée, pas nécessairement une constante universelle. Des travaux futurs sont suggérés pour démêler les effets spécifiques à l'architecture et étudier l'interaction entre l'horloge de mémoire et les calendriers de taux d'apprentissage.