🤖 machine learning

On Adaptivity in Zeroth-Order Optimization

Ce papier démontre que les optimiseurs adaptatifs d'ordre zéro standards comme ZO-Adam n'offrent aucun avantage de convergence par rapport à ZO-SGD pour le fine-tuning de LLM sous contrainte mémoire en raison d'une absence d'hétérogénéité des gradients coordonnée par coordonnée dans les hautes dimensions, ce qui conduit à la proposition de MEAZO, une alternative économe en mémoire qui ne suit qu'un seul scalaire pour l'adaptation de la taille de pas globale tout en maintenant des performances équivalentes et en améliorant la robustesse.

Auteurs originaux : Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hassan Dbouk, Nidham Gazagnadou, Matthias Reisser, Christos Louizos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Accorder une Radio Géante Sans Manuel

Imaginez que vous possédez une radio massive et complexe dotée de millions de boutons (ce sont les « paramètres » d'un Grand Modèle de Langage, ou LLM). Vous souhaitez l'accorder pour qu'elle joue parfaitement une chanson spécifique (le fine-tuning du modèle).

Habituellement, pour accorder une radio, vous avez besoin d'un manuel qui vous indique exactement dans quel sens tourner chaque bouton et de combien. En intelligence artificielle, ce manuel s'appelle un gradient. Calculer ce manuel nécessite beaucoup de mémoire et de puissance de calcul, ce qui est coûteux et lent.

L'Optimisation d'Ordre Zéro (ZO) est une astuce ingénieuse : au lieu de lire le manuel, vous poussez simplement les boutons au hasard, écoutez le résultat et voyez si la musique s'est améliorée ou détériorée. Vous faites cela en poussant les boutons vers l'avant et vers l'arrière pour deviner la direction. C'est beaucoup moins coûteux en mémoire, mais c'est « bruyant » car vous devinez.

Le Problème : La Boussole « Sur-Ingénierée »

Pendant longtemps, les chercheurs ont pensé que, puisque ce jeu de devinettes est bruyant, il fallait une boussole ultra-intelligente et gourmande en mémoire pour vous aider. C'est ce que font les Optimiseurs Adaptatifs (comme ZO-Adam). Ils tentent de se souvenir de l'historique de chaque bouton individuel pour décider de la vitesse à laquelle le tourner. Ils maintiennent un « journal de mémoire » séparé pour chacun des millions de boutons.

La Grande Découverte du Papier :
Les auteurs ont découvert que, dans des contextes de haute dimension (comme les modèles d'IA géants), cette boussole ultra-intelligente est en fait inutile.

L'Analogie : Imaginez que vous êtes dans un champ brumeux, essayant de trouver le fond d'une vallée.
- Ordre Un (IA Standard) : Vous avez une carte claire montrant que le terrain descend en pente raide vers la gauche mais est plat vers la droite. Vous avez besoin d'une stratégie différente pour chaque direction.
- Ordre Zéro (Le Jeu de Devinettes) : Parce que vous devinez en poussant au hasard dans un espace immense et brumeux, le « bruit » de votre estimation est si fort qu'il noie les détails spécifiques du terrain. Le signal semble identique dans toutes les directions. C'est comme si le brouillard était si épais que le sol paraissait parfaitement plat et uniforme partout.
Le Résultat : Parce que le « terrain » semble identique dans toutes les directions, maintenir un journal de mémoire séparé pour chaque bouton individuel est une perte de temps et de mémoire. Les méthodes « adaptatives » sophistiquées (ZO-Adam) ne vous aident pas réellement à atteindre le fond de la vallée plus vite qu'une méthode simple (ZO-SGD). En fait, elles alourdissent simplement votre sac à dos.

La Solution : MEAZO (La Boussole Minimaliste)

Puisque la boussole sophistiquée est inutile, les auteurs ont construit un nouvel outil appelé MEAZO.

Comment cela fonctionne : Au lieu de suivre des millions de journaux individuels pour chaque bouton, MEAZO ne suit qu'un seul nombre pour l'ensemble du groupe. Il se demande : « En moyenne, combien la musique a-t-elle changé lorsque nous avons tout poussé ? »
L'Avantage : Il conserve la partie « intelligente » de la méthode adaptative (ajuster la vitesse de la poussée en fonction de la rugosité du terrain ressentie) mais se débarrasse du lourd bagage.
L'Analogie : Imaginez que vous faites de la randonnée.
- ZO-Adam : Vous portez un GPS, un baromètre, une boussole et une carte détaillée pour chaque pas que vous faites. C'est lourd, et vous vous fatiguez.
- ZO-SGD : Vous marchez simplement vers l'avant. C'est léger, mais si le chemin devient rocailleux, vous pourriez trébucher.
- MEAZO : Vous portez un simple podomètre qui vous indique la pente moyenne du chemin. Si le chemin devient rocailleux, vous ralentissez. S'il est lisse, vous accélérez. Vous n'avez pas besoin d'une carte pour chaque rocher ; vous avez juste besoin de connaître l'ambiance générale du sentier.

Ce que les Expériences Ont Montré

L'équipe a testé cela sur de vrais Grands Modèles de Langage (comme Llama et Qwen) et sur des problèmes mathématiques synthétiques.

Performance : Lorsqu'ils ont réglé les paramètres correctement, la méthode simple (ZO-SGD) a fonctionné aussi bien que la méthode sophistiquée (ZO-Adam).
Mémoire : MEAZO a utilisé la même quantité minuscule de mémoire que la méthode simple, tandis que la méthode sophistiquée en a utilisé beaucoup plus.
Robustesse (Le « Filet de Sécurité ») : C'est la découverte la plus importante. Alors que la méthode simple fonctionne très bien si vous choisissez la vitesse parfaite de marche, elle s'effondre si vous choisissez une vitesse trop rapide ou trop lente. Les méthodes sophistiquées (et MEAZO) sont beaucoup plus tolérantes. Si vous choisissez une « mauvaise » vitesse, MEAZO vous amène toujours à destination sans accident. C'est comme une voiture avec un régulateur de vitesse qui s'ajuste automatiquement aux collines, tandis que la voiture simple continue à une vitesse fixe et pourrait percuter un obstacle.

Résumé

Le Mythe : « Nous avons besoin d'outils adaptatifs complexes et gourmands en mémoire pour que l'entraînement d'IA d'ordre zéro fonctionne bien. »
La Réalité : Dans les modèles d'IA de haute dimension, le bruit rend le terrain uniforme, donc les outils complexes sont une perte de mémoire.
La Correction : MEAZO est un nouvel outil qui ne suit qu'un nombre global au lieu de millions. Il utilise très peu de mémoire (comme la méthode simple) mais est beaucoup plus stable et tolérant aux réglages (comme la méthode complexe).

Cela permet aux chercheurs d'affiner des modèles d'IA massifs sur des appareils à mémoire limitée (comme les appareils périphériques) sans avoir besoin de supercalculateurs, tout en obtenant des résultats stables et de haute qualité.

Résumé technique : Sur l'adaptativité dans l'optimisation d'ordre zéro

Énoncé du problème

L'article aborde le défi du fine-tuning de modèles de langage de grande taille (LLM) contraint par la mémoire. Bien que la rétropropagation soit la norme pour le fine-tuning, elle nécessite une mémoire significative pour la mise en cache des activations et des opérations en virgule flottante de haute précision. L'optimisation d'ordre zéro (ZO) s'est imposée comme une alternative économe en mémoire, approxime les gradients via des passages avant sur des paramètres perturbés aléatoirement. Cependant, les méthodes ZO souffrent d'une variance élevée, entraînant une convergence plus lente par rapport aux méthodes d'ordre un (FO).

Des travaux récents ont tenté d'atténuer cette variance en introduisant des optimiseurs ZO adaptatifs (par exemple, ZO-Adam), qui imitent les méthodes adaptatives FO en suivant les premier et second moments des gradients par coordonnée. Les auteurs remettent en question l'efficacité de cette approche, émettant l'hypothèse que l'hétérogénéité par coordonnée requise pour la réussite des méthodes adaptatives pourrait être absente dans les contextes ZO de haute dimension.

Méthodologie et analyse

Analyse théorique des gradients ZO

Les auteurs analysent les propriétés statistiques des estimateurs de gradient ZO en haute dimension. Ils démontrent que, en raison de la nature isotrope des perturbations aléatoires, les estimations de gradient ZO manquent de l'hétérogénéité par coordonnée présente dans les gradients FO.

Proposition 3.1 : Les auteurs prouvent que le gradient ZO quadratique attendu est dominé par un terme global dépendant de la norme quadratique du vrai gradient, plutôt que des valeurs de coordonnées individuelles. Plus précisément, le biais introduit par l'estimateur évolue avec $1/q$ (où $q$ est le nombre d'échantillons de bruit) et devient agnostique aux coordonnées en haute dimension ( $q \ll d$ ).
Implication : Les mécanismes adaptatifs qui suivent des statistiques par coordonnée (comme le second moment d'Adam) sont inadaptés aux statistiques sous-jacentes des gradients ZO, les rendant inefficaces en mémoire sans fournir d'avantages en termes de convergence.

Méthode proposée : MEAZO

S'appuyant sur l'idée qu'une adaptation globale du pas suffit, les auteurs proposent MEAZO (Optimiseur adaptatif d'ordre zéro économe en mémoire).

Conception : Contrairement à ZO-Adam, qui maintient un vecteur de seconds moments pour chaque paramètre, MEAZO ne suit qu'un seul scalaire représentant la norme quadratique globale du gradient projeté.
Règle de mise à jour : La mise à jour met à l'échelle le pas global par ce scalaire, adaptant efficacement le taux d'apprentissage en fonction de la courbure globale sans surcharge mémoire par paramètre.
Extension groupée : MEAZO s'étend naturellement aux contextes ZO groupés (par blocs de coordonnées), maintenant un scalaire par bloc plutôt que par paramètre, réduisant ainsi davantage la mémoire tout en capturant l'hétérogénéité au niveau du bloc.

Garanties théoriques

L'article fournit des garanties formelles de convergence pour MEAZO sous des hypothèses standard (lissité L, variance bornée, gradients bornés).

L'analyse traite le gradient ZO comme un estimateur sans biais d'une fonction objectif lissée.
Théorème 4.7 : Établit un taux de convergence pour MEAZO qui correspond aux taux standards pour la descente de gradient stochastique (SGD) adaptative en présence de bornes de variance affine. Le taux de convergence est montré comme étant $O(\frac{1}{T} + \frac{\sigma^2}{T} + \frac{d}{q}\sigma^2 + \frac{d^2}{q}\epsilon^2)$ , confirmant que la méthode converge vers un point stationnaire avec une taille de voisinage de bruit dépendante du nombre d'échantillons $q$ et de l'amplitude de perturbation $\epsilon$ .

Résultats expérimentaux

Expériences synthétiques

Comportement du second moment : Dans des problèmes quadratiques synthétiques, les auteurs observent que lorsque la dimensionnalité augmente, le vecteur du second moment de ZO-Adam s'effondre vers une valeur unique (norme globale), tandis que FO-Adam maintient des valeurs distinctes par coordonnée. Cela valide empiriquement l'affirmation théorique selon laquelle l'adaptation par coordonnée est redondante dans les contextes ZO de haute dimension.
Robustesse : MEAZO démontre une robustesse accrue face aux choix de pas par rapport à ZO-SGD, en particulier dans des contextes hétérogènes à structure de blocs, égalisant la stabilité de ZO-Adam.

Fine-tuning de LLM

Des expériences ont été menées sur plusieurs familles de modèles (Llama-3.2, Qwen-3, Ministral) et tâches (XSum, SST-2, SQuAD) utilisant à la fois LoRA et le réglage par invite (prompt tuning).

Performance vs Mémoire :
- ZO-SGD vs ZO-Adam : Avec un réglage approprié du pas, ZO-SGD égale ou dépasse ZO-Adam dans le fine-tuning LoRA de haute dimension, confirmant que l'adaptativité par coordonnée offre un bénéfice limité.
- Performance de MEAZO : MEAZO atteint des performances comparables à ZO-Adam mais avec une empreinte mémoire équivalente à ZO-SGD (suivi d'un scalaire contre un vecteur complet).
Robustesse : Bien que ZO-SGD bien réglé fonctionne bien, il est fragile face à des pas sous-optimaux. MEAZO conserve la robustesse des méthodes adaptatives (élargissant la fenêtre de taux d'apprentissage stable) sans le coût mémoire.
Contextes groupés : Dans les contextes ZO groupés, MEAZO s'adapte aux statistiques spécifiques aux groupes (par exemple, les couches plus précoces montrant une sensibilité plus élevée), maintenant une convergence stable là où ZO-SGD groupé peut diverger.

Contributions clés

Insight théorique : L'article établit que les gradients ZO en haute dimension sont essentiellement homogènes, rendant les mécanismes adaptatifs par coordonnée (comme ceux de ZO-Adam) inefficaces en mémoire et théoriquement inutiles pour la convergence.
Innovation algorithmique : L'introduction de MEAZO, un optimiseur ZO adaptatif basé sur un scalaire qui réalise une adaptation globale du pas avec une surcharge mémoire négligeable.
Validation empirique : Des expériences complètes sur divers LLM et tâches démontrant que MEAZO égale les performances des bases de référence adaptatives (ZO-Adam) tout en maintenant l'efficacité mémoire des bases de référence non adaptatives (ZO-SGD).
Analyse de convergence : Garanties formelles de convergence pour MEAZO dans des contextes non convexes, comblant le fossé entre la théorie de la SGD adaptative et l'optimisation d'ordre zéro.

Importance et affirmations

Les auteurs affirment que leur travail réévalue la nécessité de mécanismes adaptatifs complexes dans l'optimisation d'ordre zéro. Ils soutiennent que pour le fine-tuning de LLM en haute dimension, l'avantage principal de l'adaptativité ne réside pas dans la mise à l'échelle par coordonnée, mais dans la robustesse du pas global.

L'importance de MEAZO est encadrée autour des environnements contraints par la mémoire (par exemple, les appareils périphériques). En réalisant la robustesse des méthodes adaptatives avec l'efficacité mémoire de la SGD, MEAZO permet à davantage de chercheurs et de praticiens disposant de ressources limitées de participer au fine-tuning de grands modèles. L'article conclut modestement que si ZO-SGD suffit lorsqu'il est parfaitement réglé, MEAZO offre une alternative pratique, stable et évolutive qui atténue la fragilité du choix du pas sans encourir de pénalités mémoire. Des travaux futurs sont suggérés pour affiner la convergence vers des points stationnaires exacts et étendre MEAZO aux cadres ZO de sous-espace.