🤖 machine learning

Learning a Zeroth-Order Optimizer for Fine-Tuning LLMs

Ce document présente ZO-Finetuner, un optimiseur d'ordre zéro basé sur l'apprentissage qui apprend automatiquement des stratégies de perturbation efficaces grâce à une conception économe en mémoire, permettant un entraînement unique par modèle et une performance supérieure sur diverses tâches en aval par rapport aux méthodes d'ordre zéro statiques existantes.

Auteurs originaux : Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kairun Zhang, Haoyu Li, Yanjun Zhao, Yifan Sun, Huan Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive et incroyablement complexe (un grand modèle de langage, ou LLM) qui sait écrire, raisonner et discuter. Vous voulez enseigner à cette bibliothèque une nouvelle compétence spécifique, comme la rédaction de contrats juridiques ou la résolution de problèmes mathématiques. Ce processus est appelé « fine-tuning » (ajustement fin).

Habituellement, enseigner à cette bibliothèque implique une méthode très coûteuse appelée « rétropropagation ». Considérez cela comme un enseignant qui, après chaque phrase écrite par l'élève, doit parcourir toute la bibliothèque, vérifier chaque livre et calculer exactement comment ajuster le cerveau de l'élève. C'est précis, mais cela nécessite une quantité énorme de mémoire et d'énergie, ce qui rend souvent la tâche impossible sur des ordinateurs standards.

Pour corriger cela, des chercheurs ont développé une méthode de « l'ordre zéro » (comme MeZO). Au lieu de parcourir toute la bibliothèque, cette méthode ressemble à un explorateur aux yeux bandés. L'explorateur fait une petite supposition (une perturbation), voit si le résultat s'est amélioré ou empiré, puis fait une autre petite supposition dans la direction opposée. En comparant les deux résultats, il peut déterminer quel chemin prendre sans jamais voir l'ensemble du tableau. Cela permet d'économiser une quantité massive de mémoire.

Le Problème : La carte « Taille Unique »
Les explorateurs aux yeux bandés existants utilisent une stratégie aléatoire fixe. Ils supposent des directions en se basant sur une règle standard et ennuyeuse (comme lancer un dé équilibré). Cela est inefficace. Parfois, la bibliothèque possède des « pièces » spécifiques (des blocs de paramètres) où vous devez être très précis, et d'autres pièces où vous pouvez être plus sauvage. Une stratégie fixe ne le sait pas ; elle traite chaque partie de la bibliothèque de la même manière.

La Solution : ZO Fine-tuner (L'Explorateur Intelligent)
Les auteurs ont créé le ZO Fine-tuner, un système d'« apprentissage de l'apprentissage » (learning-to-learn). Au lieu d'utiliser une règle fixe, ils ont entraîné un petit « coach » ultra-efficace (un petit réseau de neurones) pour apprendre à l'explorateur aux yeux bandés à mieux deviner.

Voici comment cela fonctionne, en utilisant quelques analogies :

Le Coach (ZO Fine-tuner) : Imaginez un coach qui observe l'explorateur. Le coach n'a pas besoin de voir toute la bibliothèque. Au lieu de cela, le coach regarde quelques statistiques simples : « À quel point cette pièce est-elle désordonnée en ce moment ? » et « Est-ce que la dernière supposition a aidé ou nui ? ». Sur cette base, le coach dit à l'explorateur : « Dans cette pièce spécifique, fais un grand pas audacieux. Dans cette autre pièce, fais un petit pas prudent. »
La Stratégie par Blocs : La bibliothèque est immense (des milliards de paramètres). Si le coach essayait de donner des instructions pour chaque livre individuellement, ce serait trop lent et gourmand en mémoire. Cependant, les chercheurs ont remarqué que la bibliothèque est organisée en « blocs » (comme des sections de livres). Le coach apprend à donner une seule instruction par bloc. C'est comme un coach qui dirait à toute une équipe de joueurs comment se déplacer ensemble, plutôt que de crier à chaque joueur individuellement. Cela maintient l'utilisation de la mémoire très faible.
La Magie du « Entraîner une fois, Réutiliser largement » : Habituellement, vous devez entraîner un nouveau coach pour chaque nouvelle tâche. Mais les auteurs ont découvert quelque chose d'incroyable : la « forme » de la bibliothèque ne change pas beaucoup, que vous lui appreniez les mathématiques ou l'écriture d'histoires. Ils ont donc entraîné le coach une seule fois sur un seul jeu de données (COPA). Ensuite, ils ont pris ce même coach et l'ont envoyé pour enseigner à la bibliothèque des tâches complètement différentes (comme l'analyse de sentiment ou la compréhension de lecture) et même sur différentes versions de la bibliothèque.
- Le Résultat : Le coach entraîné sur une tâche a fonctionné étonnamment bien sur toutes les autres. C'est comme entraîner un conducteur sur une piste spécifique, puis le voir conduire parfaitement sur une autoroute totalement différente sans aucun nouvel entraînement.

Les Résultats
L'article a testé cette méthode sur quatre grands modèles de langage différents et sept tâches différentes.

Performance : Dans environ 82 % des cas, ce nouvel « Explorateur Intelligent » a atteint un meilleur résultat plus rapidement que les anciens explorateurs à « Règle Fixe ».
Efficacité : Il n'a pas nécessité beaucoup de mémoire supplémentaire. Le « coach » lui-même est si petit (moins de 2 Mo pour un modèle de 30 milliards de paramètres) qu'il revient à ajouter une simple page de notes à une encyclopédie de 60 Go.
Stabilité : La nouvelle méthode était également moins sensible au « taux d'apprentissage » (la taille des pas). Même si vous lui disiez de faire de grands pas, elle ne plantait pas aussi facilement que les anciennes méthodes.

En Résumé
L'article présente une façon d'enseigner de nouvelles compétences à de géants modèles d'IA sans avoir besoin d'un supercalculateur. Ils ont remplacé une stratégie de supposition aléatoire et rigide par un petit coach intelligent qui apprend à deviner les bonnes directions pour les différentes parties du modèle. Une fois que ce coach est entraîné sur une tâche, il peut être réutilisé pour enseigner au modèle de nombreuses autres tâches efficacement, économisant ainsi du temps et de la mémoire informatique.

Résumé technique : Apprentissage d'un optimiseur d'ordre zéro pour l'ajustement fin (fine-tuning) de LLM

Énoncé du problème

L'ajustement fin de grands modèles de langage (LLM) à l'aide d'optimiseurs standards d'ordre un (par exemple, Adam) entraîne une surcharge de mémoire prohibitive, nécessitant souvent jusqu'à 12 fois la mémoire de l'inférence en raison du stockage des états de l'optimiseur et des activations de rétropropagation. Bien que des optimiseurs d'ordre zéro (ZO) comme MeZO soient apparus comme une alternative économisant la mémoire en s'appuyant uniquement sur des passes avant (forward passes), les méthodes existantes emploient généralement des stratégies d'échantillonnage statiques et artisanales (par exemple, des distributions normales standards). Ces stratégies statiques ne sont pas adaptables aux propriétés structurelles spécifiques de différents modèles ou tâches, nécessitant souvent un réglage intensif des hyperparamètres et ne parvenant pas à exploiter pleinement la géométrie locale du paysage de perte.

Méthodologie : ZO Fine-tuner

Les auteurs proposent le ZO Fine-tuner, un optimiseur d'ordre zéro basé sur l'apprentissage, conçu pour apprendre automatiquement des stratégies de perturbation efficaces via un cadre de « Learning to Learn » (L2L - Apprendre à apprendre). L'innovation centrale réside dans le passage d'une perturbation uniforme statique à une perturbation adaptative par blocs.

1. Architecture de perturbation par blocs

Inspirée par des analyses récentes suggérant que les Hessiennes des Transformers présentent une structure approximativement diagonale par blocs, la méthode évite la paramétrisation par coordonnée (qui est prohibitive en termes de mémoire à grande échelle) au profit d'une adaptation par blocs.

PertNN : Pour chaque bloc de paramètres $i$ du LLM, un réseau de neurones auxiliaire léger (PertNN) prédit une variance de perturbation partagée $\sigma_t^{(i)}$ .
Entrées : PertNN prend en entrée des statistiques de résumé compactes des paramètres actuels (moyenne et variance du bloc), la variance de perturbation précédente, et les valeurs de perte de l'étape précédente.
Sortie : Le réseau produit une variance mise à jour $\sigma_t^{(i)}$ , qui est utilisée pour construire une matrice de variance diagonale $\Sigma_t = \text{diag}(\sigma_t^{(1)}I, \dots, \sigma_t^{(n)}I)$ .
Normalisation : Pour découpler la variance apprise du taux d'apprentissage effectif, la méthode normalise $\Sigma_t$ de sorte que sa norme de Frobenius reste constante ( $\|\Sigma_t\|_F = \sqrt{d}$ ). Cela garantit que l'amplitude de la perturbation reste stable tout en permettant à l'optimiseur d'apprendre des variances relatives par blocs.

2. Entraînement via l'Apprentissage à Apprendre (L2L)

L'optimiseur est entraîné à l'aide d'un méta-objectif où la trajectoire d'ajustement fin du LLM lui-même sert de supervision.

Méta-objectif : Le but est de minimiser la perte post-mise à jour $L(\theta_1)$ après une seule étape ZO. Le gradient de cette perte par rapport aux paramètres $\omega$ de la PertNN est calculé en utilisant l'astuce de reparamétrage (échantillonnage $z \sim N(0, I)$ et définition de $u = \Sigma z$ ), rendant le processus de perturbation différentiable.
Stratégie d'entraînement : La PertNN est entraînée sur un jeu de données unique (par exemple, COPA) en utilisant un optimiseur d'ordre un pour générer des états de modèle. Pour éviter le surapprentissage dans les régions de faible perte, les auteurs introduisent un mécanisme de réinitialisation périodique, réinitialisant les paramètres du LLM à leur état pré-ajustement après certains intervalles.
Généralisation : Une fois entraîné pour un modèle de base spécifique, le ZO Fine-tuner est réutilisé sur diverses tâches en aval et sur des points de contrôle dérivés sans nouvel entraînement.

Principales contributions

Extension du L2L aux LLM : L'article démontre qu'un optimiseur appris unique, entraîné sur un modèle de base, peut se généraliser efficacement à travers diverses tâches en aval et points de contrôle dérivés, validant un flux de travail de type « entraîner une fois, réutiliser largement ».
Apprentissage de la variance par blocs : Les auteurs proposent une paramétrisation par blocs économisant la mémoire avec une variance partagée par bloc. Cette conception est théoriquement fondée sur la structure diagonale par blocs des Hessiennes de Transformer, permettant le L2L à l'échelle des modèles de fondation sans coûts de mémoire prohibitifs.
Performance empirique : Sur quatre LLM (LLaMA-3.2-1B, LLaMA-3.1-8B, Qwen2.5-14B, OPT-30B) et sept jeux de données, le ZO Fine-tuner surpasse les bases les plus fortes d'ordre zéro (MeZO, MeZO-AdamU, HIZOO, LOZO) dans 82,1 % des combinaisons tâche-modèle concernant la perte convergée, avec une amélioration moyenne de la précision de 2,5 %.

Résultats expérimentaux

Convergence et précision : Le ZO Fine-tuner atteint systématiquement une perte plus faible plus rapidement que les bases. Il démontre une robustesse supérieure aux choix de taux d'apprentissage, atteignant souvent des performances comparables ou meilleures à des taux d'apprentissage plus faibles (par exemple, $10^{-8}$ ) là où les bases échouent à converger ou deviennent instables.
Transférabilité : Un optimiseur entraîné sur le jeu de données COPA parvient à se transférer avec succès pour ajuster des modèles sur SST-2, CB, SQuAD, WSC, BoolQ et DROP, ainsi que sur des tâches de raisonnement mathématique (MetaMathQA).
Points de contrôle dérivés : La méthode se généralise d'un modèle de base (LLaMA-3.1-8B) à sa variante ajustée par instructions (LLaMA-3.1-8B-Instruct), surpassant MeZO en perte et en précision.
Efficacité :
- Mémoire : La surcharge de mémoire est négligeable par rapport à la taille du modèle (par exemple, <2 Mo pour les réseaux auxiliaires sur OPT-30B). L'empreinte mémoire totale reste comparable à celle de MeZO et est nettement inférieure aux méthodes d'ordre un (par exemple, 62 Go contre 312 Go pour OPT-30B).
- Temps : La surcharge de temps introduite par l'interrogation de la PertNN est minimale (<3,4 % pour les modèles plus petits, diminuant pour les modèles plus grands), car le coût dominant reste les passes avant requises pour l'estimation d'ordre zéro.

Signification et affirmations

L'article affirme que le ZO Fine-tuner répond au goulot d'étranglement critique de l'efficacité de la mémoire dans l'ajustement fin des LLM tout en surmontant la rigidité des stratégies d'ordre zéro statiques. En exploitant le paradigme « entraîner une fois, réutiliser largement », les auteurs soutiennent que les créateurs de modèles pourraient livrer un ajusteur fin appris pré-entraîné aux côtés des modèles de base, permettant aux utilisateurs en aval d'effectuer un ajustement fin efficace et performant avec un coût de mémoire proche de celui de l'inférence. Ce travail établit que l'apprentissage de distributions de perturbation adaptatives est réalisable à l'échelle des modèles de fondation et offre une voie pratique vers une adaptation de LLM scalable et efficace en termes de mémoire.