🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

Ce papier démontre que l'optimisation d'ordre zéro économe en mémoire (MeZO) permet l'affinement fin de modèles nettement plus grands directement sur l'appareil par rapport à la rétropropagation classique, en éliminant le besoin de stocker les activations et les états de l'optimiseur, échangeant ainsi un temps d'exécution accru contre une précision supérieure dans des contraintes mémoire strictes.

Auteurs originaux : Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque de connaissances géante et incroyablement intelligente (un modèle de langage de grande taille) que vous souhaitez emporter avec vous sur un petit appareil alimenté par batterie, comme un smartphone ou une montre connectée. Vous voulez que cet appareil apprenne de nouvelles astuces spécifiquement pour vos besoins, directement sur place, sans avoir besoin d'appeler un serveur massif dans le cloud. Ce processus est appelé l'affinement fin sur l'appareil.

Le problème est que le « cerveau » (la mémoire) de l'appareil est minuscule par rapport à la bibliothèque.

L'ancienne méthode : le sac à dos de « rétropropagation »

La méthode traditionnelle pour enseigner à ces modèles s'appelle la rétropropagation (BP). Imaginez cela comme un étudiant essayant d'apprendre une nouvelle matière en passant un examen, puis en écrivant immédiatement chaque pensée, chaque brouillon et chaque calcul intermédiaire qu'il a effectués en résolvant le problème, afin de pouvoir les revoir plus tard pour voir où il s'est trompé.

L'analogie : Imaginez que vous essayez de résoudre un problème mathématique complexe sur un tout petit essuie-tout. Pour utiliser l'ancienne méthode, vous devez garder une copie de chaque étape que vous avez prise sur un morceau de papier séparé pour chaque couche du problème.
Le résultat : L'« essuie-tout » (la mémoire de votre appareil) se remplit instantanément. Parce que vous devez sauvegarder toutes ces notes intermédiaires, vous ne pouvez faire tenir qu'une bibliothèque très petite et simple sur votre appareil. Si vous essayez d'apporter une bibliothèque énorme, vous manquez d'espace avant même d'avoir commencé à apprendre.

La nouvelle méthode : l'intuition « MeZO »

L'article présente une nouvelle méthode appelée MeZO (Optimisation d'ordre zéro économe en mémoire). Cette méthode ne note pas les étapes intermédiaires. Au lieu de cela, elle utilise une approche par « essais et erreurs ».

L'analogie : Imaginez que vous essayez de trouver le meilleur itinéraire à travers un labyrinthe. Au lieu de dessiner une carte de chaque virage que vous avez pris (ce qui prend beaucoup de papier), vous faites simplement un pas, voyez si vous heurtez un mur, faites un tout petit pas dans une direction différente, et voyez si c'est mieux. Vous ne vous souvenez que du résultat du pas, et non de tout le processus de pensée qui vous y a conduit.
Le résultat : Vous n'avez pas besoin de porter un lourd sac à dos de notes. Vous pouvez faire tenir une bibliothèque beaucoup, beaucoup plus grande sur votre appareil car vous ne gaspillez pas d'espace avec du « papier brouillon ».

Le compromis : Vitesse contre Taille

L'article fait une affirmation très spécifique concernant le compromis :

Avantage de taille : Parce que MeZO n'a pas besoin de stocker toutes ces notes intermédiaires, vous pouvez faire tenir des modèles au moins 2 fois plus grands que ce que permet l'ancienne méthode. Si vous avez une longue conversation (un long « contexte »), l'avantage grandit massivement — jusqu'à 25 fois plus grand.
- Mathématiques simples : Si l'ancienne méthode vous permet de faire tenir un dictionnaire de 3 milliards de mots, MeZO pourrait vous permettre de faire tenir un dictionnaire de 13 milliards de mots sur le même appareil.
Coût de vitesse : L'inconvénient est que MeZO est plus lent. Parce qu'il doit « deviner et vérifier » de nombreuses fois pour déterminer la bonne direction (au lieu de simplement consulter ses notes), il faut plus de temps pour apprendre.
- La découverte de l'article : Dans leurs tests, l'ancienne méthode apprenait rapidement mais atteignait un « plafond » car elle était forcée d'utiliser un petit modèle. La nouvelle méthode (MeZO) apprenait lentement, mais parce qu'elle utilisait un modèle beaucoup plus grand et intelligent, elle a fini par obtenir une précision supérieure après quelques heures.

Ce qu'ils ont réellement testé

Les chercheurs n'ont pas seulement fait des mathématiques ; ils ont mené des expériences sur une puce informatique puissante (un GPU H100) pour simuler un appareil :

Ils ont comparé un petit modèle entraîné avec l'ancienne méthode du « sac à dos lourd » contre un modèle beaucoup plus grand entraîné avec la nouvelle méthode « légère ».
Le résultat : Même si la nouvelle méthode a pris plus de temps (environ 2 heures pour obtenir de bons résultats), le modèle plus grand qu'elle a entraîné était nettement plus intelligent (82 % de précision) que le petit modèle entraîné rapidement (moins de 75 % de précision).
Ils ont également testé un entraînement « épars » (ne mettant à jour que 1 % du cerveau du modèle). Même avec cette astuce, l'ancienne méthode avait toujours besoin de plus de mémoire que la nouvelle méthode car le « papier brouillon » (les activations) restait le plus grand problème.

La conclusion

L'article conclut que si vous voulez exécuter une IA véritablement intelligente sur un appareil à mémoire limitée, MeZO est le meilleur choix. Il vous permet d'apporter un « cerveau plus grand » à la périphérie, à condition que vous soyez prêt à attendre un peu plus longtemps pour qu'il apprenne. Il transforme la limitation de la « petite mémoire » en un avantage en changeant la façon dont l'apprentissage se produit, plutôt que de simplement rétrécir le modèle.

Résumé technique : Affinage sur appareil par optimisation d'ordre zéro sans rétropropagation

Énoncé du problème

L'affinage sur appareil est essentiel pour les systèmes d'IA de périphérie afin de s'adapter à des tâches agentiques spécifiques et à des besoins utilisateurs évolutifs sans dépendre de serveurs externes. Cependant, un goulot d'étranglement critique existe : l'affinage conventionnel par rétropropagation (BP) est nettement plus gourmand en mémoire que l'inférence. La BP nécessite de stocker les activations intermédiaires des couches et les états de l'optimiseur pour chaque couche, exigeant souvent une mémoire d'un ordre de grandeur supérieur à celle d'un seul passage avant. Par conséquent, les appareils de périphérie aux contraintes mémoire strictes sont contraints de déployer des modèles beaucoup plus petits pour l'affinage que ce qu'ils pourraient pour l'inférence, limitant sévèrement les capacités de l'IA sur appareil.

Méthodologie

Cet article propose et analyse l'Optimisation d'ordre zéro économe en mémoire (MeZO) comme solution au goulot d'étranglement mémoire. Contrairement à la BP, MeZO estime les gradients en utilisant uniquement des évaluations avant (perturbations), éliminant ainsi le besoin de stocker les activations intermédiaires ou de maintenir des états d'optimiseur.

L'approche des auteurs comporte deux composantes principales :

Analyse théorique de la mémoire : L'article dérive des estimations mathématiques pour les empreintes mémoire de la BP et de MeZO sur des modèles Transformer uniquement décodeur. L'analyse prend en compte :
- Nombre de paramètres : Incluant l'attention multi-têtes (et les variantes d'attention à requêtes groupées) et les couches de réseaux de neurones feedforward (FFN).
- Stockage des activations : Calcul de la mémoire requise pour mettre en cache les activations pour la BP, qui évolue avec la longueur de contexte ( $N$ ), la taille du lot ( $B$ ) et la dimension cachée ( $D$ ).
- États de l'optimiseur : En supposant un optimiseur SGD sans état pour isoler l'impact du stockage des activations.
- Facteurs d'implémentation : Introduction d'un facteur $L' \leq L$ pour représenter le nombre maximal de couches d'activations stockées par MeZO en raison de la mise en tampon spécifique à l'implémentation, permettant une comparaison réaliste.
Validation empirique : Les affirmations théoriques sont validées par des expériences numériques sur une seule GPU H100 utilisant les jeux de données BoolQ et MultiRC. L'étude compare :
- Affinage complet : Comparaison de la BP (utilisant GPT2-medium) et de MeZO (utilisant Llama2-7B et Llama2-13B) sous des budgets mémoire fixes (~17 Go).
- Affinage efficace en paramètres (PEFT) : Évaluation des mises à jour éparses (affinage de seulement 1 % des paramètres) pour la BP et MeZO en utilisant les modèles Qwen3 afin d'évaluer l'impact de la parcimonie sur la mémoire et la précision.

Contributions clés

L'article apporte les contributions spécifiques suivantes :

Analyse mémoire : Une comparaison théorique démontrant que, sous des budgets mémoire sur puce fixes, MeZO peut accommoder des modèles au moins 2 fois plus grands que la BP. Cet avantage évolue avec la longueur de contexte, atteignant jusqu'à 25 fois pour des contextes longs (par exemple, $N=32768$ ) sans point de contrôle, et environ 5 fois avec point de contrôle des activations.
Insights sur la mise à l'échelle : L'analyse révèle que tandis que la mémoire des paramètres évolue linéairement avec le nombre de couches ( $L$ ), la mémoire des activations dans la BP évolue de manière quadratique avec la longueur de contexte ( $N$ ) et linéairement avec $L$ . MeZO évite la pénalité quadratique de contexte, le rendant de plus en plus supérieur à mesure que les fenêtres de contexte grandissent.
Validation empirique : Les résultats numériques confirment que, bien que MeZO présente une convergence plus lente en termes de temps réel, il atteint une précision de validation supérieure sous des contraintes mémoire strictes car il permet le déploiement de modèles nettement plus grands et plus performants.
Évaluation PEFT : L'étude montre que même avec des mises à jour éparse (réglage de 1 % des paramètres), les économies de mémoire de la BP sont modestes (~12–13 %) car le stockage des activations domine la consommation totale. En revanche, MeZO continue de permettre l'affinage de modèles plus grands (par exemple, 4B contre 0,6B) dans le même budget mémoire, produisant de meilleures performances.

Résultats

Compromis Précision vs Temps : Les expériences sur le jeu de données BoolQ montrent que MeZO converge plus lentement que la BP en temps réel. Cependant, après environ 2 heures d'affinage, MeZO (utilisant un modèle de 13 milliards de paramètres) atteint une précision d'environ 82 %, tandis que la BP (utilisant un modèle équivalent plus petit de 0,6 à 1,5 milliard de paramètres en raison des limites mémoire) reste en dessous de 75 %.
Efficacité mémoire : Le ratio des exigences mémoire (BP/MeZO) augmente avec la longueur de contexte. Pour une longueur de contexte de 32 768, MeZO nécessite environ 25 fois moins de mémoire que la BP sans point de contrôle.
Limites de la parcimonie : L'article démontre que réduire le nombre de paramètres mis à jour via PEFT n'allège pas significativement la charge mémoire de la BP, car le stockage des activations reste le facteur dominant. MeZO, en évitant totalement le stockage des activations, maintient son avantage même lorsque la BP est rendue sparse.

Importance et affirmations

L'article positionne MeZO comme un candidat solide pour les scénarios d'affinage sur appareil, en particulier pour les systèmes de périphérie agentiques et les applications d'apprentissage continu. L'importance principale réside dans le déplacement de la contrainte de la « taille du modèle » vers le « temps d'affinage ». En acceptant une durée d'entraînement en temps réel plus longue, les appareils de périphérie peuvent affiner des modèles d'ordres de grandeur plus grands que ceux possibles avec la rétropropagation, débloquant ainsi des capacités de performance supérieures directement sur l'appareil.

Les auteurs concluent que MeZO réduit efficacement les demandes mémoire d'entraînement au niveau de la mémoire d'inférence, permettant le déploiement de modèles plus grands et de fenêtres de contexte plus longues sur du matériel aux ressources limitées. Ils notent que, bien que l'analyse actuelle se concentre sur les architectures Transformer standard, les conclusions peuvent être généralisées aux variantes modernes (par exemple, attention à fenêtre glissante, mélange d'experts) et que des recherches supplémentaires sont nécessaires pour spécialiser ces résultats pour les systèmes neuromorphiques et la parcimonie dynamique.