🤖 machine learning

Accelerating Zeroth-Order Spectral Optimization with Partial Orthogonalization from Power Iteration

Ce papier propose ZO-MOPI, une méthode d'optimisation d'ordre zéro pour le fine-tuning de grands modèles de langage qui accélère la convergence en remplaçant l'orthogonalisation complète par une stratégie d'orthogonalisation partielle utilisant l'itération de puissance et la projection de sous-espace basée sur l'élan, atteignant une convergence 1,5 à 4 fois plus rapide que ZO-Muon de l'état de l'art tout en maintenant une précision compétitive.

Auteurs originaux : Jiahe Chen, Ziye Ma

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiahe Chen, Ziye Ma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Accorder une Radio Géante Sans Manuel

Imaginez que vous possédez une radio massive et complexe (un Grand Modèle de Langage ou LLM) dotée de milliards de boutons. Vous souhaitez l'accorder pour qu'elle joue parfaitement une chanson spécifique (l'adapter finement à une nouvelle tâche).

Habituellement, les ingénieurs utilisent une méthode « d'Ordre Un » : ils observent les boutons, ressentent les vibrations et savent exactement dans quelle direction les tourner pour obtenir un meilleur son. C'est rapide, mais cela nécessite une immense et coûteuse salle de contrôle (beaucoup de mémoire informatique) pour stocker toutes les instructions. Si vous essayez d'accorder cette radio sur un petit appareil comme un smartphone ou l'ordinateur d'une voiture, vous n'avez pas autant de mémoire.

L'Optimisation d'Ordre Zéro (ZO) est la méthode « aveugle ». Au lieu de ressentir les vibrations, vous devinez simplement une direction, tournez les boutons et écoutez pour voir si la musique s'est améliorée ou détériorée. Vous n'avez pas besoin de la grande salle de contrôle, ce qui permet de l'utiliser sur de petits appareils. Cependant, comme vous devinez, c'est incroyablement lent et bruyant. C'est comme essayer de trouver la station parfaite en faisant tourner le cadran au hasard et en espérant atterrir sur la bonne fréquence.

Le Problème : Le Signal « Bruyant »

Les chercheurs ont remarqué que, bien que cette méthode « aveugle » économise de la mémoire, les informations qu'elle recueille sont très désordonnées.

Le Vrai Signal : Dans un monde parfait, les « meilleures » directions pour tourner les boutons sont claires et fortes (comme une voix forte et claire).
La Réalité ZO : Comme la méthode repose sur des devinettes aléatoires, le signal est rempli de statique et de bruit. C'est comme essayer d'entendre un chuchotement dans un ouragan.

Il existait un nouvel outil appelé Muon qui tentait d'aider. Muon est comme un assistant intelligent qui observe tous les boutons et dit : « D'accord, organisons ces directions pour ne pas gaspiller d'énergie sur les faibles. » Il essaie de rendre toutes les directions également fortes.

Le Piège : Muon a été conçu pour le « monde parfait » (Ordre Un). Lorsque les chercheurs ont essayé d'utiliser Muon sur les données « bruyantes » d'Ordre Zéro, cela a empiré les choses. Parce que les données étaient si pleines de statique, Muon a essayé de tout amplifier, y compris le bruit. C'était comme augmenter le volume d'une radio qui ne joue que de la statique ; le bruit est devenu plus fort que la musique.

La Solution : « Orthogonalisation Partielle » (Le Filtre Sélectif)

Les auteurs, Jiahe Chen et Ziye Ma, ont proposé une nouvelle approche appelée ZO-MOPI. Leur secret réside dans l'Orthogonalisation Partielle.

Au lieu d'essayer d'organiser toutes les directions (ce qui inclut celles qui sont bruyantes et inutiles), ils ont décidé de se concentrer uniquement sur les quelques meilleures directions qui sont réellement fortes et claires. Ils ignorent le reste du bruit.

Pensez-y ainsi :

L'Ancienne Méthode (Muon) : Vous avez un seau d'eau mélangé à du sable, de la terre et de la poussière d'or. Vous essayez de tout séparer parfaitement. Vous finissez par perdre beaucoup de temps à trier la terre.
La Nouvelle Méthode (ZO-MOPI) : Vous réalisez que la poussière d'or est lourde et coule au fond. Vous récupérez simplement la couche du bas (les signaux forts) et ignorez la terre flottante (le bruit). Vous obtenez l'or beaucoup plus vite.

Comment Ils Ont Fait : L'Astuce de la « Puissance en Flux »

Pour rendre ce filtrage sélectif efficace, ils ont utilisé une technique appelée Itération de Puissance en Flux (SPI).

Imaginez que vous essayez de trouver le vent le plus fort dans un champ orageux.

L'Ancienne Méthode : Vous restez immobile et mesurez chaque rafale de vent, puis essayez de calculer la direction moyenne. Cela prend une éternité et le vent est trop chaotique.
La Nouvelle Méthode (SPI) : Vous tenez un drapeau. Vous ne prêtez attention qu'aux rafales qui poussent le drapeau le plus fort. Vous ignorez les petites brises qui le bougent à peine. En vous concentrant uniquement sur les poussées fortes, vous pouvez rapidement déterminer dans quelle direction le vent souffle vraiment.

Ils ont également ajouté une fonctionnalité de « Momentum ». C'est comme se souvenir de la direction du vent il y a quelques secondes. Même si une rafale est un accident (du bruit), votre mémoire des rafales précédentes vous aide à rester stable et à ne pas être confus par le chaos.

Les Résultats : Un Accordage Plus Rapide, Même Mémoire

Les chercheurs ont testé cela sur d'énormes modèles d'IA (comme OPT-13B et LLaMA3-8B) en utilisant des tests de langage standard (SuperGLUE).

Vitesse : Leur nouvelle méthode était 1,5 à 4 fois plus rapide que les meilleures méthodes d'accordage « aveugle » actuelles. Elle a atteint le même niveau de précision en beaucoup moins de temps.
Précision : Elle a abouti à une qualité finale identique (ou légèrement meilleure) que les autres méthodes.
Mémoire : Elle a conservé la même faible utilisation de la mémoire, ce qui signifie qu'elle peut toujours fonctionner sur de petits appareils.

Résumé

Le papier présente une manière plus intelligente d'accorder des modèles d'IA sur des appareils à mémoire limitée. Au lieu d'essayer de corriger chaque devinette bruyante, la nouvelle méthode (ZO-MOPI) agit comme un filtre, se concentrant uniquement sur les signaux les plus forts et les plus fiables, et ignorant la statique. Cela permet à l'IA d'apprendre beaucoup plus vite sans avoir besoin d'un supercalculateur.

Résumé technique : Accélération de l'optimisation spectrale d'ordre zéro par orthogonalisation partielle issue de l'itération de puissance

Énoncé du problème
L'optimisation d'ordre zéro (ZO) est devenue une technique cruciale pour le fine-tuning des modèles de langage de grande taille (LLM) sur des périphériques aux ressources mémoire limitées, car elle évite la rétropropagation gourmande en mémoire requise par les méthodes d'ordre un (FO). Cependant, les méthodes ZO souffrent d'une variance élevée dans les estimations de gradient due aux perturbations de Monte Carlo, entraînant une convergence nettement plus lente que celle des méthodes FO.

Les tentatives récentes d'accélérer l'optimisation ZO se sont concentrées sur la recherche dans des sous-espaces de faible dimension (par exemple, LOZO, SubZero) et sur des optimiseurs spectraux comme Muon, qui exploitent la géométrie matricielle via l'orthogonalisation. Bien que Muon surpasse AdamW dans les contextes FO en orthogonalisant les gradients pour exploiter les directions spectrales faibles, les auteurs observent que l'application directe de Muon aux contextes ZO ne produit que des gains limités. Le problème central identifié est que les estimations de gradient ZO sont intrinsèquement bruyantes et peu fiables. Contrairement aux gradients FO, qui sont concentrés dans des directions singulières dominantes, les estimations ZO présentent une « queue spectrale plus lourde et plus plate » (Figure 1). Par conséquent, l'orthogonalisation Newton-Schulz (NS) standard de Muon, qui égalise l'énergie sur l'ensemble du spectre actif, amplifie involontairement ces directions bruyantes et inexactes, transformant les erreurs d'estimation en composantes de mise à jour néfastes.

Méthodologie : ZO-MOPI
Les auteurs proposent ZO-MOPI (Momentum d'ordre zéro avec orthogonalisation partielle), une méthode conçue pour accélérer l'optimisation ZO en extrayant sélectivement les directions spectrales dominantes tout en supprimant le bruit. L'approche intègre trois composants clés :

Orthogonalisation partielle par itération de puissance en flux (SPI) :
Au lieu de réaliser une orthogonalisation sur le spectre complet (comme les itérations NS), ZO-MOPI adopte une stratégie d'« orthogonalisation partielle ». Elle se concentre exclusivement sur les $k$ directions singulières dominantes, écartant la queue spectrale bruyante.
- Mécanisme : La méthode remplace la procédure NS par une itération de puissance en flux (SPI) plus rapide et plus concentrée. La SPI suit le sous-espace de dimension $k$ dominant au cours des étapes d'entraînement.
- Efficacité : En mettant en cache le sous-espace singulier droit ( $V_{t-1}$ ) et en l'utilisant comme point de départ pour l'itération suivante, la SPI évite la décomposition en valeurs singulières (SVD) complète ou les multiplications matricielles coûteuses. Le coût computationnel est réduit à $O(rnk + nk^2)$ , où $k \ll r \ll \min(m, n)$ , par rapport au coût plus élevé des méthodes sur spectre complet.
- Stabilité : La méthode repose sur l'observation que les directions spectrales dominantes évoluent de manière fluide sous l'effet du lissage par momentum, rendant le sous-espace précédent une initialisation fiable pour l'étape courante.
Estimation ZO dans un sous-espace :
Pour réduire davantage la variance, l'estimation du gradient est contrainte à un sous-espace de rang faible. La matrice de perturbation aléatoire $Z$ est décomposée en $AB $, où$ A$ est une matrice de sous-espace fixe et $B$ est une perturbation aléatoire à l'intérieur de ce sous-espace. Cela réduit la dimension effective de recherche de $mn $à$ rn$, abaissant considérablement la variance de l'estimateur de gradient.
Momentum projeté :
Le momentum est maintenu dans le système de coordonnées réduit $r \times n$ plutôt que dans l'espace complet des paramètres pour économiser la mémoire. Un composant critique de la méthode est la projection du momentum lorsque le sous-espace $A$ est rafraîchi périodiquement (toutes les $\nu$ itérations). Le momentum $M_{old}$ est projeté sur le nouveau sous-espace $A_{new}$ via $M_{new} \leftarrow A_{new}^\top A_{old} M_{old}$ .
- Nécessité : Les auteurs démontrent que le momentum ne sert pas uniquement à réduire la variance, mais est essentiel à la stabilité de la SPI. Sans momentum, le sous-espace dominant fluctue considérablement en raison des estimations ZO bruyantes, rendant l'itération de puissance instable.

Contributions clés

Identification d'un décalage spectral : L'article met en évidence que l'orthogonalisation sur spectre complet (Newton-Schulz) est préjudiciable dans les contextes ZO car elle amplifie le bruit inhérent aux estimations de gradient ZO, alors que les gradients FO sont naturellement concentrés.
Orthogonalisation partielle : L'introduction d'une stratégie d'orthogonalisation sélective qui préserve uniquement les composantes spectrales les plus fiables (top- $k$ ) tout en ignorant la queue bruyante.
Itération de puissance en flux (SPI) : Un algorithme léger et efficace pour suivre les directions singulières dominantes, qui exploite la continuité temporelle et le démarrage à chaud pour éviter des calculs coûteux.
Intégration du momentum projeté : Un mécanisme pour maintenir la stabilité du momentum lors des rafraîchissements de sous-espace, démontré comme étant critique pour l'efficacité du suivi spectral dans des environnements bruyants.

Résultats expérimentaux
Les auteurs évaluent ZO-MOPI sur des tâches de fine-tuning de LLM utilisant les modèles OPT-13B, LLaMA3-8B et Gemma2-2B à travers les benchmarks SuperGLUE (SST-2, RTE, BoolQ, SQuAD).

Vitesse de convergence : ZO-MOPI atteint une convergence 1,5 à 4 fois plus rapide par rapport à l'état de l'art actuel ZO-Muon. Par exemple, sur les tâches RTE et SQuAD, ZO-Muon nécessite environ 3 fois plus de temps réel pour atteindre la même précision que ZO-MOPI.
Précision finale : La méthode atteint des précisions finales compétitives ou supérieures par rapport à des bases solides comme MeZO, LOZO et ZO-Muon. Dans plusieurs cas (par exemple, OPT-13B sur SST-2 et RTE), ZO-MOPI établit de nouveaux records de précision ZO.
Efficacité : La méthode conserve l'efficacité mémoire du fine-tuning ZO, avec une surcharge mémoire négligeable supplémentaire pour le stockage du sous-espace et des états d'itération de puissance.
Études d'ablation : Les expériences confirment que la suppression du momentum ou l'utilisation d'un intervalle de rafraîchissement de sous-espace trop court dégrade considérablement les performances, validant la nécessité de la projection de momentum proposée et des stratégies d'échantillonnage paresseux de sous-espace.

Portée et affirmations
L'article affirme que ZO-MOPI comble avec succès l'écart de performance entre l'optimisation ZO et FO pour le fine-tuning de LLM en abordant les caractéristiques spectrales spécifiques des estimations de gradient bruyantes. Les auteurs soutiennent que la clé pour accélérer l'optimisation ZO ne réside pas uniquement dans la réduction de la variance par projection de sous-espace, mais aussi dans l'adoption d'un alignement spectral sélectif qui évite d'amplifier le bruit. En remplaçant l'orthogonalisation agressive sur spectre complet par une orthogonalisation partielle via itération de puissance, la méthode permet aux optimiseurs spectraux de fonctionner efficacement dans le régime ZO à forte variance. Ce travail suggère que la structure spectrale peut être mieux exploitée même sous des estimations bruyantes, offrant une voie vers un fine-tuning efficace et contraint par la mémoire de grands modèles sans recourir à la rétropropagation.