🤖 machine learning

ZO-Act: Efficient Zeroth-Order Fine-Tuning via One-Shot Activation-Informed Low-Rank Subspaces

ZO-Act est une méthode de réglage fin d'ordre zéro efficace qui améliore les approches existantes en restreignant les perturbations à un sous-espace de rang faible fixe et informé par les activations, réduisant ainsi la variance de l'estimateur et permettant une optimisation basée sur le momentum tout en prenant en charge les grands modèles de langage quantifiés.

Auteurs originaux : Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive et incroyablement complexe (un Grand Modèle de Langage) et que vous vouliez lui enseigner une nouvelle compétence, comme répondre à des questions sur un sujet spécifique. Habituellement, pour enseigner à cette bibliothèque, il faudrait envoyer une équipe d'éditeurs parcourir chaque livre, page par page, en prenant des notes sur la façon de modifier le texte. C'est ce qu'on appelle la « rétropropagation » (backpropagation), et cela nécessite une quantité énorme de mémoire et d'énergie. Si la bibliothèque est trop grande, votre équipe manque de place pour écrire ses notes, et le processus s'interrompt brutalement.

Le Problème : L'approche « aveugle »
Certains chercheurs ont tenté une méthode différente appelée optimisation de l'ordre zéro (Zeroth-Order ou ZO). Au lieu de lire chaque page pour trouver l'erreur exacte, ils se contentent de deviner. Ils apportent une modification infime et aléatoire à un livre, regardent si l'histoire s'améliore, puis effectuent une autre modification aléatoire et regardent à nouveau. C'est comme essayer de trouver la bonne clé sur un porte-clés géant en secouant les clés au hasard jusqu'à ce que l'une d'elles fonctionne.

Le problème de ces devinettes « aveugles » est qu'avec des milliards de clés (paramètres), les suppositions sont incroyablement bruyantes et inefficaces. Vous pourriez secouer une clé qui n'a aucune importance, gaspillant ainsi du temps et de l'énergie.

La Solution : ZO-Act (L'approche de la « Carte Intelligente »)
Le document présente ZO-Act, une façon plus intelligente de jouer à ce jeu de devinettes. Au lieu de secouer n'importe quelle clé au hasard, ZO-Act regarde d'abord comment la bibliothèque réagit naturellement à quelques questions d'exemple (appelées « activations »).

Pensez-y de cette manière :

La Carte en un Seul Coup : Avant de commencer l'enseignement, vous posez quelques questions d'entraînement à la bibliothèque. Vous remarquez que lorsque les gens posent des questions sur l'« histoire », les rouages internes de la bibliothèque tournent selon un motif spécifique et prévisible. Vous dessinez une carte de seulement ces rouages qui tournent.
Le Sous-espace Fixe : Vous décidez qu'à partir de maintenant, vous n'ajusterez que les rouages qui figurent sur votre carte. Vous figez le reste de la bibliothèque pour qu'il ne soit pas perturbé.
Le Coach Léger : Au lieu d'essayer de déplacer directement les rouages lourds et figés, vous fixez un petit levier léger (une « matrice de coefficients ») à votre carte. Vous n'avez qu'à faire bouger ce petit levier pour déplacer les rouages lourds dans la bonne direction.

Pourquoi est-ce une révolution ?

Moins de Bruit : Comme vous ne faites que manipuler un petit levier au lieu de toute la machine, vos suppositions sont beaucoup plus précises. C'est comme essayer de régler une radio en ajustant simplement le bouton du volume plutôt qu'en essayant de reconstruire toute l'antenne.
Apprentissage plus Rapide : Puisque le « levier » est petit, vous pouvez utiliser des outils standards et puissants (comme l'optimiseur Adam) pour le manipuler efficacement.
Fonctionne sur de Petits Appareils : Parce que la bibliothèque principale reste figée et que vous ne touchez qu'au petit levier, vous n'avez pas besoin d'un supercalculateur pour faire cela. Vous pouvez même le faire sur un ordinateur avec une mémoire très limitée (modèles quantifiés), ce qui revient à essayer d'enseigner à la bibliothèque en utilisant un petit carnet de notes plutôt qu'une encyclopédie massive.

Ce que le document a découvert
Les chercheurs ont testé cela sur de grands modèles (comme Llama-3 et OPT) et ont constaté que :

Cela fonctionne mieux que les devinettes aléatoires : ZO-Act a systématiquement surpassé les autres méthodes « aveugles » sur des tâches comme la compréhension du langage, la réponse à des questions et la résolution d'énigmes logiques.
Cela fonctionne sur de petits ordinateurs : Même lorsque la bibliothèque était compressée pour tenir sur un petit appareil (quantification INT4), ZO-Act a conservé de très bonnes performances.
La Carte est Stable : Ils ont vérifié si la « carte » qu'ils avaient dessinée au début restait utile. Elle l'était ! Les rouages les plus importants continuaient de tourner de la même manière tout au long du processus d'apprentissage, prouvant que la carte initiale « en un seul coup » était un bon choix.

Le Bémol
Le document admet que bien que ZO-Act soit excellent pour économiser de la mémoire et éviter la rétropropagation, il n'est pas encore aussi rapide ou parfait que la méthode traditionnelle de l'« éditeur complet » (Premier Ordre) si vous disposez d'une mémoire illimitée. C'est un compromis : vous obtenez une solution très efficace et à faible mémoire qui est « assez bonne » et souvent supérieure aux autres astuces à faible mémoire, mais elle repose toujours sur des devinettes plutôt que sur la vision de la réponse exacte.

En Résumé
ZO-Act est comme donner à un étudiant aux yeux bandés une carte intelligente des pièces les plus importantes d'un immense bâtiment. Au lieu de tâtonner au hasard, il n'ajuste que les meubles de ces pièces spécifiques à l'aide d'un outil petit et facile à manipuler. Cela permet d'économiser de l'énergie, de réduire les erreurs et de permettre d'apprendre de nouvelles compétences, même dans un minuscule appartement.

Résumé Technique : ZO-Act

Énoncé du Problème

Le réglage fin (fine-tuning) des grands modèles de langage (LLM) repose généralement sur l'optimisation du premier ordre (rétropropagation), qui devient prohibitive en termes de mémoire à mesure que les modèles passent à des milliards de paramètres en raison des exigences de stockage pour les activations, les états de l'optimiseur et les calculs de gradients. L'optimisation d'ordre zéro (ZO) offre une alternative par passage avant uniquement, en estimant les directions de mise à jour en utilisant seulement des évaluations de perte, évitant ainsi la rétropropagation. Cependant, les méthodes ZO existantes font face à des défis importants :

Variance Élevée : Perturber l'espace complet des paramètres (comme dans MeZO) entraîne des estimations de gradient à haute variance, ce qui conduit à une convergence lente et une instabilité.
Sous-espaces Sous-optimaux : Bien que certaines méthodes restreignent les perturbations à des sous-espaces de faible dimension (ex. : LOZO, SubZero), elles reposent souvent sur des sous-espaces construits de manière aléatoire ou des perturbations aléatoires qui peuvent ne pas s'aligner avec le flux de gradient réel.
Compatibilité avec l'Optimiseur : De nombreuses méthodes ZO peinent à utiliser efficacement les optimiseurs standards basés sur le momentum (comme Adam) car la structure de perturbation n'expose pas de variables entraînables explicites et légères.
Contraintes de Quantification : Le réglage fin de LLM quantifiés (ex. : INT4) est difficile avec des méthodes qui nécessitent la matérialisation de perturbations de poids complets.

Méthodologie : ZO-Act

Les auteurs proposent ZO-Act, une méthode de réglage fin ZO à un seul passage (one-shot) informée par l'activation. L'idée centrale est que les composantes dominantes des gradients de poids dans les couches linéaires résident dans le sous-espace engendré par les vecteurs singuliers à droite de la matrice d'activation d'entrée.

Mécanisme Central

Initialisation en un Seul Passage (One-Shot) : Pour chaque couche linéaire, ZO-Act effectue un passage avant unique sur un lot de calibration pour calculer la matrice d'activation d'entrée $X$ . Il calcule ensuite les $r$ premiers vecteurs singuliers à droite ( $V_r$ ) de $X$ via une décomposition en valeurs singulières (SVD) mince.
Paramétrage par Sous-espace Fixe : La mise à jour du poids est restreinte à un sous-espace de faible rang défini par ces vecteurs d'activation gelés. La mise à jour effective du poids est paramétrée comme suit :
$\Delta W = V_r B$
où $V_r \in \mathbb{R}^{m \times r}$ est la base d'activation gelée, et $B \in \mathbb{R}^{r \times n}$ est une matrice de coefficients légère et entraînable. Les poids pré-entraînés originaux $W$ et la base $V_r$ restent gelés tout au long de l'entraînement.
Optimisation dans l'Espace des Coefficients : Au lieu de perturber la matrice de poids complète $W$ , ZO-Act échantillonne des perturbations aléatoires $Z$ dans l'espace des coefficients de faible dimension ( $Z \sim \mathcal{N}(0, I)$ ). Le poids effectif perturbé devient $W_{eff} = W + V_r(B + \mu Z)$ .
Estimation par Passage Avant Uniquement : Le gradient pour $B$ est estimé en utilisant des évaluations de perte par différence finie :
$\hat{g}_B = \frac{L(B + \mu Z) - L(B)}{\mu} Z$
Ce gradient estimé est ensuite utilisé pour mettre à jour $B$ à l'aide d'optimiseurs standards du premier ordre comme Adam.

Analyse Théorique

Le papier analyse ZO-Act comme une optimisation d'ordre zéro sur un espace de coefficients restreint $\beta$ (dimension $k$ ) plutôt que sur l'espace complet des poids (dimension $d$ ).

Réduction de la Variance : La variance de l'estimateur ZO augmente linéairement avec la dimension de la perturbation. En réduisant la dimension de $d$ (poids complets) à $k = \sum r n_\ell$ (coefficients, où $r \ll m$ ), ZO-Act réduit considérablement le terme de convergence dépendant de la variance et l'erreur de différence finie.
Compromis Biais-Variance : Restreindre les mises à jour au sous-espace informé par l'activation introduit un biais d'approximation de sous-espace. Cependant, les auteurs soutiennent que les activations et les gradients des LLM présentent des structures de faible rang, ce qui signifie que les directions de mise à jour dominantes sont bien capturées par les vecteurs singuliers supérieurs des activations d'entrée. Ainsi, le biais est contrôlé et atténué par la nature informée par les données du sous-espace.

Principales Contributions

Sous-espace Informé par l'Activation : Contrairement aux méthodes de sous-espace antérieures qui utilisent des matrices de faible rang aléatoires ou statiques, ZO-Act dérive le sous-espace de perturbation directement des activations d'entrée, garantissant que le sous-espace s'aligne avec les directions d'activation dominantes de la couche.
Optimisation Explicite des Coefficients : En gelant la base et en optimisant uniquement la matrice de coefficients $B$ , ZO-Act transforme le réglage fin ZO en un problème d'optimisation explicite sur un espace de faible dimension. Cela permet l'application directe d'optimiseurs basés sur le momentum (ex. : Adam) et évite la matérialisation de perturbations de poids complets.
Compatibilité avec la Quantification : La méthode supporte naturellement les LLM quantifiés (ex. : INT4) car les poids à faible bit restent gelés, et seules les matrices de coefficients à faible bit sont mises à jour.
Garanties Théoriques : Le papier fournit une analyse de convergence montrant que ZO-Act réduit à la fois la variance de l'estimateur de gradient et l'erreur de différence finie par rapport au ZO de poids complet, au prix d'un biais de sous-espace gérable.

Résultats Expérimentaux

Les auteurs ont évalué ZO-Act sur Llama-3-8B, OPT-13B et un Llama-3-8B quantifié en INT4 à travers des tâches de compréhension du langage, de réponse aux questions et de raisonnement de bon sens.

Performance : ZO-Act a systématiquement surpassé les bases ZO fortes (incluant MeZO, LOZO, SubZero, AGZO et ZO-Muon).
- Sur Llama-3-8B, il a obtenu les meilleurs résultats ZO en pleine précision sur SST-2, RTE, BoolQ et WiC. Notamment, il a amélioré la performance RTE de 81.2 (ZO-Muon) à 87.0 et CB de 69.6 à 89.3.
- Sur OPT-13B, il a également obtenu les meilleurs résultats sur SST-2, RTE, CB et BoolQ.
- Sur les Modèles Quantifiés en INT4, ZO-Act est resté compétitif par rapport aux bases ZO en pleine précision, démontant son efficacité pour le réglage fin sous contrainte de mémoire.
Efficacité : ZO-Act a égalé l'utilisation de mémoire la plus faible parmi les méthodes comparées (environ 16,1 Go pour Llama-3-8B, tombant à 5,8 Go pour l'INT4) et a atteint le temps d'exécution le plus rapide (42,0 minutes contre 44,5+ minutes pour les autres) sous un budget de requêtes de passage avant fixe.
Sensibilité au Rang : Les expériences ont montré qu'un rang de $r=1$ suffisait souvent pour les modèles en pleine précision, offrant les meilleures précisions tout en minimant la dimension de perturbation. Des rangs plus élevés ( $r=32$ ) ont été bénéfiques pour les modèles quantifiés afin de compenser la capacité réduite.
Stabilité : Des études diagnostiques ont confirmé que le sous-espace informé par l'activation reste stable pendant le réglage fin et capture une partie significative de l'énergie du gradient complet, validant la conception d'initialisation en "un seul passage".

Signification et Revendications

Le papier affirme que ZO-Act représente une étape importante pour rendre le réglage fin d'ordre zéro pratique et performant pour les grands modèles (LLM) et les modèles quantifiés. Sa signification réside dans :

Réduction de l'Écart : Il réduit l'écart de performance entre le réglage fin d'ordre zéro et celui du premier ordre en réduisant la variance de l'estimateur grâce à des sous-espaces informés par les données.
Possibilité d'Utiliser des Optimiseurs : Il résout la difficulté d'appliquer des optimiseurs standards comme Adam aux méthodes ZO en exposant des variables entraînables explicites de faible dimension.
Scalabilité : Il fournit une solution efficace en mémoire pour le réglage fin de modèles quantifiés, ce qui est crucial pour le déploiement sur du matériel aux ressources limitées.

Les auteurs reconnaissent des limites, notant que ZO-Act ne comble pas encore totalement l'écart de performance avec les méthodes du premier ordre en raison du bruit inhérent à l'estimation d'ordre zéro et du biais de sous-espace. De plus, ZO-Act reste plus lent en temps de calcul réel que les méthodes basées sur la rétropropagation en raison des multiples passages avant requis par mise à jour. Cependant, la méthode se positionne comme un choix supérieur pour les scénarios où la rétropropagation est prohibitive ou indisponible en termes de mémoire.