Résumé technique : Géométrie de requête alignée sur le compresseur pour l'optimisation d'ordre zéro quantifiée

1. Énoncé du problème

L'article aborde une limitation fondamentale de l'optimisation d'ordre zéro (ZO) lorsqu'elle est appliquée aux grands modèles de langage (LLM) de faible précision (quantifiés). Bien que les méthodes ZO (comme MeZO) permettent une adaptation économe en mémoire en s'appuyant uniquement sur des passages avant et des valeurs de perte scalaires, les approches existantes peinent lorsque le modèle est stocké et interrogé en précision faible (par exemple, NF4).

Le problème central est un désaccord de mesure causé par une quantification non uniforme :

• ZO standard : Perturbe les poids dans l'espace des poids continu ($x \pm \mu u$) et mesure la différence de perte.
• ZO quantifiée : Le moteur évalue les extrémités arrondies $Q(x \pm \mu u)$.
• Le conflit : Pour les quantificateurs compresseurs non uniformes (par exemple, NF4, loi $\mu$), les cellules de quantification ne sont pas uniformes. Un rayon de perturbation fixe dans l'espace des poids $\mu$ peut :
  1. S'effondrer : Tomber entièrement dans une seule cellule de quantification dense, entraînant une différence de perte nulle (aucun signal de gradient).
  2. Dépasser : Traverser plusieurs cellules espacées, mesurant une sécante non locale plutôt qu'un gradient local.
  3. Se désaligner : Créer une "corde arrondie" $Q(x+\mu u) - Q(x-\mu u)$ qui n'est pas parallèle à la direction de mise à jour visée $u$.

Cela crée un couplage entre la quantification au moment de la requête et la perturbation, introduisant un canal de biais qui déforme la direction de descente et empêche la convergence vers un point stationnaire, même si le dictionnaire lui-même est optimal pour la reconstruction.

2. Méthodologie : CAQ-ZO

Les auteurs proposent CAQ-ZO (Requêtes alignées sur le compresseur pour l'optimisation d'ordre zéro), qui déplace la géométrie de la requête de l'espace des poids vers l'espace de coordonnées du compresseur.

Cadre théorique

L'article modélise la quantification scalaire non uniforme comme un processus de compression-expansion (companding) :
$$Q = \phi^{-1} \circ U \circ \phi$$
Où :

• $\phi$ : Une application de coordonnées monotone (compresseur).
• $U$ : Un quantificateur uniforme avec un espacement de grille $\Delta$ dans l'espace transformé $z = \phi(x)$.
• $\phi^{-1}$ : L'application d'expansion de retour vers l'espace des poids.

L'algorithme

Au lieu de perturber $x$ dans l'espace des poids, CAQ-ZO opère dans l'espace $z$ :

1. Transformation de coordonnées : Maintenir l'itéré dans la coordonnée du compresseur $z_t = \phi(x_t)$.
2. Maillage sur grille : Générer des perturbations directement dans l'espace $z$ en utilisant un maillage Rademacher d'un pas de grille : $z_t \pm \Delta r$, où $r \in \{-1, +1\}^d$.
3. Requête : Mapper les extrémités de retour vers l'espace des poids : $x_{query} = \phi^{-1}(z_t \pm \Delta r)$.
4. Mesure : Interroger l'oracle de faible précision. Puisque les extrémités $z_t \pm \Delta r$ se trouvent exactement sur la grille uniforme de $U$, le quantificateur $Q$ agit comme l'identité aux points de requête (aucune erreur d'arrondi ne se produit aux extrémités).
5. Mise à jour : Calculer l'estimation du gradient dans l'espace $z$ et mettre à jour $z_{t+1}$, en projetant le résultat de retour sur la grille pour maintenir l'invariant pour les requêtes futures.

Distinction clé : CAQ-ZO ne modifie ni le dictionnaire, ni l'encapsuleur de l'optimiseur, ni l'oracle avant. Il modifie uniquement la géométrie du maillage de différences finies pour l'aligner avec la grille interne du quantificateur.

3. Contributions clés

L'article apporte quatre contributions principales :

1. Formulation de la géométrie de requête : Il reformule la ZO quantifiée d'un problème de comparaison de dictionnaires en un problème de géométrie de mesure. Il isole le dictionnaire, la coordonnée de requête, la distribution de direction, le rayon de lissage et l'alignement de la grille des extrémités comme variables de contrôle distinctes.
2. Analyse théorique du désaccord :
   • Théorème 1 : Prouve qu'aucun rayon fixe dans l'espace des poids $\mu$ ne peut calibrer globalement les cellules non uniformes ; l'extension de grille effective $\rho$ dépend de la pente locale du compresseur $\nabla \phi$.
   • Théorème 2 : Décompose l'erreur de l'estimateur, montrant que les requêtes standard dans l'espace des poids encourent un résidu proportionnel à $\Delta^2/\mu^2$ (arrondi des extrémités), tandis que CAQ-ZO rend ce résidu au moment de la requête exactement nul.
   • Théorèmes 3 et 4 : Fournit des bornes de stationnarité démontrant que les requêtes dans l'espace des poids souffrent d'un plancher résiduel dû au biais d'arrondi, tandis que CAQ-ZO atteint une convergence régie uniquement par le biais standard des différences finies et la variance stochastique.
3. Conception de l'algorithme : Introduit l'algorithme CAQ-ZO (Algorithme 1) qui utilise des différences finies Rademacher sur grille dans la coordonnée du compresseur et impose une projection au moment de la mise à jour pour préserver l'alignement sur la grille.
4. Validation empirique :
   • Expériences synthétiques : Isole le canal d'arrondi des extrémités, montrant que CAQ-ZO élimine le canal résiduel qui affecte les bases de référence dans l'espace des poids (ZO gaussien Vanilla, QuZO).
   • Affinage de LLM : Démontre des améliorations sur Qwen-2.5-1.5B et Llama-2-7B utilisant la quantification NF4. CAQ-ZO surpasse la base de référence dans l'espace des poids (QuZO) sur plusieurs tâches (SST-2, RTE, CB, SQuAD, etc.) avec le même quantificateur et le même budget d'évaluation.

4. Résultats

• Synthétique : Dans des expériences synthétiques de haute dimension ($d=10\,000$) avec des compresseurs de type loi $\mu$ et NF4, CAQ-ZO atteint le rapport le plus faible entre la perte finale et la perte initiale. Il élimine spécifiquement le "résidu d'arrondi des extrémités" observé dans les méthodes de l'espace des poids, qui reste non nul même avec un nombre accru d'itérations.
• Affinage de LLM : Dans des expériences d'affinage NF4 appariées :
  • CAQ-ZO améliore constamment QuZO (la base de référence dans l'espace des poids) sur toutes les métriques pour les deux modèles.
  • Les gains notables incluent 18,8/21,4 points de précision sur CB et 24,0/28,1 F1 sur SQuAD pour Qwen et Llama respectivement.
  • Les résultats confirment que le changement des extrémités de différences finies (tout en gardant le dictionnaire fixe) améliore le modèle quantifié entraîné.

5. Importance et portée

L'article affirme que la ZO quantifiée n'est pas déterminée uniquement par le dictionnaire ; l'interaction entre le maillage de différences finies et les cellules du quantificateur est tout aussi critique.

• Insight central : Un dictionnaire optimal pour la reconstruction statique (par exemple, NF4) peut être sous-optimal pour les perturbations dans l'espace des poids si la géométrie de requête est désalignée. CAQ-ZO résout cela en alignant la géométrie de requête avec le compresseur.
• Modestie des affirmations : Les auteurs délimitent explicitement leurs affirmations :
  • La théorie s'applique aux compresseurs scalaires monotones (y compris NF4 via interpolation monotone).
  • Les preuves sont limitées à des expériences synthétiques contrôlées et à un affinage de LLM NF4 apparié.
  • L'article ne revendique pas une transférabilité universelle à tous les dictionnaires non scalaires (par exemple, les quantificateurs vectoriels) ni des affirmations plus larges sur les grands modèles sans validation séparée.
  • Il est présenté comme une solution spécifique au contexte de "passage avant de faible précision", distinct des méthodes qui modifient le dictionnaire ou utilisent des estimateurs à travers direct.

En résumé, CAQ-ZO fournit une méthode théoriquement fondée et empiriquement validée pour éliminer le biais introduit par l'arrondi de quantification dans l'optimisation d'ordre zéro, permettant une adaptation plus efficace en mémoire des LLM quantifiés.