Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

Résumé technique : Pourquoi l'adaptation d'ordre zéro peut moins oublier : une théorie de mise en forme aléatoire

Énoncé du problème
L'apprentissage continu nécessite que les modèles s'adaptent à de nouvelles tâches sans effacer les capacités acquises à partir des précédentes. Bien que des travaux empiriques récents (par exemple, ZeroFlow, ZO-FC) suggèrent que l'optimisation d'ordre zéro (ZO) et l'adaptation par passage avant peuvent atténuer l'oubli plus efficacement que la descente d'ordre un (FO), la vision prédominante traite le ZO simplement comme un estimateur bruité du gradient FO. Cette perspective échoue à expliquer pourquoi le ZO pourrait mieux retenir, car la précision de l'estimation concerne le gradient entrant, alors que l'oubli est régi par le déplacement de paramètres induit et la courbure de rétention qu'il expose. L'article vise à isoler le mécanisme local de l'oubli une fois que le signal entrant et l'échelle d'adaptation sont appariés, dépassant le récit du « FO bruité » pour comprendre les propriétés géométriques de la forme de l'adaptation.

Méthodologie : Mise en forme aléatoire du gradient
Les auteurs proposent un cadre où l'oubli est analysé comme une « adaptation mise en forme ». Au lieu de comparer les trajectoires d'optimisation, ils comparent le fonctionnel de dommage quadratique $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$ induit par différents opérateurs de déplacement $\Delta$, où $H$ représente la courbure de rétention (par exemple, la hessienne de la perte historique).

1. Calibration du ZO : L'article décompose les estimateurs ZO pratiques par différences finies en trois composantes :
   • Alignement moyen brut : La forme brute du ZO préserve le signal FO en espérance.
   • Inflation de la norme : Le ZO brut gonfle la norme quadratique d'adaptation attendue.
   • Appariement de la norme : Pour assurer une comparaison équitable, les auteurs introduisent une forme ZO appariée en norme $P = \kappa^{-1/2}Z$, où $Z$ est la matrice de forme brute et $\kappa$ un facteur d'inflation. Cela garantit $E[\|Pg\|^2] = \|g\|^2$ tout en induisant explicitement un facteur de réduction moyenne de $\sqrt{q/(q+d+1)}$.
2. Analyse théorique : Sous cette comparaison appariée en norme, les auteurs dérivent une identité exacte pour la courbure de rétention mise en forme attendue $\bar{H}_q = E[P^\top H P]$. Ils prouvent que le ZO apparié en norme ne réduit pas uniformément la courbure, mais préserve plutôt la composante isotrope (la courbure moyenne $\bar{\lambda}I$) tout en contractant la composante anisotrope (la déviation par rapport à la moyenne) d'un facteur $(1-\tau)$, où $\tau = d/(q+d+1)$.
3. Identité de l'écart d'oubli : En projetant cette identité de courbure sur le gradient entrant $g$, l'article dérive un écart quadratique FO–ZO d'oubli précis. La réduction de l'oubli se produit si et seulement si la direction FO pointe à travers une région de courbure de rétention supérieure à la moyenne ($\lambda > \bar{\lambda}$). Dans ce régime, le ZO réduit le dommage d'« excès de courbure » d'une fraction dépendante de la requête. À l'inverse, si la direction FO se trouve dans une région de faible courbure, le ZO peut augmenter l'oubli, présentant le résultat comme un contrôle de risque dépendant de la géométrie plutôt que comme une domination universelle.

Contributions clés

1. Formulation de l'oubli local comme adaptation mise en forme : L'article reformule la comparaison entre FO et ZO comme une question de la manière dont différents opérateurs de forme exposent la courbure de rétention sous une norme quadratique d'adaptation attendue appariée, éliminant les facteurs de confusion tels que le pas et la trajectoire.
2. Calibration du ZO par différences finies : Il sépare rigoureusement l'alignement moyen brut, les résidus de lissage fini, l'inflation de la norme brute et la réduction moyenne appariée en norme, établissant un comparateur équitable pour l'analyse théorique.
3. Identité exacte de courbure et écart d'oubli : Les auteurs prouvent que le ZO apparié en norme préserve le plancher de rétention isotrope tout en contractant la composante anisotrope. Cela produit une identité exacte montrant que le ZO réduit l'oubli quadratique moyen précisément lorsque la direction FO traverse une courbure de rétention supérieure à la moyenne.
4. Transfert algorithmique (RISE) : L'article introduit RISE (Mise en forme isotrope consciente de la rétention pour l'adaptation par gradient exact). RISE transfère le mécanisme de forme ZO calibré à l'adaptation par gradient exact. Il calcule le gradient FO exact par rétropropagation (éliminant le biais de lissage par différences finies) mais applique l'opérateur de mise en forme aléatoire apparié en norme bloc par bloc. Cela permet à la méthode d'importer les bénéfices du mélange de courbure de rétention du ZO tout en conservant le signal de plasticité des gradients exacts.

Résultats

• Validation théorique : Dans un bac à sable quadratique, les résidus d'opérateur empiriques et les écarts de dommage s'alignent avec les prédictions théoriques ($R^2 = 0,9999$), confirmant que le mécanisme dépend de la géométrie et que le signe de l'écart d'oubli change comme prévu en fonction de l'excès de courbure directionnelle.
• Apprentissage continu en vision : Sur CIFAR100, ImageNet-R et DomainNet utilisant un backbone ViT-B/16, RISE appliqué au pipeline ZO-FC (remplaçant le ZO par différences finies côté représentation par une mise en forme par gradient exact) a amélioré la précision « Last » (plasticité) de 0,39 à 1,39 points et réduit le « Fgt » (oubli) de 0,28 à 1,72 points par rapport au ZO-FC standard. Cela démontre que les gradients exacts peuvent récupérer la plasticité perdue par l'estimation de gradient tout en maintenant les bénéfices de stabilité de la forme ZO.
• Apprentissage continu de modèles linguistiques : Sur des modèles T5 à travers divers ordres de tâches (SeqLoRA et O-LoRA), RISE a considérablement réduit l'oubli (par exemple, de 35,57 % à 7,01 % sur un ordre SeqLoRA) tout en maintenant une précision « Last » proche de la référence FO. Cela contraste avec le ZO brut, qui réduit souvent l'oubli au prix d'une mauvaise plasticité (faibles scores « Last »).

Signification et affirmations
L'article prétend fournir le premier mécanisme local contrôlé en échelle expliquant pourquoi le ZO peut moins oublier, dépassant l'explication du « FO bruité ». Il établit que le bénéfice n'est pas une domination uniforme du ZO sur le FO, mais une amélioration conditionnelle : le ZO agit comme une exposition isotrope « optimale à l'aveugle » qui protège contre les directions de haute courbure lorsque la géométrie de rétention spécifique est inconnue.

La signification de RISE réside dans sa capacité à découpler le mécanisme de stabilité (mise en forme aléatoire) du mécanisme de plasticité (gradients exacts). En appliquant la forme ZO calibrée aux gradients exacts, RISE offre un compromis stabilité–plasticité où le modèle évite le biais de lissage fini du ZO pratique tout en bénéficiant toujours des propriétés de mélange de courbure qui réduisent l'exposition à la rétention dans les régimes de haute courbure. L'article conclut que ce mécanisme est le plus visible lorsque la direction FO a une courbure de rétention supérieure à la moyenne et que l'échantillonnage bloc par bloc permet une réalisation stable de l'effet de mise en forme sans la variance associée aux directions aléatoires globales de haute dimension.