🤖 machine learning

Position: Zeroth-Order Optimization in Deep Learning Is Underexplored, Not Underpowered

Cet article soutient que l'optimisation d'ordre zéro en apprentissage profond n'est pas intrinsèquement non évolutive, mais plutôt sous-exploitée en raison de pratiques de conception myopes, et plaide pour un changement de paradigme vers des méthodes de sous-espace, des avantages conscients du système et des évaluations dé-obscurcies afin de débloquer son potentiel pour un apprentissage à grande échelle et économe en ressources.

Auteurs originaux : Sijia Liu, Yicheng Lang, Soumyadeep Pal, Changsheng Wang, Yancheng Huang, Chongyu Fan, James Diffenderfer, Bhavya Kailkhura, Yihua Zhang

Publié 2026-05-18

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sijia Liu, Yicheng Lang, Soumyadeep Pal, Changsheng Wang, Yancheng Huang, Chongyu Fan, James Diffenderfer, Bhavya Kailkhura, Yihua Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Ce n'est pas cassé, nous n'avons tout simplement pas encore appris à l'utiliser

Imaginez que vous essayez de trouver le point le plus bas dans une vallée gigantesque et plongée dans l'obscurité totale (cela représente l'entraînement d'un modèle d'IA complexe).

L'Ancienne Méthode (Optimisation du Premier Ordre) : Vous possédez une lampe magique qui non seulement vous montre le sol, mais vous indique aussi exactement vers quelle direction est « le bas » (le gradient). C'est ainsi que la plupart des IA sont entraînées aujourd'hui. C'est rapide, mais la lampe nécessite une batterie massive (une énorme mémoire informatique) et se brise facilement si vous essayez de l'utiliser sur un terrain étrange et non standard (comme des simulateurs ou des systèmes en boîte noire).
La Méthode « Ordre Zéro » (ZO) : Vous n'avez pas de lampe. Vous n'avez qu'un bâton. Pour comprendre vers quelle direction est le bas, vous piquez le sol dans différentes directions avec le bâton. Si le sol semble plus bas, vous faites un pas dans cette direction. C'est l'optimisation d'ordre zéro (ZO). Elle utilise très peu de mémoire et fonctionne sur n'importe quel terrain, même si vous ne pouvez pas voir le sol.

Le Problème : Pendant longtemps, les gens ont pensé que la « méthode du bâton » était trop lente et maladroite pour les grandes montagnes. Ils croyaient qu'il faudrait une éternité pour piquer le sol assez de fois pour trouver le fond.

L'Affirmation du Papier : Les auteurs disent : « Stop ! Vous jugez la méthode du bâton de manière injuste. » Ils soutiennent que le ZO n'est pas faible ; il est simplement sous-exploré. Nous avons utilisé le bâton de la mauvaise manière (en piquant chaque centimètre du sol un par un). Si nous changeons la façon dont nous piquons, nous pouvons le rendre aussi puissant que la lampe, mais sans la lourde batterie.

Les Six Points Clés (Le Guide « Comment Faire »)

Les auteurs proposent six nouvelles façons de penser à l'utilisation du « bâton » pour le rendre plus efficace.

1. Ne piquez pas au hasard partout (P1 & P2)

L'Analogie : Imaginez que vous essayez de trouver le meilleur endroit pour planter un arbre dans un champ immense.

L'Erreur : La plupart des gens piquent le sol au hasard dans toutes les directions à la fois. Cela crée beaucoup de « bruit » (confusion) et nécessite de piquer des millions de fois.
La Solution : Le papier dit : « Soyez plus intelligents sur l'endroit où vous piquez. » Au lieu de piquer partout, piquez selon des motifs spécifiques et structurés. De plus, réalisez que piquer plus de fois réduit la confusion mais coûte plus de temps. Vous devez trouver l'équilibre parfait entre « combien de piquages » et « la clarté du signal ».

2. Utilisez une boussole, pas seulement un bâton (P3)

L'Analogie : Lorsque vous piquez le sol, vous mesurez en réalité la pente dans une direction spécifique (comme l'aiguille d'une boussole).

L'Insight : Les auteurs disent que nous devrions arrêter de faire semblant de simplement deviner. Nous devrions traiter ces « piquages » comme la mesure de la pente dans une direction spécifique. Si nous comparons notre « méthode du bâton » à une « boussole parfaite » théorique (appelée dérivée directionnelle), nous pouvons voir exactement à quel point notre méthode est bonne. Cela nous aide à arrêter de blâmer l'outil lorsque la tâche est en réalité très difficile.

3. Zoomez sur l'essentiel (P4)

L'Analogie : Imaginez essayer de naviguer dans une ville en regardant une carte de toute la planète. C'est accablant.

La Solution : Au lieu de piquer toute la planète, zoomez sur un petit quartier (un sous-espace). Les auteurs suggèrent que les modèles d'IA ont souvent des motifs cachés où seules quelques directions comptent. Si nous ne piquons que dans ces « quartiers » spécifiques (sous-espaces de basse dimension), nous obtenons une réponse claire avec beaucoup moins de piquages. C'est comme naviguer dans une ville en ne regardant que les rues principales au lieu de chaque ruelle.

4. L'Avantage de l'« Équipe Invisible » (P5)

L'Analogie : Imaginez une équipe de travailleurs essayant de déplacer un lourd canapé.

L'Ancienne Méthode (Lampe) : Ils doivent tous voir exactement le même plan et discuter constamment pour se coordonner. Cela prend beaucoup de temps et de bande passante.
La Méthode ZO : Parce que la « méthode du bâton » ne nécessite d'envoyer qu'un seul chiffre (comme « c'est plus bas ici ! ») plutôt qu'un plan complet, les travailleurs peuvent communiquer beaucoup plus vite. Ils peuvent même utiliser un code secret partagé (une graine aléatoire) pour savoir où piquer sans parler. Cela rend l'optimisation ZO incroyablement rapide pour des équipes travaillant sur différents ordinateurs, et cela économise beaucoup d'énergie.

5. Ne blâmez pas l'outil pour une tâche trop facile (P6)

L'Analogie : Imaginez un étudiant passant un examen.

Le Problème : Parfois, le professeur donne à l'élève une feuille de triche (appelée alignement des tâches) qui rend l'examen super facile. L'élève obtient un A, mais vous ne savez pas s'il est intelligent ou juste chanceux.
La Solution : Les auteurs disent : « Arrêtez de donner la feuille de triche ! » Nous devons tester la « méthode du bâton » sur des problèmes difficiles où la feuille de triche n'est pas autorisée. Si la méthode fonctionne encore, alors nous savons que l'outil est réellement puissant. Si elle échoue, nous savons que l'outil a besoin d'améliorations. Cela nous empêche de penser que l'outil est génial simplement parce que l'examen était truqué.

L'Appel à l'Action : Que Devrions-Nous Faire Ensuite ?

Les auteurs ne se contentent pas de se plaindre ; ils proposent une feuille de route pour l'avenir :

Changez les Règles du Jeu : Arrêtez de tester ces méthodes avec des « feuilles de triche » (alignement des tâches) et sans mesurer le nombre de « piquages » (requêtes) nécessaires. Nous avons besoin de tests équitables.
Arrêtez de Piquer le Monde Entier : Éloignez-vous du fait de piquer chaque paramètre individuel. Commencez à piquer dans de plus petits groupes plus intelligents (sous-espaces) ou utilisez des astuces « spectrales » pour trouver les directions les plus importantes.
Construisez de Nouveaux Outils pour le Bâton : Nous essayons actuellement d'adapter la « méthode du bâton » à des outils conçus pour la « lampe ». Nous devons construire de nouveaux systèmes informatiques conçus spécifiquement pour la méthode du bâton. Ces systèmes seraient plus légers, plus rapides et fonctionneraient sur des ordinateurs moins chers.
Regardez Au-delà de l'IA : Cette méthode n'est pas seulement pour l'IA. Elle est parfaite pour les choses où vous ne pouvez pas utiliser de lampe du tout, comme :
- Ordinateurs Quantiques : Où les lois de la physique rendent l'utilisation de « lampes » (gradients) impossible.
- Simulateurs Scientifiques : Où vous testez un modèle physique (comme un pont ou un système météorologique) et ne pouvez pas calculer mathématiquement la pente.

La Conclusion

Le papier soutient que l'optimisation d'ordre zéro est une Ferrari que nous avons conduite sur un parking. Nous l'avons utilisée de manière maladroite, pensant qu'elle était lente et faible. Mais si nous construisons les bonnes routes (systèmes), conduisons dans les bonnes voies (sous-espaces) et arrêtons d'utiliser des feuilles de triche (alignement des tâches), il s'avère qu'elle est une méthode incroyablement puissante, économe en mémoire et évolutive pour entraîner la prochaine génération d'IA.

Résumé technique : L'optimisation d'ordre zéro en apprentissage profond est sous-explorée, et non sous-performante

1. Énoncé du problème

L'optimisation d'ordre zéro (ZO), qui approxime les gradients à l'aide de différences finies d'évaluations de fonctions sans rétropropagation (BP), a retrouvé de l'intérêt pour son efficacité mémoire et son applicabilité aux pipelines boîte noire ou boîte grise. Malgré ces avantages, les méthodes ZO sont souvent rejetées comme fondamentalement non évolutives pour l'apprentissage profond en raison d'une variance élevée de l'estimateur et d'une complexité de requête défavorable.

L'article soutient que ce scepticisme est mal fondé. Les limitations perçues de l'optimisation ZO ne découlent pas de faiblesses intrinsèques de l'apprentissage sans gradient, mais de « pratiques de développement myopes ». Plus précisément, la communauté a trop mis l'accent sur des conceptions centrées sur l'estimateur opérant dans l'espace complet des paramètres avec des perturbations élément par élément. Cette focalisation étroite a occulté des opportunités plus larges au niveau algorithmique, systémique et d'évaluation qui pourraient débloquer l'évolutivité des méthodes ZO.

2. Méthodologie et cadre de positionnement

Plutôt que de proposer un nouvel algorithme unique, l'article articule un cadre de positionnement complet composé de six arguments (P1–P6) couvrant les piles algorithmique, systémique et d'évaluation. Ces positions redéfinissent les limites de faisabilité et les opportunités pour l'optimisation ZO.

Fondements et limites de faisabilité (P1–P3)

Les auteurs revisitent d'abord les limites théoriques des conceptions actuelles centrées sur l'estimateur :

(P1) Le choix de la direction aléatoire compte : Le choix de la direction de perturbation $u$ est critique. Bien que les vecteurs gaussiens ou de Bernoulli standards soient courants, ils entraînent une variance évoluant linéairement avec la dimension $d$ . L'article souligne que des conceptions structurées (par exemple, des perturbations parcimonieuses ou préconditionnées) peuvent réduire la variance, mais introduisent souvent des surcoûts de calcul ou de requête qu'il faut peser.
(P2) Arbitrage requête-variance : La réduction de la variance ne peut être considérée isolément. L'augmentation du nombre de requêtes (par exemple, via le mini-lot) réduit la variance mais augmente le coût. L'article soutient que l'optimisation ZO efficace doit atteindre une croissance sous-linéaire du coût des requêtes par rapport à la dimension du problème, évitant ainsi l'échelle linéaire des estimateurs coordonnés.
(P3) Point de vue de la dérivée directionnelle : L'estimateur par différences finies doit être comparé à la référence de la dérivée directionnelle (DD) (gradients avant). La DD fournit une borne supérieure principielle sur la performance et aide à démêler si les échecs sont dus à la méthode ZO ou à la difficulté inhérente de la tâche.

Opportunités de progrès (P4–P6)

L'article propose ensuite trois directions sous-explorées pour faire progresser l'optimisation ZO :

(P4) Vue en sous-espace et spectrale : Au lieu d'opérer dans l'espace complet de dimension $d$ , les méthodes ZO devraient exploiter la projection sur sous-espace (par exemple, $S$ -RGE). En projetant les perturbations dans un sous-espace de basse dimension ( $r \ll d$ ), la variance est réduite d'un facteur $r$ . Cette approche relie la ZO aux méthodes d'optimisation spectrale (comme Muon), exploitant la structure de faible rang souvent présente dans les gradients des modèles profonds.
(P5) Simplicité au niveau du système : La nature « uniquement avant » de la ZO est un avantage systémique, et non pas seulement une économie de mémoire. Elle permet :
- Efficacité de communication : Dans des environnements distribués, les travailleurs peuvent transmettre uniquement des valeurs scalaires de différences finies et des graines aléatoires partagées, reconstruisant localement les vecteurs de perturbation sans transmettre les vecteurs complets.
- Parallélisme de pipeline : L'élimination de la rétropropagation supprime le couplage étroit entre les passes avant et arrière, permettant des horaires unidirectionnels avec des « bulles de pipeline » proches de zéro.
- Vie privée : La stochasticité inhérente de la ZO (via des perturbations gaussiennes) offre des avantages naturels en matière de confidentialité différentielle sans nécessiter d'injection explicite de bruit.
(P6) Désobfuscation alignée sur la tâche : Les succès actuels dans le réglage fin ZO reposent souvent sur l'alignement de la tâche (utilisation d'invites pour aligner les tâches en aval avec les objectifs de pré-entraînement). L'article soutient que cela agit comme une obfuscation implicite, rendant difficile l'évaluation du véritable pouvoir d'optimisation de la ZO. Les évaluations doivent comparer explicitement les performances avec et sans alignement de tâche pour éviter d'attribuer des gains à l'optimiseur alors qu'ils proviennent d'une simplification de la tâche.

3. Contributions clés et preuves

L'article fournit une critique structurée de l'état actuel de la recherche ZO et propose une feuille de route pour les travaux futurs :

Analyse empirique des travaux récents : Les auteurs analysent des articles récents (par exemple, de ICML'25, NeurIPS'25, ICLR'26) et constatent que, bien que la plupart traitent (P1) via la réduction de la variance, ils ignorent largement (P2) (arbitrages de requêtes) et (P3) (références DD). Le tableau 1 de l'article démontre que peu de travaux satisfont simultanément les trois positions fondamentales.
Expériences de désobfuscation : La figure 2 présente des résultats de réglage fin sur les tâches SST-2, RTE et WiC utilisant des modèles comme Gemma2-2B. Les données montrent que les méthodes ZO (par exemple, MeZO, Sparse-MeZO) subissent des baisses de précision significatives lorsque l'alignement de tâche est supprimé. De plus, le classement relatif des méthodes change entre les configurations alignées et non alignées, confirmant que l'alignement de tâche peut obscurcir les capacités intrinsèques des différents algorithmes ZO.
Appels à l'action concrets (A1–A5) : L'article décrit des étapes concrètes pour la communauté :
- A1 : Établir des protocoles d'évaluation rigoureux avec des budgets de requêtes fixes et des références de gradients avant.
- A2 : Aller au-delà de l'optimisation en espace complet en intégrant des méthodes de sous-espace et spectrales, et envisager des approches hybrides FO-ZO.
- A3 : Explorer les modèles génératifs (par exemple, les modèles de diffusion) comme estimateurs de gradients appris pour débruiter les estimations ZO.
- A4 : Construire des piles systèmes natives ZO plutôt que de porter la ZO vers des frameworks centrés sur FO (comme DeepSpeed). Cela inclut la priorisation du parallélisme de perturbation et de la planification de pipeline dense.
- A5 : Élargir les applications aux piles accélérées par l'inférence (par exemple, vLLM) et à l'optimisation quantique/hybride quantique-classique, où la ZO est un paradigme natif.

4. Résultats et affirmations

L'article ne présente pas un nouvel algorithme SOTA, mais plutôt un article de position qui redéfinit le discours. Ses principaux « résultats » sont analytiques :

Redéfinition des limitations : Il démontre que les barrières d'évolutivité sont souvent des artefacts de choix de conception (espace complet, centré sur l'estimateur) plutôt que des impossibilités fondamentales.
Synergie systémique : Il soutient que la simplicité de la ZO s'aligne naturellement avec les environnements distribués et contraints en ressources, offrant des avantages en matière de communication et d'efficacité de pipeline que les méthodes FO ne peuvent égaler.
Biais d'évaluation : Il fournit des preuves que les benchmarks actuels peuvent surestimer les performances ZO en raison de l'alignement de tâche, appelant à un passage vers une évaluation plus honnête et désobfusquée.

5. Importance et conclusion

L'article affirme que l'optimisation ZO est sous-explorée, et non sous-performante. En déplaçant l'accent de la simple amélioration des estimateurs de gradients vers l'exploitation des structures de sous-espace, de la simplicité au niveau du système et d'une évaluation rigoureuse, la communauté peut débloquer une voie viable pour un apprentissage à grande échelle et économe en ressources.

Les auteurs concluent que l'optimisation ZO a le potentiel de se transformer d'une solution de contournement de niche en un paradigme pratique pour l'entraînement de systèmes d'IA modernes dans des environnements contraints, hybrides et émergents (par exemple, jumeaux numériques, systèmes informés par la physique et informatique quantique). L'importance réside dans la démocratisation de l'accès à l'entraînement de grands modèles (en réduisant les exigences en mémoire et en matériel) et dans la possibilité d'apprentissage dans des systèmes non différentiables où la rétropropagation est impossible. L'article appelle à une remise en question systématique des piles algorithmique, systémique et d'évaluation pour réaliser pleinement ces gains potentiels.