💻 computer science

Efficient Zeroth-Order Federated Finetuning of Language Models on Resource-Constrained Devices

Cet article propose une nouvelle méthode d'apprentissage fédéré d'ordre zéro qui divise les modèles en blocs et alloue stratégiquement les perturbations pour permettre la réutilisation efficace des activations intermédiaires, réalisant ainsi une réduction de 3x de la demande computationnelle pour l'ajustement fin de grands modèles de langage sur des appareils à ressources limitées tout en maintenant les avantages de l'apprentissage fédéré en termes de mémoire et de communication.

Auteurs originaux : Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez apprendre un nouveau tour à un cerveau de robot géant et incroyablement intelligent (un grand modèle de langage). Habituellement, pour enseigner à ce cerveau, vous avez besoin d'un supercalculateur massif avec une énorme quantité de mémoire et beaucoup de temps. Mais et si vous vouliez enseigner à ce cerveau en utilisant des milliers de petits appareils faibles, comme des smartphones ou des objets connectés, sans jamais envoyer leurs données privées vers un ordinateur central ? C'est ce qu'on appelle l'Apprentissage Fédéré (Federated Learning).

Le problème est que ces petits appareils sont trop faibles pour gérer la méthode de « rétropropagation » (la façon standard d'enseigner l'IA), qui nécessite de stocker beaucoup de données temporaires. S'ils essaient, ils manquent de mémoire et plantent.

L'ancienne solution : L'Optimisation du Zéro-ième Ordre (ZO)

Pour résoudre le problème de mémoire, les chercheurs ont développé une méthode appelée Optimisation du Zéro-ième Ordre (ZO).

L'analogie : Imaginez que vous essayiez de trouver le point le plus bas dans une vallée embrumée (la meilleure façon d'enseigner au robot) sans voir la carte. L'ancienne façon d'enseigner (la rétropropagation) est comme avoir un GPS qui vous indique exactement par où descendre. La méthode ZO est comme tâtonner avec un bâton. Vous piquez le sol dans des directions aléatoires pour voir si cela monte ou descend.
Le hic : Pour avoir une bonne idée de la direction de la descente, vous devez piquer le sol beaucoup, beaucoup de fois dans différentes directions. Bien que cela économise de la mémoire (vous n'avez pas besoin de la carte GPS), c'est très lent et coûteux en termes de calcul car vous piquez le sol si souvent.

La nouvelle solution : FedSPZO

Les auteurs de cet article proposent une nouvelle méthode appelée FedSPZO (Optimisation du Zéro-ième Ordre par Perturbation de Division Fédérée). Ils ont trouvé un moyen ingénieux de rendre le processus de « piqûre » beaucoup plus rapide sans perdre en précision.

Voici comment ils ont procédé, en utilisant l'analogie de la Cuisine à Deux Étages :

Diviser la cuisine : Imaginez que le cerveau du robot est une cuisine avec deux sections :
- Section A (Le poste de préparation) : Une grande zone où les ingrédients sont découpés et mélangés. C'est le « premier bloc » du modèle.
- Section B (Le four) : Une zone plus petite où la cuisson finale a lieu. C'est le « second bloc ».
L'ancienne méthode (Inefficace) : Pour comprendre comment améliorer toute la cuisine, l'ancienne méthode changerait aléatoirement toute la cuisine (le poste de préparation et le four) et goûterait la nourriture. Ensuite, elle changerait à nouveau, et encore. Comme la cuisine est immense, goûter la nourriture après chaque petit changement prend beaucoup de temps.
La méthode FedSPZO (Efficace) :
- Étape 1 : Ils ne changent que légèrement le Poste de Préparation (Section A). Ils gardent le Four (Section B) exactement tel quel.
- Étape 2 : Ils prennent le résultat du Poste de Préparation et le font passer dans le Four beaucoup, beaucoup de fois, en effectuant de minuscules changements aléatoires uniquement sur le Four à chaque fois.
- La Magie : Comme le Poste de Préparation n'a pas changé, la cuisine n'a pas besoin de « re-découper » les ingrédients à chaque fois qu'elle teste le Four. Ils peuvent simplement réutiliser les ingrédients déjà découpés (les activations intermédiaires) et se concentrer uniquement sur le test du Four.
- Résultat : Ils obtiennent une idée très précise de la manière d'améliorer le Four (et le Poste de Préparation indirectement) avec beaucoup moins d'étapes de « dégustation » totales qu'auparavant.

Qu'ont-ils découvert ?

Les chercheurs ont testé cela sur plusieurs modèles d'IA célèbres (comme RoBERTa, OPT et LLaMA) et ont constaté :

Vitesse : Leur nouvelle méthode est jusqu'à 3 fois plus rapide (en termes de calculs informatiques) que les autres méthodes de « piqûre » similaires.
Mémoire : Elle utilise toujours très peu de mémoire, ce qui la rend parfaite pour les petits appareils comme les téléphones, tout comme la méthode de « piqûre » originale.
Communication : Elle envoie de très petites quantités de données au serveur central (juste des chiffres, pas tout le cerveau), ce qui est idéal pour les connexions internet lentes.
Précision : Le robot a appris les nouveaux tours presque aussi bien que les méthodes standard et lourdes, avec seulement une infime baisse de performance.

L'essentiel à retenir

Considérez FedSPZO comme une façon intelligente d'enseigner à un robot géant en utilisant un essaim de petits appareils faibles. Au lieu de demander à chaque appareil de faire un calcul massif et gourmand en mémoire, ils divisent la tâche en deux parties. Ils font le gros du travail une seule fois, puis réutilisent ce travail pour tester de nombreux petits changements rapidement. Cela permet d'entraîner des IA puissantes sur des appareils qui normalement ne pourraient pas le supporter, économisant ainsi du temps, de la batterie et des données.

Résumé technique : Finetuning fédéré par ordre zéro efficace de modèles de langage sur des dispositifs à ressources contraintes

1. Énoncé du problème

L'apprentissage fédéré (FL - Federated Learning) offre un cadre de préservation de la confidentialité pour le finetuning de modèles de langage de grande taille (LLM) à travers des sources de données distribuées. Cependant, le déploiement de ces modèles sur des dispositifs de bord (edge devices) aux ressources limitées se heurte à des obstacles importants :

Contraintes de mémoire : Les méthodes de premier ordre (par exemple, la rétropropagation standard) et les techniques de paramétrage efficace comme LoRA nécessitent le stockage des activations intermédiaires pour le calcul du gradient. Cela entraîne une empreinte mémoire (par exemple, ~4 Go pour RoBERTa-large) qui dépasse les capacités de la plupart des dispositifs de bord.
Surcharge de communication : La transmission des paramètres complets du modèle ou même des matrices d'adaptation de bas rang (LoRA) entraîne des coûts de téléchargement substantiels, ce qui est particulièrement problématique dans les environnements sans fil à faible bande passante.
Limites de l'ordre zéro (ZO) : Bien que les méthodes d'optimisation d'ordre zéro (ZO) comme MeZO éliminent le besoin de rétropropagation en utilisant des passages avant (forward passes) et des perturbations pseudo-aléatoires, elles souffrent d'une convergence lente et d'une demande computationnelle élevée. Pour obtenir des estimations de gradient stables, les méthodes ZO-FL existantes nécessitent un grand nombre de perturbations par étape d'entraînement, ce qui conduit à des calculs excessifs de passages avant uniquement (FLOPs).

Il existe un arbitrage critique : les méthodes ZO actuelles sont économes en mémoire mais coûteuses en calcul, tandis que les méthodes de premier ordre sont efficaces en calcul mais gourmandes en mémoire.

2. Méthodologie : FedSPZO

Les auteurs proposent FedSPZO (Federated Split-Perturbation Zeroth-order Optimization), un nouveau cadre conçu pour réduire la charge de calcul de la ZO-FL tout en préservant ses avantages en termes de mémoire et de communication.

Mécanisme central : Stratégie de perturbation scindée (Split-Perturbation)

FedSPZO exploite la structure compositionnelle séquentielle des réseaux de neurones en divisant le modèle en deux blocs consécutifs, $f_1$ (le premier bloc, plus grand) et $f_2$ (le second bloc, plus petit), de telle sorte que $y = f_2(\theta_2; f_1(\theta_1; B))$ .

Budgets de perturbation asymétriques : Au lieu d'appliquer le même nombre de perturbations à l'ensemble du réseau, FedSPZO assigne un budget de perturbation plus élevé au second bloc, plus petit ( $f_2$ $f_{2}$ ).
- Bloc 1 ( $\theta_1$ ) : Perturbé avec $P_1$ directions.
- Bloc 2 ( $\theta_2$ ) : Perturbé avec $P_2$ directions, où $P_2 = 2 \times P_1 \times P_s$ .
Réutilisation des activations : Le gain d'efficacité clé provient de la réutilisation des activations intermédiaires.
1. Le client perturbe $\theta_1$ dans une seule direction ( $+z_1$ ) et effectue un passage avant à travers $f_1$ pour générer une sortie intermédiaire $+y_l$ .
2. Cette unique $+y_l$ est ensuite utilisée comme entrée pour $P_s$ perturbations distinctes de $\theta_2$ (directions positives et négatives).
3. Le processus est répété pour la direction négative de $\theta_1$ ( $-z_1$ ), générant $-y_l$ , qui est réutilisée pour un autre ensemble de $P_s$ perturbations de $\theta_2$ .
Estimation du gradient :
- Le gradient pour $\theta_2$ est estimé en utilisant les différences de pertes issues des $P_2$ perturbations, partageant toutes la même entrée provenant de $f_1$ .
- Le gradient pour $\theta_1$ est estimé en faisant la moyenne des différences de perte à travers les multiples perturbations de $f_2$ , ce qui réduit efficacement le bruit introduit par la stochasticité des perturbations de $f_2$ .

Protocole de communication

FedSPZO maintient une conception efficace en termes de communication :

Côté client : Les clients effectuent l'entraînement local pendant $K$ étapes. Ils ne téléchargent pas les paramètres du modèle. Au lieu de cela, ils téléchargent uniquement des valeurs de gradient scalaires ( $G_1, G_2$ ) et des germes aléatoires ( $S_1, S_2$ ) utilisés pour régénérer les vecteurs de perturbation.
Côté serveur : Le serveur reconstruit les modèles exacts des clients en régénérant les vecteurs de perturbation à partir des germes reçus et en appliquant les mises à jour scalaires. Cela élimine la nécessité pour les clients de transmettre les poids du modèle, réduisant ainsi l'overhead de téléchargement de plusieurs ordres de grandeur par rapport au FL basé sur les paramètres.

3. Principales contributions

Cadre FedSPZO : Une nouvelle méthode ZO-FL qui partitionne le modèle en deux blocs et alloue un budget de perturbation plus important au bloc plus profond et plus petit. Cela tire parti de la réutilisation des activations intermédiaires pour mettre à jour l'ensemble du réseau avec moins d'évaluations de passage avant.
Efficacité computationnelle : La méthode permet d'obtenir une réduction de calcul allant jusqu'à 3× par rapport aux own baselines de ZO-FL (spécifiquement Fang et al., 2022, et Li et al., 2025) tout en conservant les avantages de mémoire et de communication de la ZO.
Évaluation exhaustive : Des expériences approfondies sur les modèles RoBERTa-large, OPT-1.3B et LLaMA-3-3.2B sur plusieurs jeux de données (SST-2, RTE, WiC, MultiRC, SQuAD, BoolQ) démontrent que FedSPZO réduit considérablement les GFLOPs totaux tout en maintenant une précision comparable aux méthodes de rétropropagation de premier ordre (avec une dégradation mineure).
Analyse d'ablation : Les auteurs ont mené des études sur la division du modèle, les budgets de perturbation et le calcul indépendant des gradients par bloc, validant que la stratégie de perturbation scindée est supérieure à l'estimation de bloc indépendante ou aux schémas de perturbation uniformes.

4. Résultats expérimentaux

L'évaluation compare FedSPZO à des méthodes de premier ordre (FedAvg, FedAvg+LoRA) et d'autres méthodes ZO-FL (FedZO, DecomFL).

Efficacité de la mémoire : FedSPZO maintient une empreinte mémoire similaire à celle de l'inférence. Pour RoBERTa-large avec une longueur de contexte de 256, il nécessite ~1,75 Go, alors que FedAvg nécessite ~4,9 Go et LoRA ~3,9 Go. Cela rend FedSPZO réalisable sur des dispositifs de bord où LoRA et le FL standard sont impossibles.
Surcharge de communication : FedSPZO réduit les coûts de téléchargement de plus de trois ordres de grandeur par rapport à LoRA. Tandis que LoRA télécharge des matrices de bas rang (~des centaines de Mo), FedSPZO ne télécharge que des gradients scalaires et des germes (quelques Ko à quelques Mo).
Coût de calcul :
- Par rapport à FedAvg(LoRA) : FedSPzo nécessite un calcul total plus élevé (environ 17× plus) en raison du taux de convergence plus lent inhérent aux méthodes ZO.
- Par rapport aux autres méthodes ZO : FedSPZO est nettement plus efficace. Il réduit le calcul de 2,1× à 3× par rapport à DecomFL et FedZO sur divers modèles et jeux de données.
Précision : FedSPZO atteint une précision comparable à FedAvg(LoRA), avec seulement des dégradations mineures (ex: <1% sur SST-2, ~4% sur RTE pour RoBERTa). Il est légèrement moins performant que le FedAvg complet (rétropropagation), qui sert de limite supérieure, mais l'écart est considéré comme mineur dans le contexte des contraintes de ressources.
Temps d'entraînement : Dans un environnement de bord simulé (Jetson Orin Nano), FedSPZO (2,6 heures pour RoBERTA/SST-2) est plus lent que LoRA (0,45 heure) mais drastiquement plus rapide que DecomFL (6 heures) et FedZO (166 heures).

5. Signification et affirmations

Le papier positionne FedSPZO comme un compromis pragmatique pour les environnements à ressources contraintes.

Pour les dispositifs de bord : Il est présenté comme un choix préférable lorsque la mémoire et la bande passante de communication sont les principaux goulots d'étranglement, des scénarios où LoRA et le FL standard échouent.
Équilibre : Les auteurs reconnaissent que FedSPZO n'élimine pas le coût de calcul de la ZO mais l'atténue considérablement. Il offre une voie viable pour le finetuning de LLM sur des dispositifs où le stockage des activations pour la rétropropagation est impossible et la transmission des mises à jour complètes du modèle est trop coûteuse.
Perspectives futures : Les auteurs notent que bien que FedSPZO améliore l'efficacité de calcul par rapport aux méthodes ZO existantes, il reste en retrait par rapport aux méthodes de premier ordre en termes de vitesse brute. Les travaux futurs visent à explorer la ZO sur des accélérateurs d'inférence uniquement avec une précision inférieure pour combler davantage cet écart.

L'article conclut que FedSPZO parvient à découpler les coûts élevés de mémoire/communication du FL de premier ordre des coûts de calcul élevés de la ZO traditionnelle, permettant le finetuning de LLM dans des scénarios auparavant jugés irréalisables.