🤖 machine learning

Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients

Le document propose FedSLM, un nouveau cadre d'apprentissage fédéré qui permet aux clients aux ressources limitées d'affiner des modèles de fondation en utilisant des modèles auto-contenus compressés par SVD et un protocole d'agrégation en deux étapes, atteignant une performance supérieure avec des exigences de mémoire considérablement réduites tout en maintenant la fidélité de la représentation.

Auteurs originaux : Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

Publié 2026-08-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs les plus intelligents de la pièce sont trop volumineux pour tenir dans la poche de quiconque. Ce sont les « Modèles de Fondation », des cerveaux d'intelligence artificielle massifs entraînés sur des océans de données pour comprendre le langage, les images et le monde qui les entoure. Ils sont incroyablement puissants, mais ils sont aussi des gloutons en mémoire, nécessitant de serveurs énormes et coûteux pour fonctionner. Pendant ce temps, les personnes qui détiennent les informations les plus précieuses et secrètes — comme les médecins avec les dossiers des patients ou les banques avec les données financières — ne possèdent souvent que des ordinateurs modestes qui ne peuvent même pas charger ces cerveaux géants. Cela crée une impasse frustrante : les experts possèdent les données mais pas la puissance de calcul, et la puissance de calcul est coincée sur un serveur qui ne peut pas voir les données.

Pour résoudre cela, les scientifiques utilisent une technique appelée « Apprentissage Fédéré » (Federated Learning). Imaginez cela comme un groupe d'étudiants essayant de résoudre un puzzle ensemble sans jamais montrer leurs propres pièces au professeur. Au lieu d'envoyer leurs données privées vers un lieu centralisé, ils n'envoient que leurs « idées » ou « ajustements » au professeur, qui les combine pour créer un cerveau de groupe plus intelligent. Cependant, quand le « professeur » est un modèle géant de un milliard de paramètres, envoyer seulement les ajustements devient un cauchemar logistique si les ordinateurs des étudiants sont trop faibles pour même contenir une infime tranche du modèle géant. Le défi consiste à déterminer comment permettre à ces ordinateurs faibles d'apprendre du géant sans briser leur propre matériel ou perdre la magie du savoir du géant.

Entrez en scène FedSLM, une nouvelle méthode proposée par des chercheurs qui agit comme un traducteur ingénieux et un maître chef. Le problème central qu'ils abordent est une « asymétrie de ressources » : les institutions possédant les meilleures données (hôpitaux, banques) ne peuvent souvent pas faire tourner le modèle d'IA complet car il nécessite trop de mémoire. Les solutions existantes tentaient de résoudre cela soit en réduisant la taille du modèle (ce qui brisait parfois son intelligence), soit en n'entraînant que de minuscules parties de celui-ci (ce qui nécessitait tout de même de charger le modèle complet, gaspillant ainsi de la mémoire). FedSLM adopte une approche différente, plus structurelle.

La principale découverte des chercheurs est que l'on peut décomposer le modèle d'IA géant en morceaux plus petits et autonomes en utilisant un tour mathématique appelé Décomposition en Valeurs Singulières (SVD). Imaginez le modèle géant comme une tapisserie massive et complexe. Au lieu d'essayer de copier toute la tapisserie sur un petit métier à tisser, FedSLM la découpe en ses fils essentiels (sous-espaces de faible rang) et donne à chaque client un petit métier à tisser gérable contenant juste ces fils. Les clients doivent ensuite seulement tisser un « adaptateur » léger (une petite pièce de nouveau fil) sur leur métier pour apprendre de leurs données spécifiques. Comme tous les clients tissent sur des métiers dérivés de la même tapisserie originale, leurs motifs s'emboîtent parfaitement.

Une fois que les clients ont fini de tisser leurs pièces, le serveur les collecte. Mais voici la partie ingénieuse : le serveur ne se contente pas de coller les petites pièces ensemble. Il reconstruit d'abord des versions à taille réelle des motifs de chaque groupe de clients, puis les mélange en un seul modèle cohérent. Enfin, pour s'assurer que le résultat final ne soit pas simplement une copie floue des petites pièces, le serveur utilise une méthode d'enseignement « weak-to-strong » (de faible à fort). Il traite les petits modèles combinés comme un « enseignant faible » et utilise une technique de perte de confiance particulière pour enseigner au « étudiant fort » (le modèle complet du serveur) comment apprendre les nouvelles connaissances sans copier les erreurs de l'enseignant faible ou les « artefacts de compression ».

L'article soutient explicitement l'idée qu'il n'est pas nécessaire de soit charger le modèle complet sur chaque client (ce qui est impossible pour beaucoup), soit de se contenter d'envoyer uniquement des sorties textuelles (ce qui fait perdre trop de nuances). Ils démontrent que leur méthode préserve l'intégrité structurelle du modèle tout en permettant aux clients d'opérer avec environ 50 % de la mémoire GPU requise par le modèle complet. Dans leurs expériences sur des tâches de langage naturel et de vision-langage, FedSLM a systématiquement surpassé les méthodes existantes, même lorsque les données étaient désordonnées et inégalement réparties. Les chercheurs ont mesuré que les clients utilisant leurs modèles compressés pouvaient fonctionner avec environ la moitié du coût de mémoire tout en maintenant des performances solides, dépassant souvent la précision du modèle original non compressé sur des tâches spécifiques.

La confiance dans ces résultats repose sur des tests approfondis sur des benchmarks tels que ARC, HellaSwag et des ensembles de données médicaux, où la méthode a montré des améliorations claires par rapport aux autres approches d'apprentissage fédéré. Les auteurs suggèrent que cette approche parvient à combler le fossé entre le besoin de confidentialité, les limites matérielles et le désir d'une IA puissante et spécialisée, prouvant qu'il n'est pas nécessaire d'avoir un supercalculateur pour contribuer à un super-cerveau.

Résumé Technique : FedSLM – Fine-Tuning de Modèles de Fondations Fédérés avec des Clients Compressés Hétérogènes

1. Énoncé du Problème

L'apprentissage fédéré (FL) de modèles de fondation (FM) est confronté à un paradoxe fondamental d'asymétrie de ressources : les institutions possédant les données sectorielles les plus précieuses (ex: hôpitaux, entreprises financières) manquent souvent du budget mémoire GPU requis pour héberger ou affiner des modèles de plusieurs milliards de paramètres. Les approches existantes d'apprentissage fédéré hétérogène tentent de combler ce fossé mais échouent à satisfaire simultanément trois exigences critiques :

Faisabilité du Déploiement : Les modèles clients doivent être suffisamment compacts pour des dispositifs aux ressources limitées.
Alignement Structurel : Les mises à jour des clients hétérogènes doivent être fusionnables en un modèle global cohérent sans incompatibilité architecturale.
Fidélité : Le serveur doit absorber la connaissance sectorielle fédérée sans hériter des artefacts de compression ni souffrir de l'« erreur d'imitation » (où un modèle fort se dégrade en imitant un superviseur faible et bruyant).

Les méthodes actuelles sacrifient l'une de ces propriétés : le réglage fin à paramètres efficaces (PEFT) comme LoRA réduit les paramètres entraînables mais nécessite toujours le chargement du modèle de base complet ; l'extraction architecturale (ex: HeteroFL) perturbe les motifs d'attention pré-entraînés des Transformers ; et les approches centrées sur les données peinent face au désalignement du vocabulaire ou à la perte de représentation cachée.

2. Méthodologie : FedSLM

Les auteurs proposent FedSLM, un cadre centré sur les paramètres qui traite le problème comme une optimisation couplée sur trois variables : les adaptateurs côté client, les poids globaux reconstruits côté serveur, et le modèle serveur fort final. Le cadre opère en quatre étapes distinctes :

A. Dérivation de Modèle par SVD (Étape 1)

Au lieu d'une initialisation aléatoire, le serveur dérive une famille de modèles compressés structurellement compatibles à partir du Modèle de Fondation (FM) pré-entraîné en utilisant la Décomposition en Valeurs Singulières (SVD).

Processus : Pour les couches sélectionnées, la matrice de poids $W$ est décomposée en facteurs de rang faible $U$ et $V$ à différents taux de compression ( $r_i$ ).
Structure : Les clients du groupe $C_i$ reçoivent des bases de rang faible fixes $\{U_i, V_i\}$ et un adaptateur entraînable $\Sigma_{i,c} \in \mathbb{R}^{r_i \times r_i}$ . La couche effective est $W \approx U_i \Sigma_{i,c} V_i$ .
Propriété Clé : Puisque toutes les variantes sont dérivées des mêmes poids du serveur via une troncature SVD imbriquée, elles partagent une structure de variété de rang faible imbriquée, garantissant la compatibilité structurelle pour l'agrégation malgré des rangs différents.

B. Agrégation Fédérée Hétérogène (Étapes 2 & 3)

FedSLM emploie un protocole d'agrégation à deux étapes pour gérer l'hétérogénéité des rangs :

Étape 1 : Agrégation d'Adaptateurs Intra-Groupe : Les clients au sein d'un même groupe de compression (même rang $r_i$ ) optimisent leurs adaptateurs locaux $\Sigma_{i,c}$ via un SGD local. Le serveur agrège ces adaptateurs en utilisant un FedAvg standard au sein du groupe.
Étape 2 : Fusion de Modèles Inter-Groupes : Le serveur reconstruit les matrices de poids de rang plein pour chaque groupe ( $W_i = U_i \Sigma_i V_i$ ) dans l'espace ambiant commun $\mathbb{R}^{m \times n}$ . Ces modèles reconstruits sont ensuite fusionnés via une moyenne pondérée pour produire un modèle faible global $W_g$ . Cette étape tire parti du fait que tous les groupes partagent un ancrage pré-entraîné commun, permettant la fusion dans l'espace de rang plein.

C. Élicitation Faible-vers-Fort (Étape - 4)

Pour transférer la connaissance du modèle agrégé et compressé ( $W_g$ ) vers le modèle de pleine échelle du serveur ( $W_s$ ) sans hériter des artefacts de compression, les auteurs introduisent une étape de raffinement Faible-vers-Fort.

Mécanisme : Le serveur affine $W_s$ en utilisant un jeu de données serveur non étiqueté $D_{server}$ .
Fonction de Perte : Une Perte de Confiance Auxiliaire est utilisée :
$\mathcal{L}_{conf} = (1-\alpha) \ell_{CE}(f_w, f_s) + \alpha \ell_{CE}(\hat{f}_s, f_s)$
où $f_w$ est le superviseur faible, $f_s$ est l'étudiant fort, et $\hat{f}_s$ est l'auto-prédiction du modèle fort avec des gradients stoppés.
Rôle de $\alpha$ : Ce terme équilibre l'imitation du modèle faible et les prédictions confiantes du modèle fort lui-même. Le terme d'auto-ancrage ( $\alpha$ ) atténue l'« erreur d'imitation » en empêissant le modèle fort de régresser vers les erreurs systématiques du superviseur faible.

3. Contributions Clés

Garanties Théoriques

L'article fournit trois analyses théoriques complémentaires :

Taux de Convergence : Établit un taux de convergence de $O(T^{-1/2})$ pour l'agrégation au niveau des adaptateurs de l'étape 1, en tenant compte de la dérive des clients et de la distorsion spectrale introduite par les facteurs SVD.
Alignement des Sous-espaces : Dérive des bornes pour l'erreur d'agrégation inter-groupes, prouvant que les sous-espaces SVD imbriqués assurent la compatibilité géométrique. L'erreur est bornée par la moyenne pondérée par les données des résidus de sous-espace.
Atténuation des Artefacts : Caractérise comment la perte de confiance auxiliaire atténue le bruit de compression. Elle démontre un compromis biais-variance où le coefficient de mélange $\alpha$ peut être ajusté pour minimiser le risque que le modèle fort apprenne les artefacts de compression.

Résultats Empiriques

Des expériences ont été menées sur LLaMA-2-7B/13B (langage) et LLaVA-NeXT-7B (vision-langage) sur des benchmarks de compréhension du langage naturel et médicaux, sous des partitions IID et non-IID.

Performance : FedSLM surpasse systématiquement les bases de comparaison existantes (incluant FedAvg+LoRA, HetLoRA et FedMKT). Sur LLaMA-2-7B, il a atteint une précision moyenne de 71,0 % (IID) et 68,2 % (non-IID), dépassant largement les meilleurs modèles de référence.
Efficacité Client : Les modèles clients compressés opèrent à environ 50 % de la mémoire GPU requise par le modèle complet (ex: ~6,8 Go contre 13,5 Go pour LLaMA-2-7B) tout en offrant un débit d'inférence plus élevé.
Récupération : L'entraînement des adaptateurs fédérés permet aux modèles compressés de récupérer et de dépasser la précision zero-shot du modèle pré-entraîné non compressé sur plusieurs benchmarks.

4. Signification et Revendications

L'article affirme que FedSLM résout la tension centrale de l'apprentissage de modèles de fondation fédérés en permettant à des clients aux ressources limitées de participer efficacement sans sacrifier la qualité du modèle global.

Cadre Unifié : C'est le premier cadre qui réalise simultanément la compression de modèle pour le déploiement, l'alignement structurel pour l'agrégation et l'atténuation des artefacts pour le raffinement du serveur.
Viabilité Pratique : En réduisant les exigences de mémoire client à environ 50 % du modèle complet tout en maintenant ou en dépassant les performances, FedSLM rend le fine-tuning fédéré de modèles de plusieurs milliards de paramètres réalisable pour des institutions disposant de matériel limité.
Rigueur Théorique : Le travail fournit des garanties rigoureuses sur la convergence et les bornes d'erreur, allant au-delà des approches heuristiques de l'apprentissage fédéré hétérogène.

Les auteurs soulignent que la méthode ne nécessite pas que les clients hébergent le modèle complet ni qu'ils dépendent d'une communication de type logit-level perteuse, se concentrant plutôt sur l'extraction et l'amplification de la connaissance sectorielle acquise via le processus fédéré.