SDFed: Bridging Local Global Discrepancy via Subspace Refinement and Divergence Control in Federated Prompt Learning

Each language version is independently generated for its own context, not a direct translation.

Imaginez un grand groupe d'amis qui veulent apprendre à dessiner ensemble, mais chacun a un style très différent et peu de temps pour s'entraîner. C'est un peu le défi que rencontre l'intelligence artificielle aujourd'hui : comment faire apprendre un modèle à des milliers d'utilisateurs différents sans jamais voir leurs données privées (comme leurs photos personnelles) ?

Voici l'histoire de SDFed, une nouvelle méthode intelligente pour résoudre ce casse-tête, expliquée simplement.

1. Le Problème : La "Taille Unique" ne va pas à tout le monde

Dans le monde de l'IA, on utilise souvent de grands modèles pré-entraînés (comme un super-cerveau qui connaît déjà le monde). Pour l'adapter à une tâche spécifique (comme reconnaître des chats ou des fleurs), on lui ajoute de petits "post-it" appelés prompts (des indices textuels).

Le problème actuel, c'est que les méthodes existantes forcent tout le monde à utiliser le même nombre de post-it, de la même longueur, pour tout le monde.

L'analogie : C'est comme si un professeur de cuisine donnait exactement la même recette de 10 pages à un chef étoilé, à un enfant de 5 ans et à quelqu'un qui n'a qu'une casserole. Le chef s'ennuie, l'enfant est perdu, et celui qui a une petite casserole ne peut pas tout cuire !
De plus, si tout le monde essaie de fusionner ses idées en une seule "recette mondiale", cela crée des conflits. Les préférences locales (votre style de cuisine) se mélangent mal avec la moyenne globale, et le résultat devient moyen pour tout le monde.

2. La Solution SDFed : Un système flexible et respectueux

Les auteurs de SDFed ont inventé un système qui permet à chaque utilisateur d'avoir sa propre longueur de "post-it" tout en restant connecté au groupe. Voici comment ça marche, étape par étape :

A. Le "Cerveau Global" et le "Cerveau Local"

Au lieu d'avoir une seule recette, chaque utilisateur a deux outils :

Une recette globale fixe (le "Cerveau Global") : C'est une base courte et standardisée que tout le monde partage. C'est comme le "sel et poivre" de base que tout le monde utilise.
Une recette locale variable (le "Cerveau Local") : C'est ici que la magie opère. Chaque utilisateur peut ajouter autant de "post-it" supplémentaires qu'il le souhaite, selon la complexité de ses données et la puissance de son ordinateur.
- L'analogie : Imaginez que tout le monde partage une base de pâte à pizza (le global), mais que chacun ajoute ses propres garnitures (le local) en quantité variable selon ses goûts.

B. Le Filtre Magique (Raffinement du Sous-espace)

Le problème, c'est que si chacun ajoute ses garnitures, on risque de mélanger des choses qui ne vont pas ensemble (par exemple, mettre du chocolat sur une pizza salée).
SDFed utilise une technique mathématique intelligente (appelée décomposition en valeurs singulières, mais on va l'appeler le Filtre Magique).

Comment ça marche ? Avant d'ajouter ses garnitures locales, le système regarde la base globale. Il identifie les ingrédients qui sont déjà dans la base mondiale et qui pourraient créer de la confusion. Il "filtre" ces ingrédients redondants pour ne garder que ce qui est vraiment nouveau et spécifique à l'utilisateur.
L'analogie : C'est comme un chef qui dit : "Attends, on a déjà du basilic dans la sauce commune. Ne rajoute pas de basilic, ajoute plutôt de la mozzarella fraîche pour que ta pizza soit unique." Cela évite les conflits entre le goût global et le goût local.

C. La Règle de Distance (Contrôle de la Divergence)

Pour s'assurer que l'utilisateur ne s'éloigne pas trop de la base commune (ce qui briserait le groupe), SDFed impose une règle simple :

Il faut rester proche de sa propre recette locale (pour garder son style), mais il faut aussi garder une certaine distance avec la recette globale (pour ne pas juste copier-coller).
L'analogie : C'est comme une danse de groupe. Vous devez suivre le rythme général (le groupe), mais vous avez le droit de faire votre propre pas de danse (votre localité), tant que vous ne marchez pas sur les pieds des autres ni ne vous arrêtez complètement.

3. Pourquoi c'est génial ?

Grâce à SDFed :

Chacun est libre : Les utilisateurs avec peu de données ou des ordinateurs faibles peuvent utiliser des "recettes" courtes. Ceux qui ont beaucoup de données peuvent utiliser des "recettes" longues et complexes.
Pas de conflits : Le filtre magique empêche les idées qui se contredisent de se mélanger.
Résultats supérieurs : Les tests montrent que cette méthode donne de meilleurs résultats que les anciennes, même quand les données sont très différentes d'un utilisateur à l'autre.

En résumé

SDFed, c'est comme passer d'une réunion où tout le monde doit parler en même temps avec le même nombre de mots (ce qui crée du chaos), à une réunion où chacun a un micro adapté à sa voix, avec un modérateur intelligent qui s'assure que les idées se complètent au lieu de se contredire.

C'est une façon élégante de dire : "Restons connectés, mais permettons à chacun d'être unique."

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Les modèles pré-entraînés vision-langage (VLPMs), tels que CLIP, offrent des représentations transférables puissantes. Cependant, leur adaptation dans des environnements fédérés (Federated Learning - FL) pose deux défis majeurs :

Coût de communication et données limitées : L'entraînement fédéré classique nécessite l'échange fréquent de paramètres de modèles massifs, ce qui est prohibitif. De plus, les données locales des clients sont souvent insuffisantes pour éviter le surapprentissage (overfitting).
Hétérogénéité des clients : Les approches d'apprentissage par prompt fédéré existantes (comme PromptFL) imposent généralement une structure et une longueur de prompt unifiées pour tous les clients. Cette rigidité est inadéquate face à l'hétérogénéité réelle des distributions de données (non-IID) et des ressources système (capacité de calcul, architectures de modèles).
- Conflit Local-Global : Un prompt global unique peut introduire des connaissances qui entrent en conflit avec les caractéristiques optimales locales de certains clients, dégradant la convergence locale et limitant la personnalisation.

Objectif : Développer un cadre d'apprentissage par prompt fédéré capable de gérer l'hétérogénéité (longueurs de prompts variables) tout en résolvant les conflits entre les connaissances globales partagées et les connaissances locales optimales.

2. Méthodologie : SDFed

Les auteurs proposent SDFed, un cadre d'apprentissage par prompt fédéré hétérogène qui comble l'écart local-global via deux mécanismes principaux : le Raffinement de Sous-espace et le Contrôle de Divergence.

A. Cadre Fédéré Hétérogène Piloté par Prompt (Prompt-Driven Federated Heterogeneous Framework)

SDFed introduit une architecture hybride pour chaque client :

Prompt Global ( $G_s$ ) : De longueur fixe, partagé et agrégé par le serveur pour assurer la cohérence et l'efficacité de l'agrégation.
Prompt Local ( $G_c$ ) : De longueur variable, spécifique à chaque client, pour s'adapter aux caractéristiques de ses données et à sa capacité de modèle.
Mécanisme d'alignement : Les prompts locaux et globaux partagent des tokens de début/fin et utilisent le même encodeur Transformer gelé. Si un prompt local est plus court que le maximum, un remplissage (padding) est appliqué pour l'alignement structurel.

B. Raffinement de Sous-espace pour les Prompts Locaux (Subspace Refinement)

Pour atténuer les conflits sémantiques entre le prompt global (qui capture la moyenne globale) et le prompt local, SDFed projette le prompt local sur un sous-espace qui supprime les composantes dominées par le global.

Décomposition SVD : Le serveur (ou localement) effectue une décomposition en valeurs singulières (SVD) du prompt global $G_s = H Z X^T$ .
Filtrage spectral : Les directions singulières dominantes (les plus grandes valeurs) de $G_s$ sont considérées comme représentant la sémantique globale partagée.
Projection : Le prompt local est projeté sur le sous-espace orthogonal aux directions dominantes globales (en utilisant une matrice de projection $R$ construite à partir des vecteurs singuliers restants). Cela élimine la redondance et l'interférence globale tout en préservant les variations spécifiques au client.

C. Stratégie de Rétention d'Information et de Contrôle de Divergence

Pour éviter que la projection ne supprime trop d'informations locales ou ne force une convergence excessive vers le global, une fonction de perte composite est utilisée :

Terme d'Étirement (Stretch) : Minimise la distance entre le prompt local original et sa version projetée, garantissant la préservation des informations sémantiques clés.
Terme de Séparation (Separate) : Utilise une contrainte de marge (ReLU) pour forcer une distance minimale entre le prompt local et le prompt global, empêchant la perte de personnalisation.
Objectif Unifié : La perte totale combine la perte d'entropie croisée (sur les prompts local et global), le terme d'étirement et le terme de séparation.

3. Contributions Clés

Cadre Hétérogène Unifié : Proposition de SDFed, le premier cadre d'apprentissage par prompt fédéré permettant des longueurs de prompts variables par client tout en maintenant une agrégation globale efficace via un prompt fixe.
Mécanismes de Résolution de Conflits :
- Développement d'une méthode de Raffinement de Sous-espace basée sur la SVD pour filtrer les interférences globales.
- Conception d'une stratégie de Contrôle de Divergence qui équilibre la fidélité de l'information locale et la séparation par rapport au modèle global.
Analyse de Convergence : Preuve théorique que l'algorithme converge vers un point stationnaire d'ordre un sous des hypothèses standard (lissage, gradients non biaisés, hétérogénéité bornée).
Efficacité et Confidentialité : La méthode n'ajoute pas de fuite de confidentialité par rapport à FedAvg standard (seul le prompt global est transmis) et l'overhead computationnel du raffinement de sous-espace est négligeable (<1% du temps total).

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données (Flowers102, DTD, Food101, OxfordPets, Caltech101, OfficeHome, Office31, CIFAR-10, Tiny-ImageNet) avec des partitions de données non-IID.

Performance Supérieure : SDFed surpasse systématiquement les méthodes de l'état de l'art (CoOp, Powder, FedOTP, GPT-FL, UOPP) en termes de précision moyenne.
- Exemple : Sur Flowers102, SDFed atteint 99,35% de précision contre 98,62% pour le meilleur concurrent (UOPP).
- Sur OfficeHome, SDFed montre une robustesse supérieure dans tous les domaines (Product, Clipart, Real-World, Art).
Robustesse à l'Hétérogénéité :
- Hétérogénéité de Données : SDFed maintient des performances élevées même avec des partitions de classes très déséquilibrées (non-IID pathologiques).
- Hétérogénéité de Modèle : Le cadre fonctionne efficacement avec différents backbones (ViT-B16, ResNet50) et budgets de calcul.
Efficacité en Few-Shot : SDFed démontre une meilleure efficacité d'échantillonnage, maintenant une haute précision même avec un très petit nombre d'exemples (1 à 4 shots), là où les méthodes baselines chutent drastiquement.
Analyse d'Ablation : L'étude montre que chaque composant (Framework hétérogène, Raffinement de sous-espace, Contrôle de divergence) contribue significativement à l'amélioration globale. La combinaison des trois est nécessaire pour atteindre les performances maximales.

5. Signification et Impact

L'article SDFed représente une avancée significative dans l'adaptation des grands modèles de fondation (VLPMs) aux environnements fédérés réels.

Dépassement des Limites Actuelles : Il résout le compromis traditionnel entre la personnalisation (besoin de modèles locaux flexibles) et la généralisation (besoin d'un modèle global cohérent) en permettant une flexibilité structurelle (longueur de prompt) sans sacrifier l'agrégation.
Gestion Intelligente de l'Hétérogénéité : Au lieu de simplement moyenner les paramètres (FedAvg), SDFed utilise une analyse spectrale pour comprendre et filtrer les conflits de connaissances, offrant une approche plus nuancée pour l'apprentissage collaboratif.
Applicabilité Pratique : La faible surcharge computationnelle et l'absence de coût de communication supplémentaire rendent cette méthode directement applicable aux déploiements industriels où les ressources et les données sont hétérogènes.

En conclusion, SDFed établit un nouveau paradigme pour l'apprentissage par prompt fédéré, démontrant que l'adaptation structurelle couplée à un contrôle de divergence intelligent est la clé pour réussir l'apprentissage fédéré sur des modèles vision-langage complexes.