🤖 machine learning

Prompt Estimation from Prototypes for Federated Prompt Tuning of Vision Transformers

L'article propose PEP-FedPT, un cadre d'apprentissage fédéré unifié pour les Transformers de vision qui réalise à la fois la généralisation et la personnalisation en introduisant un Prompt Mixte Contextualisé par Classe (CCMP) qui combine de manière adaptative des prompts spécifiques aux classes en utilisant des prototypes globaux et des priors clients sans stocker de paramètres entraînants dépendants des clients.

Auteurs originaux : M Yashwanth, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : M Yashwanth, Sharannya Ghosh, Aditay Tripathi, Anirban Chakraborty

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque massive et ultra-intelligente de livres (un Vision Transformer pré-entraîné) qui sait un peu de tout, mais n'est expert dans aucun sujet spécifique. Vous souhaitez enseigner à cette bibliothèque de devenir experte dans un domaine précis, comme l'identification d'oiseaux rares ou la détection de maladies sur des radiographies, mais vous ne pouvez pas déplacer tous les livres vers un seul endroit. Au lieu de cela, vous avez des centaines de petites succursales locales (clients) dispersées à travers le monde, chacune détenant une collection de livres différente et unique.

Voici le défi du Federated Learning (Apprentissage Fédéré) : entraîner un modèle global intelligent sans jamais déplacer les données privées des succursales locales.

Le Problème : Le Dilemme « Taille Unique » vs « Trop Personnalisé »

L'article identifie une lutte frustrante dans l'effort d'enseigner à cette bibliothèque :

L'Approche Globale (Trop Rigide) : Si vous donnez à chaque succursale exactement le même ensemble d'instructions (un « prompt global »), la bibliothèque fonctionne bien pour la succursale moyenne mais échoue lamentablement pour celles disposant de données étranges ou uniques. C'est comme donner un manuel générique « Comment Cuisiner » à une succursale qui ne possède que des fruits de mer ; les instructions ne correspondent pas à leurs ingrédients spécifiques.
L'Approche Personnalisée (Trop Étroite) : Si vous laissez chaque succursale rédiger ses propres instructions personnalisées, elles deviennent expertes de leurs données locales spécifiques mais oublient comment communiquer avec le reste du réseau. Elles deviennent si spécialisées qu'elles ne peuvent aider personne d'autre, et si une nouvelle succursale rejoint le réseau, elles ne savent pas quoi faire.

La Solution : PEP-FedPT (Le « Mixologue Intelligent »)

Les auteurs proposent une nouvelle méthode appelée PEP-FedPT. Imaginez cela comme un « Mixologue Intelligent » qui crée une boisson sur mesure pour chaque succursale, mais sans avoir besoin de stocker un livre de recettes secrètes dans chaque succursale.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Les Ingrédients Partagés (Prompts Globaux)

Le serveur central (le chef de la bibliothèque) envoie un ensemble de Prompts Partagés. Ce sont comme des ingrédients de base universels (sel, poivre, eau) sur lesquels tout le monde s'accorde. Ils aident la bibliothèque à comprendre les bases.

2. Les Saveurs Spéciales (Prompts Spécifiques aux Classes)

Le serveur maintient également un ensemble de Prompts Spécifiques aux Classes. Imaginez-les comme des concentrés de saveurs distincts : un pour « Oiseaux », un pour « Voitures », un pour « Arbres ». Ceux-ci sont partagés mondialement, de sorte que tout le monde a accès aux mêmes bouteilles de saveurs.

3. Le Mélange Magique (CCMP)

C'est la grande innovation de l'article. Au lieu de simplement remettre à une succursale une seule saveur ou un mélange générique, le système crée un Prompt Mixte Contextualisé par Classe (CCMP) pour chaque image que la succursale voit.

Comment décide-t-il du mélange ?

Le Test de l'« Odeur » (Prototypes) : Le système examine l'image et demande : « Cela ressemble-t-il plus à un oiseau ou à une voiture ? » Il utilise une « carte globale » (prototypes de classe) pour estimer la probabilité.
Le « Menu Local » (Priors de Classe) : Il vérifie également le menu local de la succursale. Si une succursale voit principalement des oiseaux, le système sait qu'il doit pencher davantage vers la saveur « Oiseau ».

Le système mélange les saveurs « Oiseau » et « Voiture » dans un rapport précis basé sur ces deux facteurs. C'est comme un mixologue disant : « Cette image ressemble à 80 % à un oiseau et à 20 % à une voiture, donc je vais mélanger 80 % de saveur oiseau et 20 % de saveur voiture pour cette boisson spécifique. »

Pourquoi C'est un Changement de Jeu

Pas de Livres de Recettes Secrètes : Les succursales n'ont pas besoin de stocker leurs propres manuels d'instructions uniques et lourds. Elles utilisent simplement les saveurs globales partagées et les mélangent à la volée. Cela économise d'énormes quantités de mémoire et d'espace de communication.
Le Meilleur des Deux Mondes : La « boisson » résultante est suffisamment personnalisée pour gérer les données étranges de la succursale (généralisation) mais reste connectée au réseau global (personnalisation).
Respect de la Vie Privée : Les succursales ne renvoient que de minuscules résumés (prototypes) de ce qu'elles ont appris, et non les images réelles. C'est comme envoyer une description des saveurs utilisées, et non la nourriture elle-même.

Les Résultats

L'article a testé cette méthode sur plusieurs jeux de données « difficiles » (comme CIFAR-100 et TinyImageNet) où les données sont désordonnées et inégalement réparties.

Le Gagnant : PEP-FedPT a constamment battu toutes les autres méthodes.
La Preuve : Il n'a pas seulement obtenu un score moyen plus élevé ; il a également aidé les succursales les moins performantes à s'améliorer de manière significative. Il a réussi à être à la fois un excellent expert local et un voisin global utile simultanément.

En bref, l'article présente un moyen d'entraîner un modèle d'IA géant à travers de nombreuses sources de données différentes et désordonnées en permettant au modèle de « mixer et assortir » ses propres instructions à la volée, en utilisant un ensemble d'outils partagés et un peu de contexte local. Il atteint l'équilibre parfait entre être un généraliste et un spécialiste.

Résumé Technique : PEP-FedPT

Énoncé du Problème

L'apprentissage fédéré (FL) rencontre des défis majeurs lors de l'adaptation de grands Transformers de vision pré-entraînés (ViT) à des tâches en aval dans des conditions d'hétérogénéité des données. Bien que le réglage par incitation visuelle (Visual Prompt Tuning, VPT) offre une solution économe en paramètres pour le fine-tuning, les approches existantes peinent à équilibrer la généralisation et la personnalisation :

Réglage par incitation global : Des méthodes comme FedPR utilisent des incitations partagées entre tous les clients. Bien qu'elles généralisent bien, elles échouent à s'adapter aux distributions de données client hautement hétérogènes (non-iid), entraînant une « dérive client » et des performances sous-optimales.
Réglage par incitation personnalisé : Des méthodes comme pFedPG génèrent des incitations spécifiques à chaque client. Bien qu'elles s'adaptent bien aux données locales, elles conduisent souvent à un surapprentissage, résultant en une mauvaise généralisation aux clients non vus ou non participants. De plus, de nombreuses approches personnalisées supposent une participation complète de tous les clients à chaque round, ce qui est irréaliste dans les systèmes FL réels.
Approches hybrides existantes : Des méthodes comme SGPT tentent de combler ce fossé en utilisant des incitations spécifiques à des groupes, mais introduisent une complexité d'optimisation via des mécanismes de sélection non différentiables et des processus d'entraînement en deux étapes.

La question centrale abordée est la suivante : Pouvons-nous atteindre une personnalisation efficace en nous fiant exclusivement à des incitations partagées globalement ?

Méthodologie : PEP-FedPT

Les auteurs proposent PEP-FedPT (Estimation d'incitation à partir de prototypes pour le réglage par incitation fédéré), un cadre unifié qui atteint la personnalisation sans stocker de paramètres entraînables dépendants du client. L'innovation centrale est l'Incitation Mixte Contextualisée par Classe (CCMP).

1. Architecture d'incitation

Le cadre utilise deux ensembles de paramètres entraînables partagés globalement entre tous les clients :

Incitations partagées ( $P_S$ ) : Insérées à la toute première couche du ViT. Elles capturent des représentations de bas niveau, agnostiques de la classe, communes à travers la variété.
Incitations spécifiques à la classe ( $P_C$ ) : Un ensemble d'incitations correspondant à chaque classe, partagées globalement.

2. Incitation Mixte Contextualisée par Classe (CCMP)

Au lieu d'insérer une incitation statique unique, PEP-FedPT génère dynamiquement une incitation mixte ( $m$ ) pour chaque échantillon d'entrée aux couches intermédiaires (spécifiquement les couches 5, 6 et 7 dans les expériences). Cette incitation mixte est une combinaison douce des incitations globales spécifiques à la classe, pondérée par des scores dérivés de :

Prototypes globaux de classe ( $\mu$ ) : Centroïdes agrégés des représentations du token CLS pour chaque classe, calculés en moyennant les tokens CLS des points de données au sein d'une classe à travers les clients. Ils sont mis à jour périodiquement via une moyenne fédérée avec momentum.
Priors de classe client ( $\delta$ ) : La distribution empirique des étiquettes (fréquence des classes) spécifique aux données locales de chaque client.

3. Mécanisme de mélange d'incitation

Pour une entrée donnée $x$ au client $k$ , le système calcule un vecteur de poids doux $s$ pour les incitations spécifiques à la classe :

Score de similarité : La similarité cosinus entre la représentation du token CLS de l'entrée ( $cls_{l-1}$ ) à la couche $l$ et les prototypes globaux de classe ( $\mu$ ) est calculée.
Notation pondérée : Ces similarités sont mises à l'échelle par les priors de classe locaux du client ( $\delta$ ) et un paramètre de température ( $\tau$ ).
Normalisation : Les scores sont normalisés pour former une distribution de probabilité.
Mélange : La CCMP finale est calculée comme la somme pondérée des incitations globales spécifiques à la classe : $m = P_C \times s$ .

Cela permet à chaque client de personnaliser dynamiquement l'incitation en fonction de sa distribution de données locale et de l'entrée actuelle, en utilisant uniquement des informations globales (incitations et prototypes) et des statistiques locales (priors), sans transmettre de données brutes ni de poids de modèle spécifiques au client.

4. Fondements théoriques

L'article fournit deux justifications théoriques pour la conception de la CCMP :

Minimisation de la borne supérieure quadratique : Les auteurs prouvent que la CCMP minimise une borne supérieure quadratique sur la fonction de perte globale, en supposant que la perte est lisse au sens de Lipschitz et que l'espace des incitations est compact. La stratégie de mélange optimale correspond à la moyenne pondérée des incitations de classe basée sur les priors de classe.
Optimalité MMSE : Il est démontré que la CCMP est l'estimateur du Minimum Erreur Quadratique Moyenne (MMSE) de la véritable incitation de classe étant donnée la représentation observée du token CLS.

Contributions Clés

Cadre unifié : Introduction de PEP-FedPT, qui optimise conjointement les incitations partagées et spécifiques à la classe pour traiter l'hétérogénéité des données dans l'apprentissage fédéré des ViT, trouvant un équilibre entre généralisabilité et personnalisation.
Stratégie de mélange novatrice : Conception de la CCMP, qui génère des incitations par échantillon comme une fonction des incitations globales spécifiques à la classe, modulées par les priors de classe locaux et les prototypes globaux. Cela élimine le besoin de stockage local d'incitations ou de génération côté serveur d'incitations spécifiques au client.
Insights théoriques : Démonstration que la CCMP minimise une borne supérieure quadratique sur la perte et est optimale au sens du MMSE.
Supériorité empirique : Validation extensive montrant que la méthode surpasse les références de l'état de l'art à travers divers scénarios d'hétérogénéité.

Résultats Expérimentaux

La méthode a été évaluée sur CIFAR-100, TinyImageNet, DomainNet et iNaturalist dans divers paramètres non-iid (divisions pathologiques et distributions de Dirichlet).

Performance : PEP-FedPT a constamment surpassé les références (incluant FedVPT, FedPR, SGPT et pFedPG) tant en Précision Moyenne qu'en Précision Locale la plus faible.
- Sur CIFAR-100 (Pathologique), il a atteint une précision moyenne de 95,46 %, dépassant pFedPG (92,96 %) et FedVPT-D (85,15 %).
- Sur TinyImageNet, il a amélioré la précision moyenne de 8,59 % par rapport à pFedPG.
Généralisation : Dans les évaluations sur données tenues à l'écart (test sur des clients n'ayant pas participé à l'entraînement), PEP-FedPT a maintenu une haute précision (93,71 % sur CIFAR-100), tandis que des méthodes personnalisées comme pFedPG ont échoué à généraliser (marqué NA ou significativement plus bas).
Efficacité : La méthode a nécessité nettement moins de rounds de communication (12 rounds pour atteindre 83 % de précision sur CIFAR-100) et une surcharge de communication inférieure (4,6 M de paramètres communiqués) par rapport à SGPT (13 M) et FedVPT-D.
Études d'ablation : Les expériences ont confirmé que la combinaison des Incitations Partagées avec la CCMP produit des gains significatifs par rapport à l'utilisation des Incitations Partagées seules. L'inclusion des Priors de Classe a en outre amélioré les performances, en particulier dans les paramètres pathologiques.

Signification et Revendications

L'article revendique que PEP-FedPT établit une base solide pour un réglage par incitation fédéré efficace et généralisable des Transformers de vision. Sa signification principale réside dans la résolution du compromis entre personnalisation et généralisation dans le FL :

Il atteint la personnalisation en exploitant les distributions de données locales (via les priors) pour mélanger dynamiquement les incitations.
Il maintient la généralisation en s'appuyant exclusivement sur des incitations et des prototypes partagés globalement, évitant ainsi les problèmes de surapprentissage des modèles entièrement personnalisés.
Il offre une évolutivité en ne nécessitant ni stockage de paramètres spécifiques au client ni participation complète de tous les clients, le rendant adapté aux périphériques contraints en ressources.

Les auteurs notent des limitations, spécifiquement que la méthode repose sur des estimations empiriques des priors de classe et des centroïdes, qui peuvent être peu fiables dans des contextes semi-supervisés ou non supervisés, et que l'avantage diminue dans des distributions de données strictement IID où la méthode se réduit effectivement au Fed-VPT standard. Cependant, dans le contexte de l'apprentissage fédéré non-IID, l'approche proposée offre une solution robuste, théoriquement fondée et empiriquement supérieure.