💻 computer science

Decoupled Training with Local Reinforcement Fine-Tuning in Federated Learning

Cet article propose FedDTL, un cadre d'apprentissage fédéré novateur pour les modèles vision-langage qui découple les encodeurs d'images et de texte pour assurer des mises à jour globales cohérentes et adopte une stratégie de fine-tuning local en deux étapes combinant l'apprentissage supervisé et l'apprentissage par renforcement afin d'équilibrer efficacement l'adaptation aux tâches globales et la généralisation sous des distributions de données hétérogènes.

Auteurs originaux : Yuting Ma, Lechao Cheng, Xiaohua Xu

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuting Ma, Lechao Cheng, Xiaohua Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un groupe d'amis essayant d'apprendre ensemble une nouvelle compétence, comme identifier différents types d'oiseaux, mais qui vivent dans des villes différentes et ne peuvent pas partager leurs albums photo privés. C'est l'idée centrale du Federated Learning (Apprentissage Fédéré) : chacun apprend localement sur ses propres appareils et ne partage que ce qu'il a appris, pas ses données brutes.

Maintenant, imaginez que ces amis utilisent un « expert ornithologique » pré-entraîné et ultra-intelligent (un modèle Vision-Language) pour les aider. Le problème est que, si chacun étudie simplement ses propres photos locales puis tente de moyenner ses notes, les choses deviennent chaotiques. Certains amis pourraient devenir trop obsédés par les oiseaux spécifiques de leur propre jardin (sur-spécialisation), tandis que d'autres pourraient apprendre des façons complètement différentes de décrire les oiseaux, rendant impossible la combinaison de leurs connaissances en un guide utile (incohérence).

L'article introduit une nouvelle méthode appelée FedDTL pour résoudre ce problème. Voici comment elle fonctionne, décomposée en concepts simples :

1. La Stratégie « Équipe Scindée » (Entraînement Découplé)

Dans la plupart des méthodes, chaque ami essaie d'apprendre à la fois comment voir l'oiseau (Encodeur d'Image) et comment le décrire en mots (Encodeur de Texte) de son côté. Cela conduit à de la confusion car les descriptions de chacun divergent.

FedDTL divise le travail :

Les Artistes Locaux (Clients) : Chaque ami garde son appareil photo et son album. Ils entraînent leur « Encodeur d'Image » localement pour reconnaître les oiseaux sur leurs propres photos. Cela maintient leurs photos privées en sécurité.
Le Bibliothécaire Central (Serveur) : Un serveur central entraîne l'« Encodeur de Texte ». Au lieu de regarder des photos, le serveur apprend simplement les noms des oiseaux (par exemple, « Cardinal », « Geai bleu »).
La Connexion : Les amis envoient leur « compréhension visuelle » au serveur, et le serveur renvoie les « définitions textuelles ». C'est comme si les amis envoyaient des croquis au bibliothécaire, et que le bibliothécaire renvoyait les définitions correctes du dictionnaire. Cela garantit que tout le monde utilise la même « langue » pour décrire ce qu'il voit, maintenant le groupe aligné sans que personne ne voie les photos privées des autres.

2. La « Danse en Deux Temps » (Affinement Local en Deux Étapes)

Même avec l'équipe scindée, si un ami étudie ses photos locales trop longtemps, il pourrait commencer à mémoriser l'éclairage ou le fond spécifique de son propre jardin, oubliant comment reconnaître l'oiseau dans un contexte différent. C'est ce qu'on appelle la « sur-spécialisation ».

FedDTL résout cela avec un processus d'entraînement en deux étapes pour chaque ami :

Étape 1 : L'Échauffement (Affinement Supervisé - SFT) :
D'abord, l'ami fait une session d'étude rapide et standard. Il regarde ses photos et apprend à les associer aux noms d'oiseaux fournis par le Bibliothécaire Central. Cela le met rapidement et fièrement à niveau. Pensez-y comme à la mémorisation de fiches de révision.
Étape 2 : Le Boost par Renforcement (Apprentissage par Renforcement - RL) :
Après l'échauffement, l'ami passe en mode « essai-erreur ». Au lieu de simplement mémoriser, il est récompensé pour être général plutôt que simplement spécifique.
- L'Analogie : Imaginez que l'ami joue à un jeu où il doit deviner l'oiseau. S'il devine correctement, il gagne un point. Mais voici le twist : il est encouragé à deviner correctement même lorsque la photo est légèrement floue ou sous un angle étrange.
- L'article utilise une technique appelée GRPO (Optimisation de Politique Relative par Groupe). C'est comme si un groupe d'amis devinait le même oiseau en même temps. Si un ami devine correctement tandis que les autres se trompent, cet ami reçoit une « prime » pour être plus général. Cela l'empêche de simplement mémoriser les pixels exacts de ses photos locales et le force à apprendre la vraie essence de l'oiseau, le rendant meilleur pour reconnaître des oiseaux qu'il n'a jamais vus auparavant.

Pourquoi est-ce important ?

Les méthodes précédentes tentaient de résoudre ces problèmes en ajoutant des règles complexes ou en moyennant simplement les notes de tout le monde. Mais dans les contextes « Full-Data » (où les amis ont beaucoup de photos, pas seulement quelques-unes), ces anciennes méthodes échouaient. Soit elles rendaient le groupe trop incohérent, soit elles rendaient les individus trop obsédés par leurs propres données.

FedDTL prétend être la première à réussir à équilibrer deux choses à la fois :

Adaptation Globale : Le groupe apprend la tâche bien ensemble (tout le monde s'accorde sur ce qu'est un « Cardinal »).
Généralisation : Le groupe peut toujours reconnaître des oiseaux dans de nouveaux environnements non vus (pas seulement les photos spécifiques de leur jardin sur lesquelles ils se sont entraînés).

Les Résultats

Les auteurs ont testé cela sur de nombreux ensembles de données différents (comme l'identification de fleurs, d'animaux de compagnie et de nourriture) dans diverses conditions difficiles (certains amis ayant des types de données très différents des autres). Ils ont constaté que FedDTL surpassait constamment les autres méthodes, en particulier lorsqu'il y avait beaucoup de données à traiter. Il a réussi à maintenir l'unité du groupe tout en s'assurant qu'aucun ami ne devenait trop « têtu » concernant ses données locales.

En bref, FedDTL est une manière plus intelligente pour un groupe distribué d'apprendre ensemble : il sépare le « voir » du « nommer » pour maintenir tout le monde aligné, et il utilise un processus d'entraînement en deux étapes pour s'assurer qu'ils apprennent les règles générales du jeu, et non pas seulement les détails spécifiques de leur propre jardin.

Résumé Technique : Entraînement Découplé avec Affinement par Renforcement Local dans l'Apprentissage Fédéré (FedDTL)

Énoncé du Problème

L'apprentissage fédéré (FL) combiné à des modèles vision-langage pré-entraînés (VLM), tels que CLIP, offre un paradigme prometteur pour l'adaptation aux tâches en aval tout en préservant la confidentialité des données. Cependant, les approches existantes reposant sur une optimisation entièrement locale avec une agrégation simple des paramètres font face à deux défis critiques, en particulier sous des distributions de données hétérogènes et dans des régimes de données complètes :

Incohérence d'Optimisation Inter-Clients : Dans des configurations Non-IID (par exemple, déséquilibre des étiquettes et décalage des caractéristiques), les clients optimisent des objectifs locaux non correspondants. Cela entraîne des gradients locaux désalignés et une « dérive client », où les clients convergent vers différents systèmes de coordonnées de représentation. Par conséquent, une simple moyenne des paramètres échoue à produire une mise à jour sémantique globale cohérente, dégradant l'adaptation globale à la tâche.
Sur-spécialisation Intra-Client : Dans des régimes de données complètes avec de longues trajectoires d'entraînement local, les modules d'affinement efficace des paramètres (PEFT) légers ont tendance à devenir excessivement spécialisés aux fréquences d'étiquettes biaisées et aux statistiques de caractéristiques spécifiques à un client. Bien que cela améliore l'ajustement local, cela compromet sévèrement la généralisation à des classes non vues ou à des domaines décalés.

Les méthodes actuelles abordent souvent ces problèmes via des contraintes de régularisation ou d'alignement, mais restent insuffisantes car elles reposent sur une optimisation purement locale. De plus, de nombreuses évaluations se limitent à des configurations few-shot, sous-estimant potentiellement les effets négatifs cumulés dans des scénarios réalistes de données complètes.

Méthodologie : FedDTL

Les auteurs proposent FedDTL, un cadre novateur qui intègre un schéma d'entraînement d'encodeur découplé avec une stratégie d'affinement local en deux étapes pour équilibrer l'adaptation globale à la tâche et la généralisation.

1. Entraînement d'Encodeur Découplé

Inspiré par le découplage des modalités dans CLIP, FedDTL sépare l'entraînement des encodeurs d'images et de texte à travers l'architecture client-serveur :

Encodeur d'Image Local : L'encodeur d'images ( $V$ ) traite les images brutes privées et est entraîné localement sur chaque client pour préserver la confidentialité des données.
Encodeur de Texte Global : L'encodeur de texte ( $T$ ), qui opère sur des descriptions textuelles au niveau des catégories (par exemple, « une photo d'un [nom de classe] »), est optimisé centralement sur le serveur.
Mécanisme : Les clients alignent leurs représentations visuelles locales avec les plongements textuels globalement cohérents du serveur. Cet alignement de modalité serveur-client agit comme une contrainte sémantique, réduisant l'incohérence d'optimisation inter-client sans exiger que les clients maintiennent des encodeurs de texte locaux.
Efficacité : Les deux encodeurs utilisent un réglage LoRA (Adaptation de Rang Inférieur) sur des backbones figés pour minimiser la surcharge computationnelle et les coûts de communication.

2. Affinement Local en Deux Étapes

Pour atténuer la sur-spécialisation intra-client, FedDTL emploie un processus d'entraînement local séquentiel :

Étape 1 : Adaptation à la Tâche basée sur SFT (Démarrage à chaud) : Les clients effectuent un Affinement Supervisé (SFT) sur leurs encodeurs d'images locaux en utilisant une perte d'entropie croisée. Cette étape fournit un démarrage à chaud d'optimisation rapide et fiable, adaptant rapidement le modèle à la distribution de la tâche locale.
Étape 2 : Amélioration de la Généralisation basée sur RL : Suite au SFT, les clients passent à une étape d'Apprentissage par Renforcement (RL) inspirée de l'Optimisation Stratégique Relative par Groupes (GRPO).
- Injection de Stochasticité : Puisque les encodeurs d'images produisent des plongements déterministes, les auteurs injectent un bruit gaussien non biaisé dans l'espace de plongement latent pour induire de la stochasticité afin d'échantillonner les actions.
- Récompense et Stratégie : Le modèle de stratégie est mis à jour sur la base d'une récompense basée sur la précision (classification correcte = 1, sinon 0). L'objectif minimise une perte de gradient de stratégie avec un écrêtage $\epsilon$ et un terme de régularisation de divergence KL par rapport à un modèle de référence hybride (combinant le modèle SFT final et la dernière stratégie globale).
- Objectif : Cette étape affine la trajectoire de mise à jour locale pour prévenir la mémorisation excessive des données locales, améliorant ainsi la généralisation aux classes et domaines non vus.

3. Coordination Globale

Après l'affinement local, les clients téléchargent les paramètres LoRA mis à jour et les plongements d'images normalisés (spécifiquement les jetons de classe) vers le serveur. Le serveur agrège les paramètres visuels LoRA par moyenne pondérée et met à jour l'encodeur de texte global en utilisant les plongements collectés, complétant ainsi le tour de FL.

Contributions Clés

Schéma d'Entraînement Découplé : Une architecture novatrice où l'encodeur d'images est optimisé localement pour la confidentialité, tandis qu'un encodeur de texte centralisé fournit une ancre sémantique globale. Cette conception réduit l'incohérence inter-client et améliore l'adaptation globale à la tâche à travers diverses distributions de données FL.
Affinement Local en Deux Étapes : Une stratégie combinant SFT pour une adaptation rapide et une étape RL inspirée de GRPO pour supprimer la sur-spécialisation intra-client. Cette approche stabilise l'entraînement local et améliore la généralisation dans des configurations hétérogènes et de données complètes.
Évaluation Complète : Expériences extensives sur neuf benchmarks sous des régimes few-shot et de données complètes, couvrant le déséquilibre des étiquettes et le décalage des caractéristiques. Les résultats démontrent que FedDTL équilibre efficacement l'adaptation globale à la tâche et la généralisation, surpassant les précédentes bases de VLM fédérés.

Résultats Expérimentaux

L'article évalue FedDTL sur des jeux de données incluant CIFAR-10/100, EuroSAT, Tiny-ImageNet, Oxford-Pet, Flower102, Caltech101/256, Food101, Office-Caltech10 et DomainNet.

Déséquilibre des Étiquettes (Généralisation Base-vers-Nouvelle) : Dans des configurations Non-IID de données complètes, FedDTL atteint la précision la plus élevée sur les classes de base (par exemple, 91,64 % contre 80,56 % pour FedMaPLe sur CIFAR-100) tout en maintenant des performances compétitives sur les classes nouvelles. Il évite avec succès la dégradation sévère de la généralisation observée dans des bases comme pFedDC et pFedMMA, qui souffrent de sur-spécialisation dans les régimes de données complètes.
Décalage des Caractéristiques : Dans des configurations inter-domaines (Office-Caltech10, DomainNet), FedDTL atteint la précision moyenne la plus élevée dans presque toutes les configurations, y compris celles combinant décalage des caractéristiques et déséquilibre des étiquettes.
Études d'Ablation :
- La suppression du schéma d'encodeur découplé fait chuter significativement la précision de base dans les configurations Non-IID, confirmant son rôle dans la résolution de l'incohérence inter-client.
- La suppression de l'étape RL conduit à une précision sur les classes nouvelles plus faible, confirmant son efficacité pour préserver la généralisation.
- La stratégie en deux étapes (SFT + RL) surpasse l'utilisation de SFT ou de RL seuls, validant la nature complémentaire de l'adaptation rapide et de l'amélioration de la généralisation.
Confidentialité et Communication : Le cadre réduit les coûts de communication en ne téléchargeant que les plongements de jetons de classe. L'ajout de perturbation de bruit à ces plongements offre une protection supplémentaire de la confidentialité avec une perte de performance minimale.

Importance et Revendications

L'article revendique que FedDTL comble une lacune critique dans la recherche sur les VLM fédérés : l'incapacité des méthodes existantes à gérer simultanément l'incohérence inter-client et la sur-spécialisation intra-client, en particulier dans des scénarios réalistes de données complètes.

Résolution Systématique : Contrairement aux travaux antérieurs reposant sur une simple moyenne des paramètres ou une régularisation purement locale, FedDTL résout systématiquement l'incohérence par l'alignement de modalité serveur-client et la sur-spécialisation par un raffinement basé sur RL.
Robustesse : Le cadre démontre une robustesse à travers diverses distributions de données (IID, Dirichlet, Non-IID) et régimes d'apprentissage (few-shot à données complètes).
Praticité : En exploitant LoRA et un calendrier en deux étapes, la méthode équilibre les performances du modèle avec l'efficacité computationnelle, la rendant adaptée aux appareils périphériques.

Les auteurs concluent que leur approche fournit un chemin plus stable et efficace pour l'adaptation des VLM pré-entraînés dans des environnements fédérés, garantissant que les modèles globaux restent à la fois adaptables à des tâches spécifiques et généralisables à des scénarios non vus.