Federated Foundation Language Model Post-Training Should Focus on Open-Source Models

Résumé Technique : Le post-entraînement des modèles de langage fondationnels fédérés devrait se concentrer sur les modèles ouverts

Énoncé du problème
L'article traite de la pratique émergente consistant à appliquer l'apprentissage fédéré (Federated Learning - FL) au post-entraînement des modèles de langage fondationnels (Foundation Language Models - FLM). Bien que le FL offre un paradigme décentralisé pour adapter les modèles à des tâches en aval sans centraliser les données privées, les approches récentes s'appuient de plus en plus sur des modèles fondationnels de type « boîte noire » (black-box) et « boîte grise » (gray-box) (par exemple, des modèles accessibles uniquement via une API avec des poids et une architecture cachés). Les auteurs soutiennent que reproduire aveuglément les stratégies de post-entraînement centralisées en utilisant ces modèles fermés dans un contexte de FL contredit les principes fondamentaux du FL, à savoir la confidentialité des données, l'autonomie des clients et la transparence. Le problème central est de déterminer si la commodité et la performance des modèles fermés justifient l'érosion des avantages fondamentaux du FL lorsqu'ils sont appliqués au post-entraînement.

Méthodologie et cadre de travail
L'article utilise un cadre conceptuel et analytique plutôt qu'une expérimentation empirique. La méthodologie comprend :

1. Classification de l'ouverture des modèles : Les auteurs classent les FLM en quatre types distincts basés sur l'accessibilité et les licences :
   • Open-Source (Code ouvert) : Accès complet aux poids, au code source, à l'architecture et aux données d'entraînement sous des licences permissives.
   • Open-Weight (Poids ouverts) : Accès complet aux poids et à l'architecture, mais sans le code source ni les données d'entraînement (souvent sous des licences restrictives).
   • Gray-Box (Boîte grise) : Accès partiel via des API, permettant un ajustement fin limité (par exemple, des couches d'adaptateurs ou des prompts logiciels) tandis que le modèle de base reste figé et propriétaire.
   • Black-Box (Boîte noire) : Limité à l'échange de jetons (tokens) via API ; aucun accès aux paramètres internes, à l'architecture ou aux interfaces de réglage fin.
2. Analyse comparative : Les auteurs évaluent systématiquement ces types de modèles par rapport aux trois piliers du FL : la Confidentialité (garder les données locales), l'Autonomie (contrôle du client sur l'entraînement et l'utilisation) et l'Hétérogénéité (s'adapter à diverses distributions de données).
3. Audit de sécurité et de confidentialité : L'article analyse la surface d'attaque et les mécanismes de défense disponibles (par exemple, la confidentialité différentielle, l'agrégation sécurisée, le chiffrement homomorphe) pour différents types de post-entraînement (Full Fine-Tuning, LoRA, Prompt Tuning, RLHF) à travers les quatre catégories de modèles.
4. Cadre de décision : Un arbre de décision est construit pour guider les praticiens dans la sélection des types de modèles en fonction de contraintes spécifiques telles que les ressources locales, les exigences de licence et les besoins de sécurité.

Principales contributions
L'article présente cinq contributions primaires :

1. Taxonomie de l'ouverture : Une classification détaillée des modèles fondationnels et de leurs implications spécifiques pour les méthodes de post-entraînement fédéré, soulignant que l'ouverture du modèle dicte les techniques d'optimisation disponibles (par exemple, le Full Fine-Tuning est impossible avec les modèles boîte noire).
2. Analyse critique des modèles fermés : Une discussion rigoureuse sur les raisons pour lesquelles l'utilisation de modèles boîte noire et boîte grise dans le FL est problématique. Les auteurs démontrent que le recours à des API tierces pour le post-entraînement réintroduit le risque de fuite de données (car les entrées doivent quitter le client) et diminue l'autonomie du client.
3. Argument en faveur des modèles ouverts : Un argument structuré montrant que les modèles open-source et open-weight s'alignent mieux sur les objectifs du FL. Ils permettent l'utilisation de mécanismes de confidentialité robustes, permettent un contrôle complet sur le processus d'entraînement et supportent un plus large éventail de techniques de post-entraînement efficaces comme le PEFT (Parameter-Efficient Fine-Tuning) et LoRA.
4. Analyse de la sécurité et de la confidentialité : Une évaluation granulaire des attaques pertinentes (empoisonnement, inférence d'appartenance, inversion de gradient) pour des méthodes de post-entraînement et des types de modèles spécifiques, ainsi que des défenses contrôlables par le client dans chaque scénario.
5. Guide de sélection pratique : Un arbre de décision et des directives d'accompagnement pour aider les chercheurs et les praticiens à choisir le type de modèle approprié (ouvert vs fermé) en fonction de leurs contraintes opérationnelles et de leurs exigences de confidentialité.

Résultats et conclusions

• Compatibilité : Les modèles open-source et open-weight sont entièrement compatibles avec toutes les méthodes de post-entraînement (FFT, LoRA, RLHF, Prompt Tuning) et permettent un déploiement local, garantissant que les données ne quittent jamais le client.
• Limites des modèles fermés : Les modèles boîte noire limitent le post-entraînement aux méthodes basées sur les prompts (par exemple, soft prompts, gradients textuels) et exigent que les clients envoient des données à un fournisseur central, violant fondamentalement le principe de « maintien des données locales » du FL. Les modèles boîte grise offrent un compromis, mais dépendent toujours d'une infrastructure gérée par le fournisseur.
• Contrôle vs Risque : Bien que les modèles ouverts augmentent la surface d'attaque pour le client (nécessitant que les clients implémentent leurs propres défenses), ils accordent un contrôle total sur ces défenses. À l'inverse, les modèles fermés réduisent la surface d'attaque pour le client (car le fournisseur gère le modèle de base) mais suppriment la capacité du client à vérifier ou contrôler la sécurité du système sous-jacent.
• Impact des licences : Les licences restrictives (courantes pour les modèles « open-weight » comme Llama 3) peuvent entraver l'autonomie du client en imposant des restrictions d'usage qui peuvent entrer en conflit avec des cas d'utilisation fédérés spécifiques, même si les poids sont accessibles.

Signification et affirmations
L'article affirme que la tendance actuelle consistant à adopter des modèles boîte noire pour le post-entraînement fédéré est un désalignement stratégique qui mine l'objectif même de l'apprentissage fédéré. Les auteurs soutiennent que le post-entraînement des modèles de langage fondationnels fédérés devrait se concentrer sur les modèles ouverts.

La signification de ce travail réside dans la fourniture d'un prisme critique permettant à la communauté d'évaluer les compromis entre la commodité des modèles fermés via API et les garanties de confidentialité/autonomie des modèles ouverts. Les auteurs positionnent leur travail comme une « boîte à outils » pour aider les chercheurs à prendre des décisions éclairées, arguant que si les modèles fermés présentent des avantages dans des contextes centralisés (performance, facilité de déploiement), ils sont généralement inadaptés aux objectifs de confidentialité et de décentralisation du FL. L'article conclut que les modèles ouverts sont le choix par défaut pour le FL, les modèles fermés n'étant un recours que lorsque cela est absolument nécessaire en raison de contraintes de ressources ou de besoins spécifiques en matière de licence.