Résumé Technique : Gradient Transformer : Apprentissage de la Génération de Mises à Jour pour les LLM

1. Formulation du Problème

Les modèles de langage de grande taille (LLM) offrent des performances supérieures, mais leur fine-tuning est souvent prohibitivement coûteux pour les organisations disposant de ressources informatiques limitées. À l'inverse, le fine-tuning de modèles plus petits, les « TinyLM », sur des données privées est rentable mais produit des performances sous-optimales. Les solutions existantes font face à un compromis : les organisations doivent soit accepter des performances médiocres de la part des TinyLM, soit risquer la confidentialité en envoyant leurs données privées à des fournisseurs tiers pour le fine-tuning des LLM.

Les approches actuelles de distillation de connaissances peinent à résoudre ce problème :

• Distillation du faible vers le fort : Elle nécessite généralement le partage de données entre le modèle faible (TinyLM) et le modèle fort (LLM), violant ainsi les contraintes de confidentialité.
• Distillation sans données : Elle repose souvent sur la génération de données synthétiques pour imiter les ensembles de données privés. Cette approche est coûteuse en calcul, nécessite de réentraîner les générateurs pour de nouvelles tâches et pose des risques significatifs pour la confidentialité, car les données synthétiques peuvent involontairement fuiter des informations sensibles.

Le défi central consiste à développer un mécanisme permettant aux organisations d'exploiter leurs données privées pour améliorer les performances des LLM sans partager les données elles-mêmes, tout en surmontant le décalage structurel et de capacité entre les TinyLM et les LLM.

2. Méthodologie : GRAD-TRANSFORMER

Les auteurs proposent GRAD-TRANSFORMER, un cadre de distillation de connaissances sans données et du faible vers le fort. Au lieu de transférer des logits ou de générer des données synthétiques, le cadre apprend à mapper les vecteurs de mise à jour (changements de paramètres) d'un TinyLM fine-tuné directement vers les vecteurs de mise à jour d'un LLM cible.

Architecture Principale

Le cadre utilise un modèle encodeur-décodeur basé sur Transformer (spécifiquement Flan-T5-Large) pour effectuer la transformation.

1. Segmentation par blocs : Pour gérer la haute dimensionnalité des paramètres des LLM, les vecteurs de mise à jour sont segmentés en unités par bloc correspondant aux blocs d'attention (Requête, Clé, Valeur et projections linéaires).
2. Modélisation séquentielle : Les vecteurs de mise à jour par bloc du TinyLM sont traités comme une séquence d'entrée. Le modèle les projette dans des états cachés et génère de manière autorégressive les vecteurs de mise à jour par bloc correspondants pour le LLM cible.
3. Processus d'entraînement :
   • Création d'un ensemble de données fantôme : Un fournisseur de services utilise un ensemble de données public ($D_p$) similaire au domaine privé du client. Il affine à la fois un TinyLM fantôme et un LLM fantôme sur des sous-ensembles de $D_p$.
   • Génération de tuples : Le processus crée des tuples de vecteurs de mise à jour : $(\Delta\tilde{\theta}_S, \Delta\tilde{\theta}_T)$, capturant la corrélation entre la manière dont le TinyLM et le LLM mettent à jour leurs paramètres sur les mêmes données.
   • Optimisation : Le GRAD-TRANSFORMER est entraîné pour minimiser l'erreur quadratique moyenne (MSE) entre les vecteurs de mise à jour du LLM prédits et les vecteurs de mise à jour du LLM fantôme de vérité terrain.

Pipeline d'Inférence

1. Côté Client : Une organisation affine un TinyLM sur ses données privées en utilisant une méthode d'apprentissage (par exemple, LoRA ou DP-SGD) et calcule le vecteur de mise à jour $\Delta\theta_S$.
2. Transmission : Le client envoie uniquement $\Delta\theta_S$ au fournisseur de services. Aucune donnée privée n'est partagée.
3. Génération : Le fournisseur alimente $\Delta\theta_S$ dans le GRAD-TRANSFORMER entraîné pour générer le vecteur de mise à jour du LLM cible $\Delta\theta_T$.
4. Déploiement : Le fournisseur met à jour les paramètres initiaux du LLM ($\theta^0_T + \Delta\theta_T$) et renvoie le modèle amélioré au client.

Le cadre prend en charge la collaboration multi-organisations en agrégeant les vecteurs de mise à jour de plusieurs clients avant de générer la mise à jour finale du LLM.

3. Analyse Théorique

L'article fournit des bornes informationnelles sur la généralisation et l'utilité du cadre :

• Généralisation : L'erreur de généralisation est bornée par l'information mutuelle entre les paramètres du modèle et l'ensemble de données fantôme. Un ensemble de données fantôme plus grand réduit cette dépendance, améliorant la généralisation.
• Utilité : La borne d'utilité (performance sur l'ensemble de données privé) dépend de l'information mutuelle entre les distributions des données fantômes et privées (mesurée par la divergence KL) et de la taille de l'ensemble de données privé.
• Mécanisme d'apprentissage : Les bornes suggèrent que le choix du mécanisme d'apprentissage côté client (par exemple, techniques de régularisation) influence l'information mutuelle, affectant ainsi l'utilité finale.

4. Résultats Expérimentaux

Des expériences ont été menées sur six ensembles de données de référence couvrant le raisonnement mathématique (AQuA-RAT, GSM8K), le raisonnement de bon sens (CommonsenseQA), le raisonnement discret (DROP) et le résumé de dialogue (SAMSum, DialogSum).

• Performance : GRAD-TRANSFORMER surpasse systématiquement les bases de distillation du faible vers le fort les plus avancées (W2S, Conf, VisSup).
  • Il a atteint un Récupération de l'Écart de Performance (PGR) moyen de 91,88 %, contre 58,94 % pour la meilleure base, représentant une amélioration de 55,89 %.
  • Dans des configurations multi-clients, le PGR moyen était de 85,01 %, dépassant significativement les 69,97 % de la meilleure base.
• Protection de la vie privée : Le cadre est resté robuste sous des contraintes de confidentialité différentielle (DP) strictes. Même lorsque les clients utilisaient DP-SGD avec un budget de confidentialité serré ($\epsilon = 0,1$), GRAD-TRANSFORMER a maintenu des performances élevées (par exemple, 62,35 % de précision sur DROP), tandis que les performances du TinyLM chutaient considérablement.
• Évolutivité : La méthode a démontré son efficacité à travers différentes échelles de modèles, générant avec succès des mises à jour pour un LLM de 14 milliards de paramètres à partir d'un TinyLM de 0,5 milliard de paramètres (une augmentation d'échelle de 28x).
• Efficacité : L'affinement d'un TinyLM de 3 milliards de paramètres et la génération de la mise à jour du LLM étaient significativement plus rapides (jusqu'à 83 % de réduction du temps) que l'affinement direct d'un LLM de 14 milliards de paramètres.

5. Importance et Contributions

L'article revendique les contributions suivantes :

1. Première distillation sans données du faible vers le fort : Il introduit la première méthode générant directement des vecteurs de mise à jour de LLM à partir de vecteurs de mise à jour de TinyLM, permettant un fine-tuning respectueux de la vie privée sans accès aux données privées.
2. Architecture novatrice : La proposition de GRAD-TRANSFORMER, un encodeur-décodeur basé sur Transformer qui apprend le mappage entre les espaces de vecteurs de mise à jour de différentes tailles de modèles.
3. Validation pratique : Une analyse théorique approfondie et des résultats empiriques démontrant que la méthode surpasse les bases existantes, même sous une confidentialité différentielle stricte, offrant une voie viable pour que les organisations collaborent sur les mises à jour de LLM sans compromettre la sécurité des données.

Les auteurs soulignent que ce cadre répond au goulot d'étranglement du coût computationnel et de la confidentialité des données, permettant aux organisations d'atteindre des performances de LLM proches du plafond en utilisant uniquement des mises à jour locales de TinyLM.