Model-based Large Language Model Customization as Service

1. Problématique

Les services de grands modèles de langage (LLM) généralistes (comme ceux d'OpenAI ou Google) excellent dans les tâches générales mais peinent souvent sur des applications spécifiques à un domaine (finance, santé, etc.) en raison de l'absence de données privées et sensibles propres à ces secteurs.

Les approches actuelles de personnalisation présentent deux limites majeures :

• Risque de confidentialité : Les méthodes traditionnelles exigent que les clients téléchargent leurs données brutes pour un fine-tuning, ce qui expose des données sensibles.
• Compromis efficacité-privacy : Les méthodes de préservation de la confidentialité, comme la synthèse de données différentiellement privées (DP), dégradent considérablement la qualité des données synthétiques en raison du bruit ajouté. Cela entraîne une baisse drastique de la précision du modèle personnalisé (phénomène de "disparate impact").

L'objectif est donc de permettre la personnalisation d'un LLM pour un domaine spécifique sans que le fournisseur de service n'ait accès aux données brutes du client, tout en maintenant une haute précision et une efficacité d'inférence.

2. Méthodologie : Le Framework Llamdex

Les auteurs proposent Llamdex, un cadre novateur où le client ne partage pas ses données, mais un modèle expert pré-entraîné (spécifique au domaine). Ce modèle est intégré au LLM de base via des modules de connexion apprenables.

Architecture Principale

Le système fonctionne en deux étapes (Client et Serveur) :

1. Côté Client :

   • Le client entraîne un modèle expert ($E_c$) sur ses données privées structurées (ex: données tabulaires). Ce modèle peut être protégé par la confidentialité différentielle (DP-SGD).
   • Le client partage uniquement les paramètres du modèle expert ($\theta_{E_c}$) et un schéma de données public ($S_c$) décrivant les noms, types et plages des caractéristiques, mais pas les données elles-mêmes.

2. Côté Serveur :

   • Le serveur possède un LLM de base gelé ($M$).
   • Il insère le modèle expert du client dans une couche intermédiaire du LLM via deux modules connecteurs entraînés par le serveur :
     • Llamdex Encoder : Traduit les embeddings intermédiaires du LLM (représentations textuelles) en vecteurs de caractéristiques structurées compréhensibles par le modèle expert.
     • Llamdex Decoder : Convertit la prédiction du modèle expert en embeddings de tokens que le LLM peut comprendre et utiliser pour générer la réponse finale.

Entraînement des Modules de Connexion

Un défi majeur est l'absence de données réelles pour entraîner ces connecteurs. Llamdex résout ce problème par une génération de données synthétiques basée uniquement sur le schéma public :

• Le serveur génère aléatoirement des vecteurs de caractéristiques respectant le schéma (types et plages).
• Il génère des questions textuelles correspondantes via un LLM auxiliaire.
• L'Encoder est entraîné à mapper le texte vers les vecteurs de caractéristiques (perte MSE).
• Le Decoder est entraîné à mapper les prédictions de l'expert vers les réponses textuelles attendues (perte entropie croisée).
• Cette approche permet aux modules de généraliser aux vraies données sans jamais les voir.

Inférence

Lors d'une requête utilisateur :

1. Le LLM traite la question jusqu'à la couche d'insertion.
2. L'Encoder extrait les caractéristiques pertinentes du contexte.
3. Le modèle expert calcule la prédiction.
4. Le Decoder injecte cette prédiction dans le flux du LLM.
5. Le LLM génère la réponse finale.
   Note : Aucune information contextuelle supplémentaire ni schéma n'est nécessaire lors de l'inférence, garantissant une latence faible.

3. Contributions Clés

1. Nouveau Paradigme de Personnalisation : Introduction de Llamdex, qui remplace le partage de données par le partage de modèles experts, offrant une confidentialité supérieure.
2. Algorithme d'Entraînement sans Données : Conception d'une méthode d'entraînement des modules de connexion utilisant uniquement le schéma public et des données aléatoires, éliminant le besoin d'accéder à la distribution des données du client.
3. Architecture Hybride Efficace : Intégration transparente de modèles tabulaires (MLP, XGBoost) dans des LLMs via des encodeurs/décodeurs, permettant de combiner la force de compréhension contextuelle des LLMs avec la précision des modèles spécialisés.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données réels (Titanic, Wine, Bank, Nursery) avec un LLM de base Mistral-7B.

• Précision (Efficacité) :

  • Llamdex surpasse les méthodes de base (LoRA sur données réelles, API externes) et les méthodes de synthèse DP (PATE-GAN, PromptPATE).
  • Sur le jeu de données Nursery, Llamdex (avec expert MLP) dépasse le LoRA sur données réelles de 14 % et les méthodes DP de 26 % (à budget de confidentialité équivalent).
  • Il démontre une forte capacité de généralisation malgré l'entraînement sur des données synthétiques aléatoires.

• Efficacité d'Inférence :

  • Llamdex est 29 fois plus rapide que les approches basées sur API (Expert API) qui nécessitent des appels externes et une extraction de regex.
  • Son temps d'inférence et sa consommation mémoire sont comparables à ceux du LLM de base ou d'un LoRA fine-tuné, évitant la surcharge des méthodes API.

• Confidentialité :

  • L'utilisation de DP-SGD pour entraîner le modèle expert réduit considérablement le risque d'attaques par inférence de membre (Membership Inference Attacks).
  • À un niveau de confidentialité strict ($\epsilon = 1.0$), le taux de réussite de l'attaque chute à 0.059, tout en maintenant une précision élevée (0.757).

5. Signification et Impact

Llamdex représente une avancée significative pour le déploiement de LLMs dans des secteurs sensibles (banque, santé, juridique) :

• Confiance et Conformité : Il résout le dilemme entre la nécessité de données privées pour la personnalisation et les exigences strictes de confidentialité (RGPD, etc.), car les données brutes ne quittent jamais le client.
• Performance Supérieure : Il démontre que l'on peut obtenir une précision supérieure aux méthodes de synthèse de données DP en déplaçant le bruit du niveau des données (synthèse) au niveau de l'entraînement du modèle (DP-SGD), ce qui est moins dommageable pour l'utilité.
• Évolutivité : En évitant les appels API externes et le contexte long, il offre une solution scalable et économique pour les services de LLM personnalisés.

En conclusion, Llamdex propose une architecture robuste pour transformer les LLMs en assistants experts de domaine tout en préservant la souveraineté des données des clients.