Locket: Robust Feature-Locking Technique for Language Models

1. Problématique et Contexte

Les fournisseurs de services de chatbots (comme OpenAI) utilisent actuellement des modèles de souscription par paliers (tiers) : les utilisateurs gratuits accèdent à des modèles de base, tandis que les abonnés payants accèdent à des modèles avancés. Cependant, cette approche s'avère peu rentable et rigide, car elle ne permet pas de monétiser des fonctionnalités spécifiques (comme les mathématiques, le codage ou la synthèse) au sein d'un même modèle.

Une alternative économique plus viable serait un système "Pay-to-Unlock" (payer pour débloquer), similaire à celui utilisé dans les jeux mobiles ou les logiciels SaaS. Pour que ce modèle fonctionne, il est nécessaire de disposer d'une technique de verrouillage des fonctionnalités (FLoTE - Feature-Locking Technique) capable de répondre à quatre critères stricts :

1. Efficacité (R1) : Refuser systématiquement les fonctionnalités verrouillées.
2. Préservation de l'utilité (R2) : Ne pas dégrader les performances des fonctionnalités autorisées (déverrouillées).
3. Robustesse (R3) : Résister aux tentatives de contournement (jailbreaks) et au partage non autorisé d'identifiants.
4. Évolutivité (R4) : Pouvoir gérer plusieurs fonctionnalités et clients sans explosion combinatoire.

Les travaux existants, tels que le verrouillage par mot de passe (Password-Locking), échouent à satisfaire l'ensemble de ces critères. Ils sont souvent vulnérables au partage de mots de passe, ne préservent pas l'utilité des autres fonctionnalités lors du verrouillage, et peinent à s'adapter à de multiples fonctionnalités sans réentraînement complet du modèle.

2. Méthodologie : L'approche LOCKET

LOCKET propose une solution basée sur l'utilisation d'adapters (modifications légères du modèle) et de techniques de fusion de modèles (Model Merging), évitant ainsi le réentraînement complet (fine-tuning) du modèle de base.

Architecture Globale

Le système repose sur un module de contrôle d'accès qui identifie les fonctionnalités autorisées pour un client donné. Pour un client ayant accès à la fonctionnalité $f_j$, le système :

1. Sélectionne les adapters correspondant à toutes les fonctionnalités non autorisées ($f_{-j}$).
2. Fusionne ces adapters et les attache dynamiquement à un modèle de base figé (frozen).
3. Le modèle fusionné refuse alors les requêtes liées aux fonctionnalités non autorisées tout en traitant normalement les requêtes autorisées.

Entraînement des Adapters

Pour chaque fonctionnalité à verrouiller, un adapter est entraîné avec un objectif composé de deux parties :

• Préservation de l'utilité ($L_{utility}$) : Utilisation de la divergence KL pour s'assurer que le modèle conserve ses capacités générales (ex: complétion de texte) sur des données non liées à la fonctionnalité verrouillée.
• Robustesse et Efficacité ($L_{robust}$) : Utilisation d'un Entraînement Adversarial Latent (LAT). Le système génère des perturbations dans les activations latentes du modèle pour maximiser la probabilité d'une réponse de refus (ex: "Désolé, vous n'êtes pas autorisé") et minimiser la probabilité d'une réponse utile. Cela rend l'adapter robuste contre les tentatives d'évasion par prompting.

Fusion et Mise à l'échelle (Le cœur de LOCKET)

Le défi majeur est de fusionner plusieurs adapters sans créer de "sur-refus" (où le modèle refuse tout, même les fonctionnalités autorisées) ou de dégradation des performances.

• Problème : Les méthodes de fusion existantes (comme CAT, TIES, ou l'arithmétique linéaire) peuvent entraîner une interférence destructive des poids, renforçant excessivement les directions de refus.
• Solution LOCKET : Une méthode de recalage spectral (spectral rescaling).
  • Avant le déploiement, le système calcule la norme spectrale (plus grande valeur singulière) de chaque adapter individuel.
  • Une limite de seuil ($Clip_\ell$) est définie par la norme maximale observée sur un seul adapter.
  • Lors de la fusion, si la norme spectrale de l'adapter fusionné dépasse ce seuil, il est redimensionné (rescaled) pour ne pas dépasser cette limite.
  • Cela garantit que l'adapter fusionné n'est pas plus "fort" qu'un seul adapter, préservant ainsi l'utilité des fonctionnalités déverrouillées tout en maintenant le verrouillage.

3. Contributions Clés

1. Définition des exigences FLoTE : Le papier formalise les quatre piliers (Efficacité, Utilité, Robustesse, Évolutivité) nécessaires pour un verrouillage de fonctionnalités viable, montrant que les travaux antérieurs n'y répondent pas tous.
2. LOCKET : La première technique de verrouillage robuste et évolutive qui utilise des adapters dynamiques et une fusion de modèles contrôlée, éliminant le besoin de mots de passe secrets (évitant ainsi le partage de credentials).
3. Nouvelle méthode de fusion : Introduction d'une technique de recalage basée sur la norme spectrale pour prévenir la dégradation de l'utilité lors de la fusion de multiples adapters.
4. Évaluation complète : Une validation rigoureuse sur plusieurs modèles (DeepSeek-7B, Llama-3-8B/70B) et fonctionnalités (Math, SQL, Résumé, Connaissances générales).

4. Résultats Expérimentaux

Les évaluations démontrent que LOCKET satisfait tous les critères requis, surpassant les méthodes de verrouillage par mot de passe (PWD) :

• Efficacité (R1) : Taux de refus de 100 % pour les fonctionnalités verrouillées. Le modèle refuse systématiquement les requêtes non autorisées.
• Préservation de l'utilité (R2) : La dégradation des performances sur les fonctionnalités autorisées est minime, inférieure à 7 % (souvent < 2-3 %). Contrairement aux méthodes PWD qui provoquent un "oubli catastrophique" (catastrophic forgetting) des autres tâches, LOCKET maintient les performances de base.
• Robustesse (R3) :
  • Taux de succès des attaques (ASR) très faible (≤ 5 %) face à des attaques adverses sophistiquées (Many-shot, GCG, AutoDAN-Turbo).
  • Immunité totale au partage de credentials, car aucune clé secrète n'est utilisée.
• Évolutivité (R4) : Le système fonctionne efficacement avec plusieurs fonctionnalités verrouillées simultanément (jusqu'à 8 fonctionnalités testées). La fusion des adapters ne provoque pas d'explosion combinatoire de modèles.
• Surcoût (Overhead) : L'ajout d'un adapter prend environ 1 seconde par session utilisateur. La latence d'inférence (TTFT) et le débit ne sont pas affectés, rendant le modèle économiquement viable pour les fournisseurs.

5. Signification et Impact

LOCKET représente une avancée significative pour l'économie des modèles de langage (LLM). En permettant un verrouillage granulaire et dynamique des fonctionnalités, il ouvre la voie à de nouveaux modèles commerciaux où les utilisateurs peuvent payer uniquement pour des capacités spécifiques (ex: un module de codage ou de mathématiques) sans avoir besoin d'un abonnement global coûteux ou d'accéder à un modèle entièrement différent.

Techniquement, la méthode de recalage spectral proposée pour la fusion d'adapters résout un problème fondamental de l'ingénierie des modèles : comment combiner des comportements contradictoires (refus vs acceptation) sans détruire la cohérence globale du modèle. Cette approche pourrait également être appliquée à d'autres domaines, tels que l'effacement de connaissances (unlearning) ciblé ou le contrôle d'accès aux fonctionnalités dangereuses dans les systèmes d'IA alignés.

En résumé, LOCKET transforme le modèle de "boîte noire" des LLMs en un système modulaire et monétisable de manière flexible, tout en garantissant sécurité et performance.