🤖 machine learning

Towards Building Non-Fine-Tunable Foundation Models

Ce document propose le Private Mask Pre-Training (PMP), un cadre qui protège les modèles de fondation contre l'ajustement fin non autorisé en ne publiant que les poids denses tout en gardant privée une sous-partie du masque de réseau critique, créant ainsi un décalage géométrique intrinsèque qui déstabilise l'adaptation tout en préservant la performance du modèle de base.

Auteurs originaux : Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez passé des années et dépensé des millions de dollars pour cuire une miche de pain géante et parfaite (un Modèle de Fondation). Vous voulez partager votre recette avec le monde entier afin que chacun puisse apprendre et préparer ses propres sandwichs délicieux. Cependant, une inquiétude vous taraude : et si quelqu'un prenait votre pain, essayait de le « recuire » avec ses propres ingrédients bizarres (un ajustement fin ou fine-tuning non autorisé), et finissait par créer quelque chose de toxique ou de nocif ? Ou pire, si quelqu'un s'appropriait tout le mérite de la saveur que vous avez tant travaillé à développer ?

Ce document propose une manière ingénieuse de partager votre pain, qui permet aux gens d'en profiter tel quel, mais rend très difficile pour eux de réussir à le « recuire » sans votre permission.

Voici comment la solution des auteurs, appelée Private Mask Pre-Training (PMP), fonctionne, en utilisant des analogies simples :

1. Le Problème : Le dilemme de la « Recette Ouverte »

Actuellement, lorsque les entreprises d'IA publient leurs modèles, elles donnent les « poids » (les réglages finaux du cerveau). N'importe qui peut prendre ces poids et les ajuster pour des tâches spécifiques.

Le Bon : Cela favorise la science et l'innovation.
Le Mauvais : Le créateur original perd le contrôle. Quelqu'un pourrait ajuster le modèle pour qu'il devienne dangereux, ou pourrait l'adapter à bas coût pour une tâche que le créateur souhaitait vendre comme un service, volant ainsi la valeur économique du créateur.

2. La Solution : Le « Squelette Secret »

Les auteurs proposent une nouvelle façon d'entraîner le modèle. Au lieu d'entraîner tout le cerveau de manière égale, ils entraînent uniquement un « squelette » spécifique et clairsemé du cerveau, tout en gardant le reste du cerveau figé sur place.

Imaginez le modèle comme une salle de sport massive et complexe.

Entraînement Standard : Tout le monde travaille tous les muscles de la salle de sport.
Entraînement PMP : L'entraîneur (l'entreprise d'IA) identifie secrètement un ensemble spécifique de 10 % des machines (le « Ticket de la Loterie ») qui font en réalité tout le gros du travail. Il verrouille les 90 % de machines restantes afin que personne ne puisse y toucher. Ils n'entraînent que les 10 % qui comptent.

3. La Publication : Donner la salle de sport, mais cacher la carte

Lorsque le modèle est terminé, l'entreprise publie la salle de sport au public.

Ce qu'ils publient : L'état final de la salle de sport (les poids). Cela ressemble à une salle de sport normale et pleinement fonctionnelle.
Ce qu'ils cachent : La Carte Secrète (le masque binaire) qui vous indique quelles machines ont été réellement entraînées et lesquelles ne sont que des accessoires figés.

4. Le Résultat : Deux issues différentes

Scénario A : L'utilisateur autorisé (Vous avez la Carte)
Si vous êtes un partenaire de confiance, l'entreprise vous donne la Carte Secrète. Vous savez exactement quelles machines utiliser. Vous pouvez entrer, ajuster ces 10 % de machines spécifiques, et la salle de sport fonctionne parfaitement pour votre nouvelle tâche. Vous obtenez d'excellents résultats.

Scénario B : L'utilisateur non autorisé (Sans la Carte)
Si un étranger tente de modifier le modèle sans la carte, il ne sait pas quelles machines sont les « vraies » machines entraînées et lesquelles sont de simples accessoires figés.

Il essaie d'ajuster tout.
Parce qu'il touche les 90 % de machines figées, il pousse essentiellement contre des murs qui n'étaient jamais censés bouger.
L'analogie : Imaginez essayer de diriger une voiture en tournant les roues, mais quelqu'un a secrètement soudé la colonne de direction au tableau de bord. Si vous essayez de forcer, vous ne faites pas seulement échouer la direction ; vous cassez le mécanisme.
La prétention du papier : Ce « décalage » provoque une instabilité du modèle. Plus l'utilisateur non autorisé essaie de procéder à l'ajustement fin, plus les performances se dégradent. Le modèle se « casse » effectivement lorsqu'on essaie de l'adapter sans la clé secrète.

5. L'astuce de l'« Avantage du Premier Arrivé »

Comment ont-ils trouvé ces 10 % de machines spécifiques à entraîner ?
Ils ont utilisé une méthode appelée « Early-Bird Lottery Ticket ».

Imaginez que vous commencez l'entraînement du modèle pendant seulement quelques minutes.
Vous observez quelles parties du cerveau sont en train de « s'éveiller » et d'apprendre le plus rapidement durant ces premières minutes.
Vous verrouillez ces parties spécifiques comme votre « Squelette Secret » et ignorez le reste pour le reste de l'entraînement.
Le papier affirme que cette sélection précoce est cruciale. Si vous aviez simplement choisi des parties au hasard pour l'entraînement, le modèle ne serait pas aussi bon, et il ne serait pas aussi difficile à casser.

Résumé des affirmations

Le papier démontre que :

Vous pouvez toujours utiliser le modèle : Le modèle de base (le pain) a un goût aussi bon qu'un modèle normal. Il peut toujours écrire, raisonner et discuter.
L'ajustement non autorisé échoue : Si vous tentez de faire un ajustement fin sans la carte secrète, les performances du modèle chutent considérablement sur de nombreuses tâches.
L'ajustement autorisé fonctionne : Si vous possédez la carte, vous pouvez toujours effectuer un ajustement fin avec succès.
C'est une caractéristique de « Pré-entraînement » : Ce n'est pas un correctif que l'on ajoute plus tard ; c'est intégré dans la manière dont le modèle est entraîné dès le tout début.

En résumé, ce papier propose une manière de partager des modèles d'IA qui sont robustes par conception : ils fonctionnent très bien pour tout le monde, mais ils sont « verrouillés » contre les modifications non autorisées, à moins de posséder la clé spécifique (le masque) qui a été cachée lors de leur création.

Résumé Technique : Vers la construction de modèles de fondation non finançables par ajustement (non-fine-tunable)

1. Énoncé du problème

L'ouverture des modèles de fondation (FM), en particulier des grands modèles de langage (LLM), facilite la réutilisation large et l'innovation scientifique, mais expose les entraîneurs de modèles à des risques économiques et de sécurité importants. Une fois que les poids sont publiés, les utilisateurs peuvent effectuer un ajustement fin (fine-tuning) à faible coût et non autorisé sur des tâches en aval. Cela crée deux problèmes primordiaux :

Risque économique : Les utilisateurs peuvent capturer la valeur des adaptations en aval qui appartiendrait autrement à l'entraîneur original.
Risque de sécurité : Les entraîneurs perdent le contrôle sur le cycle de vie du modèle. Un ajustement fin non autorisé sur des données nuisibles (ex. : violence, extrémisme, discrimination) peut générer des sorties préjudiciables tout en conservant la réputation du modèle pré-entraîné original, ce qui peut entraîner des responsabilités juridiques et réglementaires.

Les défenses existantes, telles que l'immunisation de modèle ou le désapprentissage spécifique à une tâche, reposent sur la connaissance des tâches ou des distributions de données spécifiques en aval à restreindre. Ces approches sont peu pratiques pour les publications de poids ouverts générales où les entraîneurs n'ont aucune visibilité sur la manière dont les modèles seront réutilisés. Le document traite de la nécessité d'un mécanisme permettant la publication en open-source tout en limitant intrinsèquement l'efficacité de l'ajustement fin non autorisé et agnostique à la tâche.

2. Méthodologie : Pré-entraînement par Masquage Privé (PMP)

Les auteurs proposent le Pré-entraînement par Masquage Privé (PMP), un paradigme de pré-entraînement conçu pour faire de la non-finançabilité par ajustement une propriété intrinsèque de la géométrie du modèle. L'idée centrale est de concentrer l'apprentissage de la représentation dans un sous-réseau épars identifié tôt dans l'entraînement, tout en gardant le masque binaire définissant privé.

La procédure PMP

Le PMP opère en trois étapes :

Découverte du masque "Early-Bird" privé :
- Le modèle subit une courte phase de pré-entraînement de "chauffe" (warm-up) sur un petit sous-ensemble de données.
- En utilisant un critère de "loterie précoce" (early-bird lottery ticket), la méthode identifie un masque binaire épars ( $M$ ) stable basé sur la magnitude des gradients durant cette phase.
- Le masque est sélectionné lorsque les masques consécutifs se stabilisent (mesuré par l'Intersection sur Union, IoU).
- Ce masque $M$ est gardé privé et fixe pour tout l'entraînement ultérieur.
Pré-entraînement par Masquage Privé :
- Le modèle est entraîné sur l'ensemble du jeu de données de pré-entraînement, mais l'optimisation est strictement restreinte aux paramètres définis par le masque ( $\theta_M$ ).
- Les paramètres complémentaires ( $\theta_{\bar{M}}$ ) restent gelés tout au long du processus de pré-entraînement.
- Bien que la passe directe (forward pass) utilise le vecteur de paramètres denses complet, toutes les mises à jour de gradient sont confinées au sous-réseau épars.
Publication sans le masque :
- À la convergence, l'entraîneur ne publie que les poids denses finaux.
- Le masque privé $M$ n'est pas divulgué.

Mécanisme de défense

Lorsqu'un utilisateur non autorisé tente d'effectuer un ajustement fin sur le modèle publié sans le masque, il doit mettre à jour le vecteur de paramètres complet. Cela crée un décalage d'optimisation intrinsèque :

Pré-entraînement : Optimise un objectif conditionnel où les mises à jour étaient restreintes à $\theta_M$ , tandis que $\theta_{\bar{M}}$ restait fixe.
Ajustement fin non autorisé : Optimise un objectif conjoint mettant à jour à la fois $\theta_M$ et $\theta_{\bar{M}}$ .
Résultat : Le processus d'ajustement fin force des mises à jour sur les paramètres gelés et complémentaires ( $\theta_{\bar{M}}$ ), qui n'ont jamais été adaptés durant le pré-entraînement. L'analyse théorique suggère que le paysage de perte le long de ces directions gelées présente une courbure positive (raideur). La mise à jour de ces directions déstabilise la solution pré-entraînée, conduisant à des gains d'adaptation limités ou à une dégradation des performances.

3. Analyse Théorique

Le document fournit une justification théorique de la raison pour laquelle le PMP induit la non-finançabilité par ajustement :

Géométrie locale asymétrique : Le modèle pré-entraîné atteint un optimum conditionnel où le paysage de perte est plat le long du sous-espace entraîné ( $\theta_M$ ) mais présente une courbure positive le long des directions gelées ( $\theta_{\bar{M}}$ ).
Instabilité : Lors de l'ajustement fin sans le masque, la descente de gradient stochastique met à jour les deux sous-espaces. L'analyse théorique (Proposition 1) démontre que les mises à jour des directions gelées introduisent des perturbations déstabilisantes. Plus précisément, la perte de pré-entraînement attendue augmente (ou ne diminue pas) en raison de la courbure positive dans les directions non adaptées, contrecarrant tout gain provenant des gradients spécifiques à la tâche.
Conclusion : L'ajustement fin non autorisé est mathématiquement sujet à la déstabilisation, limitant les gains d'ajustement fin réalisables.

4. Résultats Expérimentaux

Les auteurs ont évalué le PMP sur les architectures GPT-2 et TinyLlama (1.1B), pré-entraînés sur SlimPajama-6B et ajustés sur le benchmark GLUE.

Performance du modèle de base : Le PMP préserve les capacités fondamentales du modèle de base. Dans de nombreux cas (ex. : TinyLlama sur CoLA et MRPC), les modèles PMP ont obtenu des performances comparables ou légèrement supérieures aux bases non-PMP avant l'ajustement fin.
Ajustement fin non autorisé : Lorsqu'ils sont ajustés sans le masque privé, les modèles PMP montrent une dégradation substantielle à travers diverses tâches en aval (ex. : SST-2, MRPC, QQP, MNLI). La chute de performance est constante à travers les architectures et les tâches, indiquant un échec général d'une adaptation efficace plutôt qu'une fragilité spécifique à une tâche.
Ajustement fin autorisé : Lorsque le masque privé est fourni aux utilisateurs de confiance, ils peuvent effectuer l'ajustement fin en mettant à jour uniquement le sous-espace masqué. Dans ce scénario, les modèles PMP égalent ou dépassent les performances de l'ajustement fin non autorisé, démontant que la méthode ne prévient pas intrinsèquement l'adaptation, mais la restreint aux parties autorisées.
Études d'ablation :
- Early-Bird vs Masque Aléatoire : L'utilisation du masque "Early-Bird lottery ticket" était cruciale. Des masques aléatoires de même éparpillement n'induisent pas le même niveau de non-finançabilité par ajustement, confirmant que la stabilité du sous-réseau de l'early-bird est la clé.
- Ratio de Masquage : Un ratio de masque de 0,7 (70 % d'éparpillement) offrait le meilleur compromis entre la performance de base et la suppression de l'ajustement fin non autorisé.
- Hyperparamètres : La variation des taux d'apprentissage et des époques d'ajustement fin n'a pas permis de récupérer les performances pour les utilisateurs non autorisés, suggérant que la limitation est fondamentale au décalage d'optimisation, et non un problème de réglage des hyperparamètres.
- Visualisation du paysage de perte : Les visualisations ont confirmé que le paysage de perte est plat dans la direction autorisée (sous-espace masqué) mais abrupt dans la direction non autorisée (espace de paramètres complet), validant l'hypothèse théorique du "mur abrupt" (steep wall).
- Robustesse : Le document soutient que les magnitudes de gradient seules ne révèlent pas l'emplacement du masque en raison du chevauchement des distributions, rendant difficile pour les adversaires d'inférer le masque.

5. Contributions Clés

Identification du Problème : Le document articule la non-finançabilité par ajustement comme un problème fondamental au niveau du pré-entraînement, soulignant l'absence de mécanismes permettant aux entraîneurs de contrôler l'adaptation non autorisée dans les publications de poids ouverts.
Cadre PMP : Il propose le Pré-entraînement par Masquage Privé, un paradigme général qui préserve l'utilité de base tout en restreignant l'ajustement fin non autorisé dans un contexte agnostique à la tâche et de boîte noire.
Aperçu Théorique : Il fournit une analyse montrant que le PMP induit un décalage intrinsèque entre les objectifs de pré-entraînement et d'ajustement fin, injectant des perturbations déstabilisantes lors des mises à jour non autorisées.
Validation Empirique : Il démontre que le PMP supprime systématiquement les gains d'adaptation à travers divers benchmarks et architectures tout en maintenant des performances de pré-entraînement compétitives.

- 6. Signification et Revendications

Le document prétend recadrer la non-finançabilité par ajustement non pas comme un problème de désapprentissage spécifique à une tâche, mais comme une propriété induite durant le pré-entraînement. En concentrant l'apprentissage dans un sous-réseau épars privé, le PMP permet aux entraîneurs de modèles de publier des modèles de fondation tout en conservant un contrôle significatif sur l'adaptation en aval.

Les auteurs soulignent que cette approche :

Ne nécessite pas de connaissance préalable des données ou des tâches en aval.
Préserve la valeur économique et de sécurité du modèle original pour l'entraîneur.
Permet une adaptation "autorisée" par les utilisateurs de confiance possédant le masque privé.
Offre un mécanisme pratique pour concilier l'ouverture de l'écosystème de l'IA avec le besoin de contrôle économique et de sécurité, sans dépendre d'hypothèses sur la manière dont les modèles publiés seront réutilisés.