🤖 machine learning

Locking Pretrained Weights via Deep Low-Rank Residual Distillation

Ce papier présente DLR-Lock, un mécanisme de défense protégeant les modèles de langage à poids ouverts contre le fine-tuning non autorisé en remplaçant les MLP standards par des réseaux résiduels profonds à faible rang qui exploitent l'asymétrie inférence-entraînement pour créer des barrières prohibitives en termes de mémoire et d'optimisation pour les attaquants adaptatifs tout en préservant les performances du modèle.

Auteurs originaux : Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Keitaro Sakamoto, Pierre Ablin, Federico Danieli, Marco Cuturi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez construit un robot magnifique et hautement intelligent (un grand modèle de langage) et que vous souhaitiez partager son « cerveau » (les poids) avec le monde afin que les gens puissent l'utiliser. Cependant, vous craignez que certains utilisateurs ne prennent ce cerveau, ne le modifient et ne l'utilisent à des fins que vous n'avez pas prévues, comme créer du contenu nuisible ou contourner les règles de sécurité.

Vous voulez dire : « Vous pouvez utiliser mon robot, mais vous ne pouvez pas facilement modifier son cerveau pour faire autre chose. »

Ce papier, intitulé « Verrouillage des poids préentraînés par distillation résiduelle profonde à faible rang », propose une méthode ingénieuse pour « verrouiller » le cerveau du robot sans le briser. Voici comment cela fonctionne, expliqué par de simples analogies.

Le Problème : Le Dilemme de la « Boîte Ouverte »

Actuellement, lorsque des entreprises publient des modèles ouverts, c'est comme donner à quelqu'un une voiture avec le capot grand ouvert et le moteur exposé. N'importe qui peut ouvrir le capot, remplacer les bougies d'allumage et régler le moteur pour qu'il aille plus vite ou fonctionne avec un carburant différent. Dans le monde de l'IA, cela signifie que n'importe qui peut prendre un modèle et le « fine-tuner » (le réentraîner) pour de nouvelles tâches à très bas coût.

La sécurité traditionnelle tente de cacher le moteur ou de mettre une fausse serrure sur le capot. Mais le papier soutient que si un hacker est assez intelligent, il peut trouver comment crocheter ces serrures ou inverser les composants factices.

La Solution : L'Astuce du « Labyrinthe Profond »

Les auteurs, d'Apple, proposent un nouveau type de verrou appelé DLR-Lock. Au lieu de cacher le moteur, ils le remplacent par un labyrinthe profond et complexe qui ressemble exactement au même à l'extérieur, mais qui est un cauchemar à naviguer de l'intérieur.

Voici l'idée centrale décomposée en trois parties :

1. La « Rue à Sens Unique » (Inférence vs Entraînement)

Imaginez le modèle comme une usine.

Inférence (Utiliser le modèle) : C'est comme un client qui traverse l'usine pour acheter un produit. Il entre, prend l'article et repart. Il n'a pas besoin de se souvenir de chaque étape qu'il a parcourue ; il a juste besoin du produit final.
Entraînement (Modifier le modèle) : C'est comme un mécanicien qui tente de réparer l'usine. Pour réparer une machine, le mécanicien doit se souvenir de chaque étape unique du processus pour savoir où les choses ont mal tourné. Il doit stocker une quantité massive de « mémoire » (activations) pour remonter le temps.

Le papier exploite le fait que l'utilisation du modèle est peu coûteuse et facile, tandis que la réparation/apprentissage à partir de celui-ci est coûteuse et gourmande en mémoire.

2. Le « Labyrinthe Profond » (DLR-Net)

Dans un modèle d'IA standard, la partie qui traite l'information (appelée MLP) est comme un couloir simple et court. Vous entrez, et vous sortez. C'est rapide.

Les auteurs remplacent ce court couloir par un Réseau Résiduel Profond à Faible Rang (DLR-Net).

L'Analogie : Imaginez remplacer un court couloir par un escalier en colimaçon de 100 étages qui mène exactement à la même sortie.
Pour l'Utilisateur (Inférence) : Monter 100 marches prend un tout petit peu plus de temps, mais c'est toujours rapide. L'utilisateur obtient son produit, et le modèle fonctionne aussi bien qu'avant.
Pour le Hacker (Entraînement) : Si le hacker veut « réparer » l'escalier (mettre à jour les poids), il doit se souvenir de chaque étape unique de l'ascension de 100 étages pour déterminer où apporter des modifications. Cela nécessite une quantité massive de mémoire (RAM).

3. Le « Piège à Mémoire »

Le papier affirme qu'en rendant le modèle aussi profond, ils créent un piège à mémoire.

Pour entraîner le modèle, l'ordinateur du hacker doit stocker toutes ces étapes intermédiaires.
Si le hacker tente d'utiliser une astuce appelée « checkpointing des gradients » (qui économise de la mémoire en oubliant les étapes et en les recalculant plus tard), il doit refaire l'ascension de 100 étages encore et encore.
Le Résultat : L'entraînement du modèle verrouillé devient exponentiellement plus lent et plus coûteux que l'entraînement du modèle original. C'est comme la différence entre marcher sur un court chemin et gravir une montagne juste pour changer une ampoule.

Comment Ils Ont Fait Sans Casser le Robot

Vous pourriez demander : « Si vous remplacez le moteur par un escalier de 100 étages, le robot ne va-t-il pas arrêter de fonctionner ? »

Non. Les auteurs ont utilisé une technique appelée Distillation.

L'Analogie : Imaginez un chef étoilé (le modèle original) qui sait exactement comment préparer une soupe parfaite. Les auteurs ont construit une nouvelle cuisine complexe (le DLR-Net) et l'ont entraînée en faisant goûter la soupe au chef étoilé, qui disait : « Non, rends-la un peu plus salée », jusqu'à ce que la nouvelle cuisine produise une soupe qui a exactement le même goût que l'originale.
Ils ont fait cela en deux étapes : d'abord en faisant correspondre le goût des ingrédients individuels (modules), puis en faisant correspondre le goût du plat entier (la sortie finale).
L'Affirmation : Le modèle verrouillé fonctionne aussi bien que l'original pour les utilisateurs normaux, mais il est incroyablement difficile pour quiconque de le réentraîner.

La Conclusion

Le papier démontre qu'ils peuvent prendre un modèle (spécifiquement testé sur un modèle Qwen3-0.6B), remplacer ses composants internes par ces « labyrinthes profonds », et :

Conserver la qualité : Le modèle répond toujours aux questions et écrit du texte aussi bien qu'avant.
Verrouiller la porte : Toute tentative de fine-tuning ou d'adaptation du modèle devient significativement plus coûteuse en termes de temps et de puissance informatique (spécifiquement, la « rétropropagation » de l'entraînement devient beaucoup plus lente que la « propagation avant » de l'utilisation).

C'est un verrou structurel : on ne peut pas le crocheter car le verrou n'est pas un secret ; c'est simplement que le mécanisme du verrou est conçu pour rendre le travail du voleur incroyablement difficile, tandis que l'utilisateur légitime ne remarque même pas la différence.

Résumé Technique : Verrouillage des Poids Préentraînés par Distillation Résiduelle Profonde de Rang Faible

Formulation du Problème

La prolifération des grands modèles de langage (LLM) à poids ouverts a démocratisé l'accès à des systèmes d'IA puissants, mais a simultanément érodé le contrôle que les fournisseurs de modèles exercent sur l'utilisation de ces poids. Bien que les licences juridiques tentent de restreindre l'adaptation non autorisée, elles manquent de mécanismes d'application technique. Un attaquant adaptatif disposant d'un accès complet aux poids et à l'architecture du modèle peut souvent inverser des défenses structurelles simples ou utiliser l'optimisation pour les contourner.

Le défi scientifique central abordé est le verrouillage de modèle : la capacité à modifier un modèle préentraîné de telle sorte que son adaptation (par exemple, via un fine-tuning) devienne intrinsèquement plus coûteuse que l'adaptation du modèle original, tout en préservant strictement les performances d'inférence et les capacités générales du modèle. Les auteurs formalisent cela sous un modèle de menace adaptatif fondé sur le principe de Kerckhoffs, où la défense doit rester efficace même si l'attaquant connaît la conception du mécanisme de verrouillage. L'objectif est d'atteindre un « facteur de verrouillage » $\kappa > 1$ , où le coût (temps, FLOPs ou heures GPU) pour atteindre un niveau de performance cible sur une tâche en aval est amplifié d'au moins $\kappa$ pour le modèle verrouillé par rapport à l'original.

Limites des Approches Existantes

L'article identifie des défauts fondamentaux dans les stratégies de défense précédentes :

Défenses Basées sur la Symétrie : Les méthodes qui exploitent les symétries des poids (par exemple, le redimensionnement ou l'insertion de matrices inversibles) pour perturber l'optimisation sont trivialement réversibles. Un attaquant peut inspecter les normes des poids ou calculer des décompositions en valeurs singulières (SVD) pour rééquilibrer les poids et restaurer le paysage d'optimisation original.
Défenses Basées sur l'Optimisation : Les approches qui tentent d'intégrer des défenses en optimisant pour des paysages de perte mal conditionnés (par exemple, maximiser la trace de l'Hessien ou insérer des modules barrières) font face à un paradoxe « auto-destructeur ». Le défenseur doit utiliser l'optimisation pour trouver une solution qui résiste à l'optimisation, pourtant les mêmes informations de gradient disponibles pour le défenseur sont accessibles à l'attaquant. Des expériences sur de simples MLP montrent que la descente de gradient échoue souvent à atteindre ces régions « verrouillées » à haut coût à partir d'initialisations préentraînées.

Méthodologie : DLR-Lock

Les auteurs proposent DLR-Lock, une défense qui exploite l'asymétrie inférence-entraînement de la différenciation automatique. Contrairement à l'inférence, qui ne nécessite qu'un passage avant et rejette les activations intermédiaires, l'entraînement nécessite de stocker toutes les activations intermédiaires pour la rétropropagation. DLR-Lock remplace chaque module MLP SwiGLU standard dans un transformateur par un Réseau Résiduel Profond de Rang Faible (DLR-Net).

Architecture

Un bloc résiduel MLP standard $x' = z + \text{FFN}(\text{RMSNorm}(z))$ est remplacé par un réseau résiduel de rang faible de profondeur $L$ :
$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$
où :

$V_i \in \mathbb{R}^{r \times d}$ et $U_i \in \mathbb{R}^{d \times r}$ sont des matrices de projection de rang faible avec un goulot d'étranglement de rang $r \ll d$ .
$\alpha_i$ est un scalaire ReZero apprenable.
La profondeur $L$ est choisie de telle sorte que le nombre total de paramètres corresponde (ou dépasse légèrement) celui du MLP original, en distribuant les paramètres sur de nombreuses couches peu profondes plutôt que sur quelques couches profondes.

Trois Mécanismes de Verrouillage

Cette substitution architecturale introduit trois barrières spécifiques à l'adaptation :

Croissance de la Mémoire d'Activation : Lors de la rétropropagation, la mémoire requise pour stocker les activations croît linéairement avec la profondeur $L$ . Pour un attaquant utilisant un fine-tuning naïf, la surcharge de mémoire d'activation s'échelonne à $\Theta(d/r)$ par rapport au modèle original, forçant potentiellement des tailles de lot plus petites ou un matériel plus coûteux.
Instabilité de l'Optimisation : La structure résiduelle profonde crée un décalage architectural avec les recettes d'entraînement originales du modèle. Les hyperparamètres de fine-tuning et les optimiseurs standards, calibrés pour les MLP peu profonds originaux, deviennent instables ou inefficaces lorsqu'ils sont appliqués aux DLR-Nets profonds.
Surcharge Disproportionnée du Passage Arrière : Le passage arrière engendre une surcharge significativement plus importante que le passage avant en raison de motifs d'accès mémoire complexes et de la nécessité de recalculer les activations (même avec la vérification de gradient). Crucialement, les optimisations du compilateur (comme la rejouabilité des graphes CUDA) qui accélèrent le passage avant ne se transfèrent pas au passage arrière, élargissant l'écart de coût pour les attaquant qui doivent calculer des gradients.

Procédure de Distillation

Pour garantir que le modèle verrouillé conserve les capacités originales (Préservation de l'Utilité), les auteurs emploient un pipeline de distillation en deux phases :

Distillation par Module : Chaque DLR-Net est entraîné indépendamment pour répliquer la cartographie entrée-sortie de la couche MLP préentraînée correspondante, en minimisant l'erreur quadratique moyenne relative (MSE).
Distillation des Logits : Après le remplacement de toutes les couches, les erreurs accumulées sont corrigées en affinant les paramètres du DLR-Net (avec l'attention et les embeddings figés) en utilisant le modèle original comme enseignant. L'objectif est de minimiser la divergence KL top- $k$ entre les distributions de sortie de l'enseignant et de l'élève.

Résultats Expérimentaux

La méthode a été validée sur les modèles Qwen3-0.6B et Qwen3-8B en utilisant le jeu de données Nemotron-CC.

Préservation de la Qualité : Les modèles verrouillés ont préservé avec succès les capacités du modèle original. Après la distillation en deux phases, la perplexité sur les corpus de texte naturel (Nemotron-CC, WikiText-103) et les performances sur les benchmarks en aval (MMLU, ARC, HellaSwag, etc.) ont été récupérées à quelques points de la ligne de base préentraînée.
Surcharge d'Inférence : Bien que les FLOPs théoriques restent comparables, la nature séquentielle des DLR-Nets introduit une surcharge en temps réel. Cependant, cela est atténué par des optimisations du compilateur (par exemple, torch.compile avec réduction de surcharge). Pour les grands modèles et les tailles de lot, le ratio de surcharge chute considérablement (par exemple, de $144\times$ en mode eager à $11\times$ avec compilation pour les modèles 8B), restant gérable pour les utilisateurs légitimes.
Résistance au Fine-Tuning :
- Convergence : Lors du fine-tuning sur WikiText-103, le modèle verrouillé a convergé significativement plus lentement que la ligne de base et s'est stabilisé à une perte plus élevée, même avec la vérification de gradient activée.
- Instabilité : À des taux d'apprentissage plus élevés ( $10^{-4}$ ), le modèle verrouillé a divergé entièrement, alors que la ligne de base s'entraînait normalement, indiquant que la défense rétrécit la plage de taux d'apprentissage effective.
- Amplification des Coûts : Le passage arrière représentait 89 % du temps total d'entraînement pour le modèle verrouillé (contre 83 % pour la ligne de base), et le temps réel pour atteindre une perte cible était substantiellement plus élevé. Les auteurs notent que la surcharge du passage arrière est disproportionnellement plus élevée que celle du passage avant, confirmant la dépendance de la défense aux coûts spécifiques à l'entraînement.

Signification et Revendications

L'article prétend établir un nouvel axe de défense pour le verrouillage de modèle qui est agnostique vis-à-vis de l'optimiseur et repose sur des propriétés structurelles plutôt que sur le secret du mécanisme de défense. Les contributions clés incluent :

Formalisation : Définir le verrouillage de modèle comme une amplification du coût d'adaptation sous un modèle de menace adaptatif.
Mécanisme Novel : Démontrer que l'asymétrie inférence-entraînement de la différenciation automatique peut être exploitée pour créer une défense peu coûteuse à évaluer mais coûteuse à différencier.
Robustesse : Montrer que la méthode résiste aux attaquants adaptatifs disposant d'une connaissance complète de la stratégie, y compris ceux utilisant la vérification de gradient, des mises à jour partielles de poids ou LoRA.
Praticité : Valider que le mécanisme de verrouillage ne sacrifie pas l'utilité du modèle, permettant aux utilisateurs légitimes d'inférer avec des performances quasi originales tout en imposant une barrière de coût mesurable à l'adaptation non autorisée.

Les auteurs concluent que si la surcharge du passage avant peut être atténuée via des noyaux personnalisés ou la compilation, l'asymétrie fondamentale dans les coûts de rétropropagation reste une barrière robuste contre le fine-tuning.