🤖 AI

Functional Subspace Watermarking for Large Language Models

Cet article propose le marquage filigrané par sous-espace fonctionnel (FSW), un cadre robuste qui ancre les signaux de propriété dans un sous-espace fonctionnel stable pour garantir la détection fiable des grands modèles de langage malgré des modifications telles que le fine-tuning ou la quantification.

Auteurs originaux : Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

Publié 2026-03-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zikang Ding, Junhao Li, Suling Wu, Junchi Yao, Hongbo Liu, Lijie Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌊 Le Problème : Le "Graffiti" qui s'efface

Imaginez que vous êtes un artiste célèbre (le créateur d'un modèle d'IA) et que vous peignez un magnifique tableau (votre modèle de langage, comme Llama ou Qwen). Pour prouver que c'est votre œuvre, vous y mettez une signature invisible, un peu comme un graffiti invisible ou une tâche d'encre spéciale que seul vous pouvez voir avec une lampe UV.

C'est ce qu'on appelle le filigrane (watermark).

Le souci ?
Aujourd'hui, les gens peuvent copier ce tableau, le recopier sur une toile différente, le compresser (le rendre plus petit), ou même le "repeindre" légèrement pour l'adapter à un nouveau style (ce qu'on appelle le fine-tuning ou la distillation).
Dans les méthodes actuelles, ces "repeintures" effacent souvent votre signature invisible. C'est comme si quelqu'un lavait votre toile : le graffiti disparaît, et vous ne pouvez plus prouver que le tableau vous appartient.

💡 La Solution : Le "Squelette" Indestructible

Les auteurs de ce papier proposent une nouvelle méthode appelée FSW (Filigrane dans le Sous-Espace Fonctionnel). Au lieu de peindre la signature sur la surface du tableau (qui change facilement), ils l'incrustent dans l'armature intérieure du tableau, là où la structure est la plus solide.

Voici comment cela fonctionne, étape par étape, avec des analogies :

1. Trouver le "Squelette Stable" (Le Sous-Espace Fonctionnel)

Imaginez que le modèle d'IA est un grand bâtiment.

Certaines parties du bâtiment sont décoratives (des rideaux, de la peinture) : si on les change, le bâtiment tient toujours, mais ça change l'ambiance.
D'autres parties sont structurales (les poutres en acier, les fondations) : si on les touche, tout s'effondre.

Les chercheurs ont développé une sorte de scanner mathématique (un problème d'équations appelé "valeur propre généralisée") pour identifier exactement quelles sont les poutres en acier du modèle. Ce sont les directions de l'IA qui sont essentielles pour qu'elle parle correctement et comprenne le monde.

2. Incruster la signature dans les Poutres

Au lieu de mettre le filigrane sur les rideaux (qui peuvent être changés), ils l'incrustent dans les poutres en acier.

Si un voleur essaie de "compresser" le modèle (enlever des détails inutiles) ou de le "repeindre" (fine-tuning), il ne touchera pas aux poutres, car cela rendrait le modèle inutile (il ne saurait plus parler).
Par conséquent, la signature reste intacte, cachée au cœur de la structure.

3. Le "Filtre Intelligent" (Troncature Spectrale Adaptative)

C'est ici que la magie opère pour ne pas abîmer le modèle.
Imaginez que vous devez cacher un message dans une poutre. Si vous mettez le message trop gros, vous affaiblissez la poutre et le bâtiment s'écroule. Si vous le mettez trop petit, on ne le voit pas.
Les chercheurs utilisent un filtre intelligent qui trouve le point parfait : assez gros pour être détectable, mais assez petit pour ne pas casser la structure. C'est comme trouver la taille exacte d'un diamant qui tient parfaitement dans un anneau sans le déformer.

4. La "Vérification" (La Lampe UV)

Quand quelqu'un soupçonne qu'un modèle lui appartient, le propriétaire utilise une clé secrète pour "scanner" les poutres du modèle suspect.

Si le modèle a été volé et modifié, le scanner trouvera toujours la signature dans les poutres.
Le résultat est une preuve statistique irréfutable : "Oui, ce modèle contient bien ma signature, même après qu'il ait été lavé, compressé ou repeint."

🛡️ Pourquoi c'est révolutionnaire ?

Dans le passé, les voleurs pouvaient facilement effacer les filigranes en modifiant un peu le modèle. Avec FSW :

C'est robuste : Même si le voleur essaie de "distiller" le modèle (le copier vers un modèle plus petit et plus rapide), la signature reste car elle est dans la partie du cerveau de l'IA qui ne peut pas être supprimée sans rendre l'IA bête.
C'est discret : Le modèle continue de fonctionner aussi bien qu'avant. Il ne perd pas sa capacité à écrire des poèmes ou à résoudre des maths.
C'est mathématique : Ce n'est pas une devinette. C'est une preuve scientifique que l'on peut vérifier avec des statistiques.

En résumé

Imaginez que vous voulez protéger votre maison contre les cambrioleurs qui pourraient repeindre les murs ou changer les meubles.

L'ancienne méthode : Peindre votre nom sur le mur. (Facile à repeindre).
La méthode FSW : Graver votre nom dans les fondations en béton de la maison. Même si le voleur repeint tout et change les meubles, il ne peut pas toucher aux fondations sans détruire la maison. Et vous, vous savez exactement où regarder pour trouver votre nom.

C'est exactement ce que fait cette nouvelle technologie pour protéger les créateurs d'intelligences artificielles.

1. Problématique

L'essor rapide des Grands Modèles de Langage (LLM) et leur diffusion sous forme de poids ouverts (ex: Llama, Qwen, Mistral) soulève des questions critiques concernant la propriété intellectuelle et la traçabilité des modèles. Les développeurs font face à des menaces réelles telles que la fuite de points de contrôle (checkpoints), la redistribution non autorisée et l'extraction de modèles via des requêtes supervisées ou la distillation de connaissances.

Bien que le filigranage de contenu (dans le texte généré) existe, il est vulnérable aux pipelines d'extraction avancés. Le filigranage de modèle (incrustation d'informations dans les poids ou les représentations internes) est une alternative prometteuse, mais les méthodes actuelles souffrent d'un manque de robustesse. Les modifications postérieures courantes comme le fine-tuning, la quantification, l'élagage (pruning) ou la distillation déforment les caractéristiques internes, effaçant souvent les filigranes existants. Il existe donc un besoin urgent d'une méthode capable de maintenir la vérifiabilité de la propriété même après des perturbations au niveau des paramètres.

2. Méthodologie : FSW (Functional Subspace Watermarking)

Les auteurs proposent FSW, un cadre qui ancre les signaux de propriété dans un "squelette fonctionnel" stable du modèle. L'approche repose sur l'identification d'un sous-espace latent de faible dimension qui est à la fois critique pour la performance de la tâche et invariant aux transformations de compression.

Le processus s'articule en cinq phases principales :

Phase 1 : Extraction des Représentations
On extrait les états cachés du dernier token d'une couche intermédiaire fixe du modèle autoregressif. Ces états servent de goulot d'étranglement d'information pour la prédiction du prochain token, les rendant optimaux pour un filigranage sémantique.
Phase 2 : Analyse Géométrique
Deux matrices sont construites pour caractériser le sous-espace :
1. Matrice d'Information de Fisher ( $F$ ) : Mesure la sensibilité fonctionnelle. Les directions avec une forte valeur quadratique ( $u^T F u$ ) encodent les connaissances essentielles du modèle. Les perturber dégrade fortement la performance.
2. Matrice d'Invariance à la Compression ( $C_A$ ) : Modélise la variance induite par une famille d'opérateurs de compression (projection linéaire, bruit de quantification, dropout structurel). L'objectif est de trouver des directions où cette variance est minimale.
Phase 3 : Construction du Sous-espace et Optimisation
Le cœur de la méthode consiste à résoudre un Problème Généralisé de Valeurs Propres (GEVP) :
$F u_i = \lambda_i C_A u_i$
Les vecteurs propres $u_i$ correspondent aux directions maximisant le rapport signal-sur-bruit entre la sensibilité fonctionnelle et la variance de compression.
- Troncation Spectrale Adaptative : Au lieu de choisir simplement les $k$ premières valeurs propres (ce qui pourrait détruire l'utilité du modèle) ou les dernières (trop faciles à effacer), une stratégie de seuillage adaptatif sélectionne une plage optimale de valeurs propres ( $\tau_{lower} \le \lambda_i \le \tau_{upper}$ ) pour former le sous-espace fonctionnel stable $U^*$ .
Phase 4 : Projection et Cohérence
Une projection ancrée est définie par rapport à la moyenne globale du modèle original. Une contrainte de cohérence vectorielle ( $L_{con}$ ) est ajoutée à la fonction de perte pour garantir que l'insertion du filigrane ne modifie pas les représentations originales du modèle, préservant ainsi ses performances sémantiques.
Phase 5 : Insertion et Vérification
- Insertion : Un message binaire est encodé via des vecteurs clés orthogonaux. L'insertion utilise une fonction de perte à marge ( $L_{wm}$ ) pour forcer les projections des représentations à correspondre aux signes du message.
- Vérification : La propriété est prouvée statistiquement en calculant un score de détection agrégé. Sous l'hypothèse nulle (pas de filigrane), le score suit une distribution normale, permettant un test d'hypothèse rigoureux avec un taux de faux positifs (FPR) contrôlé.

3. Contributions Clés

Cadre FSW : Première méthode à ancrer les filigranes dans un sous-espace fonctionnel stable identifié via un problème de valeurs propres généralisées, découplant explicitement la sensibilité de la tâche de la variance induite par la compression.
Stratégie de Troncation Spectrale : Introduction d'une méthode pour équilibrer la robustesse et l'utilité du modèle, évitant la dégradation catastrophique des performances tout en assurant la persistance du signal.
Vérification Statistique Rigoureuse : Conception d'un schéma de vérification multi-bits basé sur des clés orthogonales, transformant la preuve de propriété en un test statistique formel avec un taux de faux positifs extrêmement faible.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs architectures (LLaMA-2/3, Qwen2.5, Mistral, DeepSeek) et datasets (WikiText-2, C4, HellaSwag, ARC).

Préservation de la Fonctionnalité : FSW maintient des performances quasi-identiques aux modèles non marqués. Par exemple, sur LLaMA-3-8B, l'augmentation de la perplexité (PPL) est négligeable (+0.37) et la précision sur les tâches de benchmark reste élevée.
Robustesse aux Attaques :
- Fine-tuning (LoRA/SFT) : Le score de détection reste élevé et la précision des bits (Bit Acc) dépasse 87-100%.
- Quantification et Élagage : Le filigrane résiste aux pertes de précision (INT4) et à la suppression de poids.
- Distillation : Même après une distillation de l'architecture ("Backbone Distillation"), FSW conserve une détection fiable (ex: 100% de précision des bits sur DeepSeek-7B après distillation), là où les méthodes précédentes échouent.
Capacité et Équilibre : Une capacité de 16 bits est identifiée comme optimale, offrant un bon compromis entre la charge d'information et la stabilité du modèle. L'utilisation de codes correcteurs d'erreurs (ECC) permet une récupération parfaite du message même avec des erreurs résiduelles.
Significativité Statistique : Les scores de détection dépassent largement les seuils théoriques, rejetant l'hypothèse nulle avec une probabilité de faux positifs proche de zéro (jusqu'à $\alpha = 10^{-8}$ pour certains modèles).

5. Signification et Impact

Ce travail comble une lacune majeure dans la sécurité des LLM en offrant une solution de filigranage robuste aux modifications de paramètres, un défi que les méthodes basées sur le contenu ou les filigranes statiques ne peuvent surmonter.

Protection de la Propriété Intellectuelle : FSW fournit un mécanisme de preuve de propriété "inviolable" même si un adversaire tente de masquer l'origine du modèle par compression ou ré-entraînement.
Équilibre Utilité-Sécurité : En ciblant spécifiquement les directions fonctionnelles stables, la méthode démontre qu'il est possible de sécuriser un modèle sans sacrifier ses capacités de génération.
Cadre Théorique : L'approche par valeurs propres généralisées offre une nouvelle perspective théorique pour l'analyse de la stabilité des représentations dans les réseaux de neurones profonds face aux transformations de compression.

En conclusion, FSW représente une avancée significative vers la protection technique des droits de propriété des grands modèles de langage dans un environnement de distribution ouvert et sujet aux attaques.