Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!

Résumé Technique : Empreinte Intrinsèque des LLM

Titre original : Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!
Auteurs : Do-hyeon Yoon, Minsoo Chun, et al. (Honest AGI Community)

---

1. Problématique (Le Problème)

Avec l'augmentation exponentielle des coûts d'entraînement des grands modèles de langage (LLM), la protection de la propriété intellectuelle (PI) est devenue un enjeu critique. Les méthodes de protection actuelles, principalement basées sur le watermarking (tatouage numérique des sorties), présentent des vulnérabilités majeures :

• Fragilité face au réentraînement : Un adversaire peut effacer le tatouage en effectuant un entraînement continu (continued training) ou un réglage fin (fine-tuning).
• Vulnérabilité aux attaques de post-traitement : La paraphrase ou la distillation peuvent briser les motifs statistiques des sorties.
• Incapacité à détecter l'upcycling : Les méthodes actuelles peinent à identifier si un modèle (comme un modèle MoE) a été dérivé d'un modèle dense existant par des techniques de réutilisation de paramètres.

2. Méthodologie (L'Approche)

Les auteurs proposent une méthode de fingerprinting (empreinte digitale) intrinsèque qui ne repose pas sur des signaux externes injectés, mais sur les caractéristiques statistiques naturelles des paramètres du modèle.

• Signature statistique : L'idée centrale est que la distribution de l'écart-type ($\sigma$) des matrices de projection de l'attention ($Q, K, V, O$) à travers les différentes couches du transformeur forme une signature unique et stable.
• Processus de calcul :
  1. Pour chaque couche $l$, on extrait les matrices de projection de l'attention.
  2. On calcule l'écart-type de tous les paramètres de chaque matrice : $\sigma_{M}^l = \text{std}(M^l)$.
  3. On normalise ces séquences (moyenne nulle, variance unitaire) pour permettre la comparaison entre modèles de tailles et d'architectures différentes.
• Détection de lignée : La similarité entre deux modèles est mesurée par le coefficient de corrélation de Pearson ($\rho$) entre leurs séquences d'écarts-types normalisées. Pour les modèles ayant un nombre de couches différent, une technique d'interpolation linéaire est utilisée pour aligner les séquences.

3. Contributions Clés

• Robustesse architecturale : Contrairement au watermarking, cette empreinte survit aux modifications structurelles majeures, comme le passage d'un modèle dense à un modèle Mixture-of-Experts (MoE).
• Robustesse au réentraînement : L'empreinte reste stable même après un entraînement continu massif (plusieurs billions de tokens).
• Outil de vérification de la PI : Une méthode simple (nécessitant uniquement l'accès aux checkpoints et l'application de torch.std()) pour établir la lignée d'un modèle.

4. Résultats Expérimentaux

L'étude a testé plusieurs familles de modèles (Llama, Qwen, OLMoE, etc.) et a produit des résultats frappants :

• Validation sur des cas connus : La méthode a détecté avec succès la lignée de modèles dont l'origine était déjà documentée (ex: le modèle Llama-3.1-Nemotron dérivé de Llama-3.1 par NVIDIA, ou le passage de Qwen1.5 dense à MoE).
• Découverte majeure (Cas Pangu Pro) : L'analyse a révélé une corrélation extrêmement élevée (moyenne globale de 0,927) entre le modèle Pangu Pro MoE de Huawei et le modèle Qwen-2.5 14B.
  • Les corrélations par type de matrice sont très fortes : $Q=0,867$, $K=0,928$, $V=0,939$, et $O=0,973$.
  • Cette similarité quasi identique, malgré des architectures différentes (MoE vs Dense) et des prétentions de développement indépendant, suggère fortement que Pangu Pro a été créé par upcycling (réutilisation des poids) de Qwen-2.5, contredisant les rapports techniques officiels.

5. Signification et Implications

• Éthique et Intégrité : L'article souligne un risque de "plagiat de modèles" et de fabrication d'informations dans les rapports techniques de l'industrie de l'IA.
• Protection de l'innovation : En démontrant que l'entraînement continu ne suffit pas à masquer l'origine d'un modèle, les auteurs fournissent un outil de dissuasion contre l'utilisation non autorisée de modèles de fondation.
• Limites : Les auteurs notent que l'efficacité de la méthode est liée à la taille du modèle ; elle est très robuste pour les modèles de plusieurs milliards de paramètres, mais pourrait être moins stable pour les modèles de moins d'un milliard de paramètres en raison de la taille limitée de l'échantillon statistique.