💬 NLP

FNF: Functional Network Fingerprint for Large Language Models

Ce document propose l'Empreinte de Réseau Fonctionnel (FNF), une méthode sans entraînement et efficace en termes d'échantillonnage qui détecte les dérivations non autorisées de modèles de langage de grande taille en analysant la cohérence de leur activité de réseau fonctionnel, offrant ainsi une solution robuste pour la protection de la propriété intellectuelle à travers diverses architectures et modifications.

Auteurs originaux : Yiheng Liu, Junhao Ning, Sichen Xia, Haiyang Sun, Yang Yang, Hanyang Chi, Xiaohui Gao, Ning Qiang, Bao Ge, Junwei Han, Xintao Hu

Publié 2026-02-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yiheng Liu, Junhao Ning, Sichen Xia, Haiyang Sun, Yang Yang, Hanyang Chi, Xiaohui Gao, Ning Qiang, Bao Ge, Junwei Han, Xintao Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que construire un modèle de langage puissant (comme ceux qui rédigent des essais ou du code) revienne à préparer une recette de gâteau familiale secrète et incroyablement coûteuse. Cela prend des années de temps et des millions de dollars pour la perfectionner.

Le problème ? Certaines personnes volent ces « recettes » (les poids internes du modèle), y apportent de minuscules modifications au glaçage, et prétendent avoir cuit le gâteau de toutes pièces. Ils peuvent même changer la taille du moule ou ajouter des couches supplémentaires, mais la pâte de base est volée.

Ce document présente un nouvel outil de détective appelé FNF (Functional Network Fingerprint) pour attraper ces voleurs. Voici comment il fonctionne, expliqué simplement :

1. L'analogie du cerveau : « Le huis clos de l'équipe »

Considérez un réseau de neurones (l'IA) non pas comme une liste statique de chiffres, mais comme une ville bourdonnante de neurones.

L'ancienne méthode : Les méthodes traditionnelles essayaient d'attraper les voleurs en examinant les « plans » (les poids) ou en plantant un « filigrane » caché (comme un code secret) dans le gâteau. Mais si le voleur modifie le plan ou efface le filigrane, il s'en sort.
La nouvelle méthode (FNF) : Au lieu de regarder le plan statique, le FNF observe comment les neurones travaillent ensemble lorsque l'IA réfléchit.
- Imaginez une équipe de sport. Même si vous changez les maillots des joueurs ou la taille du terrain, la façon dont la même équipe coordonne ses passes et ses courses reste unique à ce groupe spécifique.
- Dans l'IA, quand vous posez une question, certains groupes de neurones se « réunissent » et s'activent ensemble selon un motif spécifique. C'est ce qu'on appelle un Réseau Fonctionnel (Functional Network).

2. La découverte fondamentale : « La ressemblance familiale »

Les chercheurs ont découvert que les modèles issus de la même « famille » (même si l'un est une version réduite et l'autre une version géante, ou si l'un possède des couches supplémentaires) partagent une danse très spécifique.

Lorsqu'on leur donne la même entrée, leurs neurones bougent en synchronie.
Lorsque l'on donne deux modèles non liés la même entrée, leurs neurones dansent sur des rythmes totalement différents.

C'est comme observer l'écriture de deux personnes. Même si l'une écrit avec un marqueur épais et l'autre avec un stylo fin, si c'est la même personne, le flux et le rythme des lettres seront les mêmes. Si ce sont des personnes différentes, le rythme sera totalement différent.

3. Comment fonctionne l'outil de détective

La méthode FNF est comme une caméra de capture de mouvement haute technologie pour le cerveau de l'IA :

Poser une question : L'outil soumet le même ensemble de questions au modèle « Suspect » et au modèle « Victime » (l'original).
Observer la danse : Il enregistre quels neurones s'allument et comment ils bougent ensemble.
Comparer le rythme : Il utilise une astuce mathématique (appelée ICA, empruntée aux neurosciences) pour regrouper ces mouvements en « réseaux fonctionnels ».
Le verdict : Si les « motifs de danse » du Suspect correspondent à ceux de la Victime, l'outil déclare : « Vous avez volé cette recette ! » Même si le Suspect a changé la taille du modèle ou a brassé ses composants internes, le rythme sous-jacent reste le même.

4. Pourquoi c'est important

Le document affirme que cet outil est spécial car il est invulnérable aux ruses courantes :

La ruse du « mélange » (Shuffle) : Les voleurs réorganisent souvent les composants internes du modèle pour masquer leurs traces. Le FNF ne s'en soucie pas ; il s'intéresse à la façon dont les parties travaillent ensemble.
La ruse de la « coupe » (Trim) : Les voleurs peuvent supprimer la moitié du modèle pour le rendre plus petit. Le FNF perçoit toujours les parties restantes qui dansent de la même manière.
La ruse de « l'expansion » : Les voleurs peuvent ajouter de nouvelles couches pour faire paraître le modèle plus grand et différent. Le FNF peut toujours voir le « rythme familial » original en dessous.

Résumé

En bref, le FNF est un moyen de prouver la propriété d'un modèle d'IA en écoutant son « battement de cœur » interne plutôt qu'en examinant ses parties statiques. C'est une méthode non invasive, rapide et fiable pour déterminer si un modèle est une création originale authentique ou une copie « reconditionnée » du travail acharné de quelqu'un d'autre, même si le voleur a tenté de le déguiser avec de nouvelles couches, des tailles différentes ou des composants mélangés.

Résumé Technique : Empreinte Digitale Fonctionnelle de Réseau (FNF) pour les Grands Modèles de Langage

1. Énoncé du Problème

Le développement des Grands Modèles de Langage (LLM) implique des coûts financiers et temporels considérables, ce qui crée une grande valeur commerciale et encourage l'appropriation non autorisée de modèles open-source. Un défi critique surgit lorsque des développeurs prétendent avoir entraîné des modèles « originaux » à partir de zéro alors qu'ils ont en réalité copié les poids de modèles existants et appliqué des modifications superficielles, telles qu'un ajustement fin (fine-tuning) mineur, une obfuscation ou une expansion structurelle (terme désigné par « repackaging de poids »).

Les méthodes d'empreinte digitale existantes font face à plusieurs limitations :

Méthodes invasives : Les techniques comme le tatouage numérique (watermarking) ou les déclencheurs de portes dérobées (backdoor triggers) dégradent les performances du modèle et ne peuvent pas être appliquées à des modèles déjà publiés.
Méthodes non invasives : Les approches basées sur l'analyse des sorties ou la similitude des poids manquent souvent de robustesse. Plus précisément, les méthodes reposant sur la comparaison directe des poids échouent face aux simples permutations de paramètres, tandis que celles basées sur des représentations de caractéristiques statiques (par exemple, l'alignement de noyau centré ou CKA) peinent à comparer des modèles ayant des architectures, des dimensions cachées différentes, ou ceux ayant subi une expansion structurelle (par exemple, l'ajout de couches ou l'expansion des dimensions MLP).

Il existe un besoin pour une méthode sans entraînement, efficace en termes d'échantillonnage et robuste, capable de détecter la lignée des modèles à travers diverses architectures, échelles et techniques d'obfuscation sans compromettre l'utilité du modèle.

2. Méthodologie : Empreinte Digitale Fonctionnelle de Réseau (FNF)

La méthode proposée, Functional Network Fingerprint (FNF), est inspirée des réseaux cérébraux fonctionnels (FBN) en neurosciences. Elle repose sur le postulat que les LLM, en tant qu'analogues computationnels des systèmes neuraux biologiques, présentent des schémas stables de connectivité fonctionnelle où des groupes de neurones se co-activent systématiquement en tant que réseaux intégrés.

Concept Central : Cohérence d'Activation Fonctionnelle (FAC)

Les auteurs postulent que les modèles dérivés d'une même lignée d'entraînement (même avec des différences d'architecture ou d'échelle) partagent un « schéma neuroanatomique » commun. Par conséquent, ils présentent des schémas très cohérents d'activité neuronale au sein de leurs réseaux fonctionnels lorsqu'ils traitent les mêmes stimuli d'entrée. En revanche, les modèles entraînés indépendamment sur des données distinctes ou avec des objectifs différents ne présentent pas cet alignement.

Pipeline Technique

Extraction du Signal : Pour un ensemble de $N$ séquences d'entrée, les signaux neuronaux sont extraits de la sortie de blocs Transformer spécifiques dans le modèle victime et le modèle suspect.
Identification du Réseau Fonctionnel (CanICA) : La méthode utilise l'Analyse en Composantes Indépendantes Canoniques (CanICA), un outil standard en neurosciences, pour identifier les réseaux fonctionnels.
- Les données d'entrée sont concaténées et blanchies via l'ACP (PCA) pour éliminer les corrélations de second ordre.
- La méthode FastICA est appliquée pour récupérer les composantes spatiales indépendantes (réseaux fonctionnels), représentées sous forme de cartes spatiales $A \in \mathbb{R}^{D \times K}$ , où $K$ est le nombre de réseaux fonctionnels cibles.
Génération de la Série Temporelle : Pour chaque réseau fonctionnel identifié (carte spatiale), un masque binaire est appliqué pour sélectionner les neurones les plus saillants. L'activité moyenne de ces neurones à travers la séquence d'entrée est calculée pour générer des séries temporelles fonctionnelles en 1D.
Mesure de Similitude : La méthode calcule la corrélation de rang de Spearman entre les séries temporelles fonctionnelles du modèle victime et du modèle suspect.
- La corrélation de Spearman est choisie plutôt que la corrélation de Pearson pour se concentrer sur la cohérence des tendances d'activité fonctionnelle (ordres de rang) plutôt que sur les valeurs absolues, ce qui la rend robuste aux transformations monotones.
- Un score de cohérence moyen est calculé sur l'ensemble des échantillons d'entrée et des paires de réseaux pour produire une matrice de similitude.

3. Contributions Clés

Nouveau Paradigme d'Empreinte Digitale : FNF introduit une méthode non invasive et sans entraînement qui exploite l'activité fonctionnelle dynamique intrinsèque des LLM plutôt que les poids statiques ou les signaux intégrés.
Robustesse à l'Obfuscation : La méthode reste efficace contre les modifications de modèles courantes, y compris :
- Fine-tuning : Même après un ajustement fin extensif sur de grands ensembles de données.
- Élagage (Pruning) : Qu'il soit structuré (profondeur/largeur) ou non structuré.
- Permutation de Paramètres et Mise à l'Échelle : Réarrangement des poids ou transformations d'échelle qui modifient les dimensions des paramètres mais préservent la logique fonctionnelle.
- Repackaging de Poids : Détection de la lignée dans des modèles dont l'architecture a été étendue (par exemple, ajout de couches, augmentation des dimensions cachées) tout en héritant des poids de base.
Compatibilité Cross-Architecture : Contrairement aux méthodes précédentes nécessitant des architectures identiques, FNF peut comparer des modèles ayant des dimensions de couches cachées et des configurations structurelles différentes.
Interprétabilité : En décomposant les activations en réseaux fonctionnels, la méthode offre un aperçu de l'organisation fonctionnelle interne des modèles.

4. Résultats Expérimentaux

Les auteurs ont évalué FNF en utilisant le jeu de données WikiText-2 à travers diverses familles de modèles (LLaMA, Qwen, ChatGLM, Mistral, etc.) et l'ont comparé à la référence de l'état de l'art, REEF (qui utilise l'alignement de noyau centré ou CKA).

Fine-Tuning : FNF a maintenu des scores de corrélation élevés (par exemple, >0,9) entre les modèles pré-entraînés et leurs variantes ajustées (par exemple, LLaMA2-7B vs LLaMA2-7B-chat), même après un entraînement sur des centaines de milliards de tokens.
Variantes de Données d'Entraînement : Les modèles ayant des architectures identiques mais entraînés à partir de zéro sur des données différentes (par exemple, OpenLLaMA vs LLaMA2) ont montré de faibles corrélations, indiquant correctement l'absence de lignée commune.
Élagage (Pruning) : FNF a identifié avec succès des origines communes dans des modèles élagués jusqu'à 50 % de leurs paramètres. En revanche, REEF n'a pas réussi à détecter les relations dans les modèles fortement élagués (par exemple, l'élagage Wanda-sp).
Fusion de Modèles (Model Merging) : FNF a efficacement identifié les modèles constitutifs des LLM fusionnés (par exemple, Evollm-jp-7b), en exploitant l'hypothèse de mélange linéaire de l'ICA.
Repackaging de Poids et Cross-Architecture :
- FNF a correctement identifié que Mistral-11B (une version étendue de Mistral-7B) et Solar-10.7B (dérivé de Mistral-7B) partageaient une origine commune, alors que REEF (CKA) n'y est pas parvenu en raison des déséquilibres architecturaux.
- Dans les comparaisons cross-famille (par exemple, Qwen vs GLM), FNF a produit de faibles scores, distinguant correctement les modèles non apparentés, tandis que le CKA produisait souvent des scores de similitude fallacieux élevés.

5. Signification et Revendications

L'article affirme que FNF fournit un outil simple, non invasif et efficace pour protéger la propriété intellectuelle des LLM. Sa signification réside dans :

Répondre à la lacune du « Repackaging de Poids » : C'est la première méthode explicitement validée contre les attaques d'expansion structurelle où les modèles sont modifiés pour échapper à la détection tout en conservant les poids de base.
Préservation de l'Utilité : En tant que méthode d'analyse post-hoc, elle ne nécessite pas de réentraînement ni l'intégration de tatouages numériques, préservant ainsi les performances originales du modèle.
Scalabilité et Efficacité : La méthode ne nécessite que quelques échantillons pour la vérification et est informatiquement efficace.
Interprétabilité : Elle fait le pont entre les neurosciences et l'IA, offrant un cadre pour comprendre les LLM à travers le prisme des réseaux cérébraux fonctionnels, ce qui pourrait faire progresser l'interprétabilité des modèles au-delà de la simple empreinte digitale.

Les auteurs concluent que FNF permet aux propriétaires de modèles et aux tiers de déterminer de manière fiable si un modèle suspect est un dérivé d'un modèle victime, même en présence de différences architecturales et dimensionnelles significatives.