💻 computer science

Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space

Cet article propose un cadre d'empreinte géométrique unifié qui analyse l'énergie spectrale et l'alignement de sous-espace des matrices de poids des LLM afin de tracer de manière robuste la lignée des modèles et de distinguer les modèles indépendants, de même série et à base partagée sans nécessiter l'accès aux données d'entrée.

Auteurs originaux : Yiwei Chen, Bingqi Shang, Sijia Liu

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiwei Chen, Bingqi Shang, Sijia Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où, chaque fois que vous construisez un robot, vous laissez derrière vous un brin d'ADN invisible et unique à l'intérieur de son cerveau. Dans l'univers rapide de l'intelligence artificielle, ces « robots » sont appelés modèles de langage étendus (LLM) — des programmes informatiques super intelligents capables d'écrire des histoires, de résoudre des problèmes mathématiques et de discuter comme des humains. Mais voici le rebondissement : ces modèles ne sont pas toujours construits à partir de zéro. Souvent, une entreprise prend un modèle géant pré-fabriqué, le peaufine, l'entraîne sur de nouvelles données et publie une nouvelle version. C'est comme prendre la recette secrète d'un chef célèbre, ajouter une pincée de sel et prétendre que c'est la vôtre. Cela crée un arbre généalogique confus où il est difficile de savoir qui est apparenté à qui, qui a copié qui, et d'où provient réellement un modèle. C'est le problème de la « provenance » : connaître l'origine véritable de quelque chose. Les scientifiques ont tenté de résoudre cela en observant comment les modèles agissent (comme en testant leurs réponses), mais c'est délicat car les réponses peuvent changer selon la manière dont on pose les questions. Alors, la grande question devient : pouvons-nous regarder à l'intérieur du cerveau du modèle (ses poids) pour y trouver une empreinte digitale permanente et immuable qui nous raconte son histoire familiale, sans même avoir besoin de lui poser une seule question ?

Ce document, intitulé « Qui a construit ce modèle ? », affirme que oui, nous le pouvons. Les auteurs, des chercheurs de l'Université d'État du Michigan, proposent une nouvelle façon de retracer la lignée des modèles d'IA en observant la géométrie de leurs poids internes. Ils traitent le cerveau du modèle comme un instrument de musique complexe et écoutent deux « sons » différents qu'il produit : la force des notes (l'énergie spectrale) et la direction dans laquelle les ondes sonores voyagent (l'alignement des sous-espaces).

D'abord, ils ont examiné la « force » ou l'énergie globale des poids du modèle. Ils ont découvert que cela agit comme un arbre généalogique à gros grains. Si deux modèles appartiennent à des familles complètement différentes (comme un robot construit par l'Entreprise A par rapport à l'Entreprise B), leurs motifs de « force » sont totalement différents. Si deux modèles appartiennent à la même série (comme une version de 3 milliards de paramètres et une version de 7 milliards de paramètres du même modèle), leurs motifs sont très similaires. Les chercheurs ont démontré qu'en mesurant cette « énergie spectrale », ils pouvaient facilement dire si deux modèles étaient des étrangers ou des cousins éloignés. C'est une avancée majeure car les méthodes précédentes confondaient souvent ces deux groupes, échouant à voir la différence entre un modèle totalement nouveau et une version simplement agrandie d'un ancien modèle.

Cependant, le test de la « force » atteint ses limites lorsque les modèles sont des parents très proches. Imaginez deux modèles qui sont partis exactement de la même base mais qui ont ensuite suivi des camps d'entraînement différents : l'un a appris à être un tuteur de mathématiques, et l'autre a appris à être un écrivain créatif. Leur « force » est presque identique, donc le premier test ne peut pas les distinguer. C'est là que la deuxième partie de la magie de l'article intervient : « l'alignement des sous-espaces ». Au lieu de simplement écouter si la musique est forte, les auteurs ont regardé la direction des notes. Ils ont découvert que même quand le volume global est le même, les directions spécifiques vers lesquelles les ondes cérébrales du modèle pointent changent légèrement selon ce que le modèle a appris. Si un modèle a été entraîné sur un ensemble de données minuscule, son empreinte directionnelle est presque la même que celle de l'original. Mais s'il a été entraîné sur un ensemble de données massif et diversifié, ces directions se déplacent de manière notable.

L'équipe a testé cela sur plus de 110 paires de modèles aux poids ouverts. Ils ont constaté que leur nouvelle méthode pouvait faire ce que les anciennes méthodes ne pouvaient pas : elle pouvait séparer les « étrangers » des « cousins », puis zoomer pour distinguer les « cousins » qui avaient eu des expériences de vie différentes (données d'entraînement ou algorithmes différents). Par exemple, ils ont montré que leur méthode pouvait détecter qu'un modèle entraîné sur 100 % d'un ensemble de données avait une empreinte géométrique différente de celui entraîné sur seulement 10 %, même s'ils partageaient la même base. Ils ont également découvert que différents algorithmes d'entraînement (comme DPO, PPO et RAFT) laissent des cicatrices géométriques distinctes sur différentes parties du cerveau du modèle.

En résumé, l'article suggère que les modèles d'IA possèdent des « biométries » intrinsèques cachées dans l'espace de leurs poids. En combinant une vérification de l'énergie globale (pour séparer les différentes familles) et une vérification de la géométrie directionnelle (pour distinguer les parents proches), nous pouvons construire une carte fiable de qui a construit quoi, et de la manière dont ils ont évolué. Cela ne fait pas que satisfaire la curiosité ; cela offre un outil pour vérifier la chaîne d'approvisionnement de l'IA, garantissant que nous connaissons les origines réelles des modèles que nous utilisons, et aidant à gouverner leur évolution à mesure qu'ils deviennent plus complexes. Les auteurs soulignent que cela fonctionne même lorsque nous n'avons pas accès aux données d'entraînement, mais seulement aux poids finaux du modèle, ce qui en fait un outil puissant pour la transparence dans le monde de l'IA.

Résumé technique : Qui a construit ce modèle ? Tracer la lignée des LLM via les empreintes spectrales dans l'espace des poids

Énoncé du problème

La prolifération rapide des modèles de langage de grande taille (LLM) à poids ouverts, développés via des pipelines complexes et multi-étapes (pré-entraînement, ajustement fin, alignement), a créé des relations de lignée complexes. Comprendre ces relations est crucial pour la provenance des modèles, la gouvernance et l'intégrité de la chaîne d'approvisionnement. Cependant, les méthodes existantes pour identifier la lignée des modèles font face à des limitations significatives :

Les approches de type "boîte noire" (ex: sondage par réponse aux prompts, tatouage numérique/watermarking) dépendent des données d'entrée, sont sensibles à la conception des prompts et ne révèlent pas de signatures structurelles intrinsèques.
Les approches de type "boîte blanche" (ex: statistiques de poids, empreintes de distribution des paramètres) réduisent souvent les informations complexes de l'espace des poids à des statistiques de résumé grossières. Comme le démontre l'article, ces méthodes échouent fréquemment à distinguer des modèles ayant des origines ou des échelles différentes, particulièrement lorsqu'il s'agit de distinguer des modèles d'« origine indépendante » de modèles de « même série ».

La question de recherche centrale est : Quelles structures de l'espace des poids servent d'empreintes fiables pour l'identification de la lignée des LLM ? Les auteurs étudient cela dans un cadre de boîte blanche où les paramètres du modèle sont accessibles, mais pas les données d'entraînement ni les métadonnées.

Méthodologie : Cadre d'empreinte géométrique unifié

Les auteurs proposent un cadre d'empreinte géométrique unifié qui analyse les matrices de poids sous deux perspectives complémentaires pour traiter la discrimination hiérarchique de la lignée. Le cadre définit trois régimes de partage d'informations croissant :

Origine Indépendante (S1) : Modèles entraînés indépendamment sans initialisation, données ou pipelines partagés.
Même Série (S2) : Modèles partageant l'architecture et les pipelines d'entraînement, mais différant par l'échelle des paramètres.
Base Partagée (S3) : Modèles dérivés d'un modèle pré-entraîné commun qui divergent par le biais du post-entraînement (ex: différents jeux de données ou algorithmes).

La méthodologie décompose les matrices de poids $W$ via la Décomposition en Valeurs Singulières (SVD) pour extraire deux signaux distincts :

1. Analyse de l'énergie spectrale (Discrimination à grain grossier)

Pour distinguer les origines indépendantes des modèles de même série, les auteurs analysent l'énergie spectrale (motifs de magnitude globale) des matrices de poids.

Mécanisme : Ils calculent l'empreinte de la trace spectrale, définie comme la somme des carrés des valeurs singulières ( $\sum \sigma_i^2$ ) pour chaque couche et chaque type de composant (ex: Q, K, V, FFN).
Métrique : Un score de similitude est calculé en utilisant la corrélation de Pearson entre les empreintes de trace par couche de deux modèles, normalisées via une interpolation linéaire pour gérer les différences de profondeur.
Fonction : Cela capture les motifs structurels globaux, permettant la séparation des familles et des échelles de modèles.

2. Analyse de l'alignement des sous-espaces (Discrimination à grain fin)

Pour distinguer les modèles étroitement liés au sein du régime de « Base Partagée » (ex: variations de l'échelle des données ou des algorithmes de post-entraînement), les auteurs analysent la géométrie directionnelle.

Mécanisme : Ils effectuent une SVD compacte sur les matrices de poids et extraient les $k$ premiers vecteurs singuliers à gauche ( $U_k$ ) pour définir des sous-espaces dominants.
Métrique : Ils calculent la matrice de croisement des sous-espaces $C = U_a^T U_b$ et analysent ses valeurs singulières, qui correspondent aux cosinus des angles principaux entre les sous-espaces. La métrique agrège les plus petites valeurs singulières (représentant l'alignement le plus faible) pour mesurer la déviation directionnelle.
Fonction : Cela capture les variations géométriques et les rotations de sous-espaces induites par l'échelle des données de fine-tuning et les algorithmes de post-entraînement spécifiques, ce que la magnitude spectrale seule ne peut détecter.

Résultats clés

Les auteurs ont mené des expériences approfondies sur plus de 110 paires diversifiées de LLM à poids ouverts (incluant les familles LLaMA, Qwen et Gemma).

Séparation hiérarchique : La métrique Trace proposée (énergie spectrale) réussit la séparation à grain grossier. Elle distingue clairement les modèles d'origine indépendante des modèles de même série, une tâche où les bases de référence comme AWM (Accurate Weight Matrix) et PDF (Parameter Distribution Fingerprint) échouent, montrant souvent un chevauchement significatif ou une performance aléatoire (AUC AWM = 0,256 contre AUC Trace = 0,850 pour S1 vs S2).
Sensibilité à grain fin : La métrique d'Alignement des sous-espaces parvient à discriminer au sein du régime de base partagée.
- Échelle des données : Elle détecte les différences d'échelle des données de post-entraînement. Par exemple, les scores de similitude diminuent à mesure que la proportion de données de fine-tuning augmente (ex: de 0,976 pour 10% d'Alpaca-SFT à 0,889 pour 100% d'Alpaca-SFT).
- Spécificité de l'algorithme : Elle révèle des signatures géométriques distinctes pour différentes stratégies de post-entraînement (PPO, DPO, RAFT). Par exemple, RAFT induit des perturbations plus fortes dans les composants FFN, tandis que PPO cause des chutes notables dans les projections Q, alors que DPO maintient une haute similitude.
Comparaison avec les bases de référence : Les méthodes existantes (AWM, HuReF, PDF) attribuent des scores de similitude proches de 1,0 pour toutes les paires de base partagée, échouant à capturer les variations d'échelle de données ou d'algorithme. Le cadre proposé fournit un signal continu qui différencie ces scénarios.

Contributions clés

Formulation du problème : Définition d'un problème de discrimination hiérarchique de la lignée des LLM à travers trois régimes (Origine Indépendante, Même Série, Base Partagée) avec un accent sur la discrimination à grain fin au sein du cadre de base partagée.
Aperçu de l'énergie spectrale : Démonstration que l'énergie spectrale dérivée des valeurs singulières capture les motifs de magnitude globale, permettant une séparation fiable à grain grossier entre les modèles indépendants et de même série.
Analyse de l'alignement des sous-espaces : Introduction d'une analyse de la géométrie directionnelle qui capture les variations à grain fin dans l'espace des poids, permettant la discrimination entre des modèles de base partagée étroitement liés en fonction de l'échelle des données et des procédures de post-entraînement.
Validation empirique : Validation de l'approche sur plus de 110 paires de LLM, montrant une robustesse tant dans la séparation des régimes que dans la discrimination à grain fin, surpassant les bases de référence existantes (boîtes blanches et noires).

Signification et affirmations

L'article affirme que la géométrie de l'espace des poids fournit un signal robuste et interprétable pour la lignée des modèles qui ne nécessite pas l'accès aux données d'entrée ou aux métadonnées d'entraînement.

Provenance et Gouvernance : La méthode soutient la vérification de la provenance des modèles, la gouvernance de la propriété intellectuelle et la transparence de la chaîne d'approvisionnement. Elle permet aux régulateurs et aux utilisateurs en aval d'identifier l'origine d'un modèle et d'évaluer les risques associés sans avoir besoin d'accéder aux données d'entraînement propriétaires.
Signaux complémentaires : Ce travail établit que l'énergie spectrale et l'alignement des sous-espaces sont complémentaires : l'énergie spectrale gère la séparation des régimes grossiers, tandis que la géométrie directionnelle gère la différenciation à grain fin.
Passif et Boîte Blanche : L'approche opère uniquement sur les poids des modèles rendus publics, offrant une méthode passive pour auditer l'écosystème en expansion des LLM à poids ouverts.

Les auteurs soulignent que leurs conclusions reposent sur l'analyse des signatures structurelles intrinsèques dans l'espace des poids, fournissant une base pour comprendre comment les modèles évoluent à travers les pipelines complexes du développement moderne des LLM.