🤖 AI

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

TokenPrint introduit une empreinte de l'espace des tokens calibrée et sans entraînement qui exploite les projections du vocabulaire top- $k$ issues de sondes de connaissances pour identifier avec précision la provenance, la lignée et les données d'entraînement partagées des modèles de langage à travers diverses familles de modèles et niveaux de quantification.

Auteurs originaux : Yuqi Wu, Shengming Zhao, Jie Chen

Publié 2026-08-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuqi Wu, Shengming Zhao, Jie Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de découvrir qui est une personne mystérieuse, mais elle ne montre jamais sa carte d'identité et ses parents refusent de vous donner son nom de famille. Vous n'avez que sa voix. Si vous écoutez attentivement, vous pourriez remarquer qu'elle utilise l'argot de ses frères et sœurs, qu'ils finissent les phrases les uns des autres d'une manière spécifique, ou qu'elle possède un rythme unique que partagent ses cousins. Dans le monde de l'intelligence artificielle, ces « personnes » sont des modèles de langage étendus (LLM) — des programmes informatiques qui écrivent, discutent et résolvent des problèmes. Pendant longtemps, si une entreprise lançait un nouveau modèle, elle pouvait cacher quel ancien modèle elle avait utilisé comme base ou sur quels livres et sites web spécifiques elle avait été entraînée. C'est un problème car si un modèle est construit sur des données volées ou s'il est entraîné pour être nuisible, nous devons connaître son « arbre généalogique » pour tenir les bonnes personnes responsables. Les scientifiques ont tenté de résoudre cela en examinant le code interne du modèle (son « ADN »), mais que se passe-t-il si ce code est caché ? Cet article pose une question ingénieuse : pouvons-nous identifier la famille d'un modèle simplement en écoutant ce qu'il dit ?

Les chercheurs, Yuqi Wu, Shengming Zhao et Jie Chen de l'Université de Fudan, ont introduit un nouvel outil appelé TokenPrint. Considérez cela comme une « empreinte vocale » pour l'IA. Au lieu d'avoir besoin de voir le code interne secret du modèle, ils lui posent simplement 250 questions spécifiques — comme « Quelle est la capitale du Canada ? » ou « Écris une ligne de code pour une boucle » — puis observent les quelques premiers mots que le modèle choisit pour répondre. Ils appellent ces choix de premier rang la « empreinte digitale » du modèle.

Voici le tour de magie : lorsque deux modèles sont apparentés (par exemple, l'un est une version « affinée » de l'autre, ou ils ont tous deux été entraînés sur exactement le même tas de données), ils ont tendance à choisir les mêmes premiers mots pour ces questions, même s'ils ont des tailles différentes ou sont fabriqués par des entreprises différentes. Les chercheurs ont mesuré cette similitude à l'aide d'un outil mathématique appelé chevauchement de Jaccard, qui demande essentiellement : « Combien de mots de premier rang ces deux modèles partagent-ils ? »

L'article a révélé des choses fascinantes :

La ressemblance familiale est réelle : Les modèles qui partagent un « parent » ou un ensemble de données d'entraînement ont un score de similitude beaucoup plus élevé (environ 0,35 à 0,48) que des modèles totalement non apparentés (environ 0,17). C'est comme la voix d'un enfant qui pourrait ressembler davantage à celle de son parent qu'à celle d'un étranger, même s'ils ne sont pas identiques.
Cela arrive tôt : Cette « empreinte vocale » commence à se former incroyablement vite. Les chercheurs ont vu ces similitudes apparaître dès les premiers 1 % du temps d'entraînement du modèle, bien avant que le modèle ne soit réellement assez intelligent pour répondre correctement aux questions. Cela suggère que l'empreinte provient des données que le modèle a « mangées », et non pas seulement de l'intelligence qu'il a acquise.
Cela fonctionne même quand c'est caché : La méthode fonctionne même si les modèles utilisent des « vocabulaires » différents (des listes de mots différentes) ou des architectures informatiques différentes. C'est comme reconnaître un membre de sa famille même s'il parle un dialecte légèrement différent.
C'est un outil de détective, pas une baguette magique : L'empreinte est excellente pour réduire la liste des suspects. Par exemple, lorsqu'ils ont essayé de trouver le « parent » de cinq modèles spécifiques (appelés distillations R1), l'empreinte a correctement identifié le véritable parent comme étant l'un des deux meilleurs choix à chaque fois. Cependant, elle ne pouvait parfois pas faire la différence entre un parent et un cousin très proche (comme un modèle frère), ce qui signifie qu'elle vous oriente dans la bonne direction mais ne donne pas toujours une réponse unique et parfaite.

Les chercheurs ont également vérifié si cette empreinte survit lorsque le modèle est réduit pour gagner de l'espace (un processus appelé quantification). Ils ont découvert que même lorsque le modèle était compressé à une taille très petite (int4 ou int8), l'empreinte restait forte, avec un score de similitude de 0,82 à 0,92 par rapport à l'original. Cela signifie que la « voix » ne change pas beaucoup, même lorsque le modèle est « écrasé ».

En résumé, TokenPrint suggère que chaque modèle de langage laisse une trace unique et persistante de « choix de mots » qui révèle son historique d'entraînement. C'est une méthode sans entraînement supplémentaire et légère pour tracer la lignée d'un modèle, aidant à comprendre qui a fait quoi et d'où proviennent les données, sans avoir besoin de jeter un coup d'œil dans le code secret du modèle. Bien qu'elle ne puisse pas toujours nommer le parent exact avec une certitude de 100 %, c'est une nouvelle loupe puissante pour suivre les arbres généalogiques de l'IA.

Résumé Technique : TokenPrint

Énoncé du Problème
La publication rapide de modèles de langage à poids ouverts dépasse la capacité d'auditer leur provenance. Les mécanismes de gouvernance actuels font face à des défis importants : les fiches de modèles (model cards) omettent souvent le checkpoint de base spécifique utilisé pour le réglage fin (fine-tuning), les divulgations sur les données d'entraînement sont fréquemment incomplètes, et des modèles développés nominalement de manière indépendante peuvent partager des portions substantielles de leurs corpus d'entraînement. Les méthodes de forensique existantes sont limitées dans leur portée : les approches dans l'espace des poids (ex. : HuRef, Model Tree Heritage Recovery) nécessitent l'accès aux paramètres et supposent une héritage de paramètres, tandis que les phylogénies comportementales (ex. : PhyloLM) produisent souvent des structures non calibrées qui révèlent un regroupement mais manquent d'attentes calibrées concernant les niveaux de similitude découlant de bases partagées, de corpus superposés ou d'une simple convergence de capacités. Il est nécessaire de disposer d'une méthode capable d'inférer la lignée d'un modèle et son historique d'entraînement sans nécessiter l'accès aux poids du modèle, applicable même lorsque les modèles ne partagent aucun paramètre.

Méthodologie
Les auteurs introduisent TokenPrint, une empreinte digitale sans entraînement basée sur les projections du top- $k$ du vocabulaire des états cachés tardifs, provoqués par un ensemble fixe de 250 sondes de connaissance.

Extraction de l'empreinte : Pour un modèle de langage causal possédant $L$ couches, la méthode utilise 250 prompts fixes (sondes) sans templates de discussion (chat templates). Elle enregistre l'état caché $h_\ell(p)$ à des profondeurs spécifiques ( $\ell \in \{L/4, L/2, 3L/4, L-2\}$ ) et les projette à travers la matrice de désincorporation (unembedding matrix) $W_U$ pour obtenir les logits. Les 100 premiers tokens sont décodés en chaînes de caractères, filtrés pour les tokens « glitch » (basés sur les normes de désincorporation) et dépouillés de leurs espaces blancs. L'empreinte est la correspondance entre chaque sonde et sa liste classée de chaînes de caractères de tokens décodés.
Métrique de similitude : La similitude entre deux modèles $a$ et $b$ à la profondeur $\ell$ est définie par la moyenne du chevauchement de Jaccard des ensembles de chaînes de caractères décodés du top- $k$ à travers toutes les sondes :
$S_\ell(a, b) = \frac{1}{|P|} \sum_{p \in P} \frac{|F_{a,\ell}(p) \cap F_{b,\ell}(p)|}{|F_{a,\ell}(p) \cup F_{b,\ell}(p)|}$
Les profondeurs internes sont appariées par position fractionnaire pour s'adapter aux modèles de tailles différentes.
Calibration et estimation du nul : Pour tenir compte des structures lexicales partagées et des effets de tokenizer indépendants du contenu de la sonde, les auteurs estiment un « nul de sondes dépareillées » ( $\tilde{S}$ ) spécifique à une paire. Celui-ci est calculé en appariant la réponse du modèle $a$ à la sonde $i$ avec la réponse du modèle $b$ à une sonde différente $j \neq i$ . La métrique finale est la similitude excédentaire ( $S - \tilde{S}$ ), qui isole le signal lié au contenu de la sonde.
Pool d'évaluation : La méthode est évaluée sur un pool de calibration de 32 modèles à poids ouverts (0,6B–32B paramètres) issus de neuf familles de développeurs, incluant des relations documentées telles que les modèles Pythia (données identiques, pas de poids partagés), les distillations DeepSeek-R1 (checkpoints de base partagés) et les générations successives. Un « pool témoin » externe comprend des modèles entraînés sur le même corpus (The Pile) par différentes organisations avec des tokenizers et des architectures différents.

Résultats Clés

Échelle de similitude calibrée : La similitude de l'empreinte suit globalement la parenté documentée des modèles.
- Données identiques (sans poids partagés) : Les modèles Pythia entraînés sur les mêmes données dans le même ordre présentent la similitude excédentaire la plus élevée (0,35).
- Fine-tunes à base partagée : Les modèles héritant d'un checkpoint de base présentent une similitude élevée (0,33).
- Même développeur/lignée : Les modèles du même groupe de développeurs ou de la même lignée présentent une similitude intermédiaire (0,25–0,28).
- Modèles non liés : Les modèles sans relation documentée présentent la similitude la plus faible (0,17).
  Ce signal persiste à travers différentes organisations, familles de tokenizers (ex. : Cerebras-GPT vs Pythia) et classes d'architecture (ex. : RWKV vs Transformers).
Émergence précoce : Le signal de similitude émerge dès les premiers 1 % de l'entraînement (ex. : à l'étape 1000 pour les modèles Pythia), bien avant que la compétence factuelle mesurable (précision de la sonde) ne soit atteinte. Cela suggère que le signal provient de distributions de données d'entraînement partagées plutôt que de la simple convergence des capacités de tâches.
Récupération de lignée : En tant que méthode de recherche de plus proche voisin, TokenPrint réussit à classer le checkpoint de base exact parmi les deux meilleurs candidats pour les cinq distillations DeepSeek-R1 (Rang Moyen 1,8, MRR 0,60). Notamment, il identifie des bases spécialisées (ex. : une base spécialisée en mathématiques) que les métadonnées grossières (lignée du tokenizer et nombre de paramètres) ne parviennent pas à distinguer. Cependant, la méthode identifie souvent un « voisinage de lignée » plutôt qu'un parent unique, car des alternatives étroitement liées (ex. : variantes Instruct à même base) sont souvent bien classées.
Profondeur et Robustesse :
- Profondeur : La force de discrimination augmente vers la distribution de sortie, l'AUC passant de 0,72 à un quart de profondeur à 0,90 à la sortie finale. L'utilisation de seulement les 5 premiers tokens de sortie conserve un AUC de 0,87.
- Quantification : L'empreinte reste stable sous quantification, montrant une similitude de Jaccard de 0,92 sous int8 et de 0,82–0,85 sous int4 par rapport à la référence bf16.
- Contrôle des capacités : Une analyse de régression confirme que la structure de groupe de lignée observée persiste même après contrôle des écarts de capacité et de l'échelle des paramètres.

Signification et Revendications
Le papier positionne TokenPrint comme un outil pratique de récupération de lignée et d'analyse de provenance de modèle qui opère sans accès aux poids. Sa principale signification réside dans :

Fonctionnement sans entraînement : Il ne nécessite que des passages avant (forward passes), ce qui le rend applicable aux modèles en boîte noire ou à accès restreint là où les méthodes dans l'espace des poids échouent.
Interprétation calibrée : En établissant une « échelle de similitude » par rapport aux relations documentées, la méthode dépasse le simple regroupement non calibré pour fournir des plages de référence indiquant quels niveaux de similitude impliquent des types de relations spécifiques (ex. : données partagées vs base partagée).
Signal piloté par les données : La persistance du signal à travers des organisations et des architectures indépendantes, ainsi que son émergence avant la convergence des capacités, suggère que les empreintes dans l'espace des tokens capturent des artefacts structurels persistants des distributions de données d'entraînement.

Limites et Portée
Les auteurs déclarent explicitement que la méthode n'identifie pas le mécanisme d'une relation (ex. : distinguer l'héritage de poids de la superposition de corpus) sur la base d'un seul score par paire. Au lieu de cela, elle fournit une structure de similitude globale pour restreindre les ensembles de candidats et générer des hypothèses pour des analyses ciblées ultérieures. La méthode est mieux adaptée pour identifier quels modèles nécessitent une investigation plus approfondie plutôt que de servir de preuve juridique autonome d'un historique d'entraînement spécifique. Les auteurs notent également que les comparaisons entre différents tokenizers peuvent sous-estimer la similitude en raison de la segmentation différente des chaînes sémantiquement équivalentes.

Articles similaires