💬 NLP

Token Rankings are Unforgeable Language Model Signatures

Cet article démontre que les classements de jetons servent de signature unique et infalsifiable pour les modèles de langage permettant de les identifier sans divulguer leurs paramètres, à condition que les API limitent la sortie à un top- $k$ suffisamment restreint pour empêcher le vol de paramètres tout en révélant toujours les motifs de classement distincts du modèle.

Auteurs originaux : Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta

Publié 2026-06-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Matthew Finlayson, Andreas Grivas, Xiang Ren, Swabha Swayamdipta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un chef très célèbre et unique. Ce chef ne se contente pas de cuisiner les aliments ; il a une façon bien spécifique de disposer les ingrédients dans l'assiette. Même si vous ne pouvez pas goûter la nourriture ou voir la recette exacte, l'ordre dans lequel les ingrédients sont empilés est si unique qu'il agit comme une empreinte digitale.

Ce document présente une nouvelle façon d'identifier les modèles de langage IA en utilisant exactement cette idée : l'ordre des mots, et non leurs probabilités exactes.

Voici la décomposition de leur découverte, en utilisant des analogies simples :

1. Le Problème : La fuite de la « Recette »

Auparavant, pour prouver qu'une IA était bien celle qu'elle prétendait être, les chercheurs demandaient à l'IA ses « scores de confiance » (à quel point elle est sûre de chaque mot).

L'Analogie : L'IA dit : « Je suis sûre à 99 % que le mot suivant est "chat", à 1 % "chien" et à 0,01 % "hélicoptère". »
Le Risque : Si vous possédez ces chiffres exacts, un pirate peut rétro-concevoir le cerveau de l'IA (ses paramètres internes) pour construire une copie factice. Une fois qu'il possède cette copie factice, il peut falsifier la signature, rendant impossible la distinction entre la vraie IA et la fausse.

2. La Solution : La Signature de « Classement »

Les auteurs proposent une méthode plus sûre. Au lieu de donner les nombres de confiance exacts, l'API ne donne que le classement.

L'Analogie : L'IA dit simplement : « 1ère place : "chat", 2e place : "chien", 3e place : "hélicoptère". » Elle ne précise pas à quel point "chat" est plus probable que "chien".
La Découverte : Les auteurs ont découvert que chaque modèle d'IA possède son propre ensemble de « classements possibles » qu'il peut produire. Parce que la structure du cerveau de l'IA est construite de telle manière (plus précisément, un « goulot d'étranglement » qui limite le nombre d'idées qu'elle peut contenir à la fois), elle ne peut produire qu'un sous-ensemble très spécifique de tous les ordres de mots possibles.
Le Résultat : Si vous voyez une liste spécifique d'ordres de mots, il est extrêmement probable qu'elle provienne de ce modèle spécifique et d'aucun autre. C'est comme voir un agencement spécifique de pièces de puzzle ; seule une boîte de puzzle spécifique pourrait avoir produit cette forme exacte.

3. Pourquoi est-ce « Infalsifiable » (Le Verrou Dur)

Le papier prouve que vous ne pouvez pas falsifier cette signature.

L'Analogie : Imaginez essayer de construire une nouvelle machine à partir de zéro qui produise exactement la même liste d'ordres de mots que le chef original.
Les Mathématiques : Les auteurs démontrent que faire cela est un cauchemar mathématique. Cela appartient à une classe de problèmes si difficiles que même les ordinateurs les plus puissants auraient du mal à les résoudre. Ce n'est pas seulement « difficile » ; c'est théoriquement impossible à réaliser efficacement. Même si un pirate volait le cerveau du modèle, il ne pourrait pas facilement créer un autre cerveau capable d'imiter cette signature de classement spécifique.

4. Le Piège : L'Attaque du « Croquis Grossier »

Cependant, les auteurs ont également identifié un risque de sécurité. Si une API révèle la liste entière des classements (par exemple, les 50 000 mots les plus fréquents par ordre), un pirate peut utiliser cela pour dessiner un « croquis grossier » du cerveau de l'IA.

L'Analogie : C'est comme regarder une photo floue d'un visage. Vous ne pouvez pas identifier la personne parfaitement, mais vous pouvez voir qu'elle a un nez, des yeux et une bouche. Vous ne pouvez pas falsifier la signature avec ce croquis, mais vous pouvez voler certains des « traits » du modèle.
La Solution : Les auteurs ont trouvé un « juste milieu ». Si l'API ne montre que les quelques premiers mots (par exemple, les 500 premiers), la signature reste unique et infalsifiable, mais l'information est trop floue pour qu'un pirate puisse voler le cerveau du modèle.

Résumé

L'Ancienne Méthode : Montrer les probabilités exactes $\rightarrow$ Le pirate vole le cerveau $\rightarrow$ Le pirate falsifie la signature.
La Nouvelle Méthode : Montrer uniquement le classement des mots $\rightarrow$ La signature est unique et mathématiquement impossible à falsifier.
Conseil de Sécurité : Ne montrez pas tous les classements. Montrez seulement le top $k$ (un petit nombre). Cela permet de garder la signature à l'abri des faussaires et le cerveau à l'abri des voleurs.

Cette méthode offre aux entreprises d'IA un moyen de prouver : « Oui, ce résultat provient bien de notre modèle », sans pour autant leur remettre accidentellement les clés de leur recette secrète.

Résumé technique : Les classements de jetons sont infalsifiables

Énoncé du problème

Les avancées récentes en matière de sécurité des modèles de langage (LM) ont exploré l'utilisation des sorties de modèles comme « signatures » pour identifier le modèle spécifique qui a généré un texte. Les signatures géométriques précédentes reposaient sur l'accès aux probabilités de jetons (logits). Cependant, cette dépendance présente une vulnérabilité de sécurité critique : l'accès aux logits permet à des attaquants de voler les paramètres de la dernière couche du modèle (la matrice de désincrustation ou unembedding matrix). Une fois ces paramètres volés, un attaquant peut falsifier la signature en construisant un nouveau modèle qui reproduit les contraintes géométriques de l'original.

Alors que les fournisseurs d'API restreignent de plus en plus l'accès aux probabilités de jetons pour empêcher le vol de paramètres et l'inversion de prompts, il existe un besoin pour un mécanisme de signature qui :

Ne nécessite pas l'accès aux probabilités de jetons.
Est informatiquement infalsifiable (c'est-à-dire qu'il est impossible de construire un modèle différent possédant la même signature).
Ne divulgue pas les paramètres du modèle même lorsque la signature est exposée.

Méthodologie

La signature par classement

Les auteurs proposent une nouvelle signature basée sur les classements de jetons (token rankings) plutôt que sur les probabilités. Un classement de jetons est l'ordre des jetons par probabilité (par exemple, $r = \text{arg sort}(\ell)$ ), sans révéler les valeurs de probabilité elles-mêmes.

Classements réalisables : En raison du « goulot d'étranglement softmax » (la nature de bas rang de la couche de désincrustation où la dimension d'encodage $d$ est bien plus petite que la taille du vocabulaire $v$ ), un modèle ne peut produire qu'un sous-ensemble infime des $v!$ classements possibles.
Unicité : L'ensemble des classements réalisables pour une matrice de désincrustation $W$ spécifique est propre à ce modèle. Les auteurs caractérisent théoriquement cette parcimonie, montrant que la proportion de classements réalisables décroît de manière super-exponentielle à mesure que $v$ augmente.
Signatures Top- $k$ : Les auteurs étudient si les classements tronqués (les $k$ premiers jetons) conservent cette unicité. Ils déterminent empiriquement le $k$ minimal requis pour différencier les modèles, trouvant qu'une transition abrupte se produit là où les classements top- $k$ deviennent uniques à un modèle spécifique.

Preuve d'infalsifiabilité

L'article traite de la dureté computationnelle de la falsification d'une signature. La falsification est définie comme le fait de trouver une nouvelle matrice de désincrustation $W'$ qui produit exactement le même ensemble de classements réalisables que le modèle cible.

Classe de complexité : Les auteurs prouvent que trouver une matrice de rang $d$ qui correspond à un ensemble donné de classements est $\exists\mathbb{R}$ -difficile (Théorie existentielle des réels).
Réduction : Ils réduisent le problème de décider la réalisabilité de « séquences simples autorisées » (un problème connu comme étant $\exists\mathbb{R}$ -complet) au problème de la falsification de signature.
Implication : Puisque $\text{NP} \subseteq \exists\mathbb{R} \subseteq \text{PSPACE}$ , falsifier la signature est informatiquement intraitable, même si l'attaquant a accès à tous les classements réalisables. Cela contraste avec les signatures géométriques précédentes (par exemple, basées sur des ellipses) qui n'étaient que difficiles à falsifier en temps polynomial.

Vol de paramètres via les classements

Les auteurs étudient également si l'exposition des classements divulgue les paramètres du modèle.

Mécanisme d'attaque : Ils démontrent que les classements complets peuvent récupérer asymptotiquement l'espace de colonnes de la matrice de désincrustation $W$ . Cela repose sur l'hypothèse que les états cachés suivent une distribution gaussienne et que les logits des jetons ont une variance marginale égale.
Méthode : En calculant les corrélations de Spearman des classements et en appliquant la décomposition en valeurs singulières (SVD), un attaquant peut approximer l'espace de colonnes de $W$ .
Limites : Bien que l'attaque récupère une approximation de $W$ , cette approximation est trop grossière pour falsifier la signature. Les classements réalisables de la matrice récupérée sont presque entièrement disjoints des classements du vrai modèle.

Résultats clés

Unicité des classements : Des tests empiriques sur les modèles Pythia et OLMo montrent que les classements complets sont uniques au modèle spécifique. Même une seule étape d'entraînement ou une légère perturbation des poids rend les classements précédemment réalisables irréalisables.
Infalsifiabilité : Une preuve théorique établit que falsifier la signature de classement est $\exists\mathbb{R}$ -difficile. Les tentatives empiriques pour ajuster une nouvelle matrice à un ensemble de classements via la descente de gradient ont échoué à reproduire la signature, même avec 48 à 50 classements.
Fuite de paramètres vs Sécurité de la signature :
- Les classements complets permettent de récupérer l'espace de colonnes de la matrice de désincrustation de manière approximative.
- Cependant, cette approximation est insuffisante pour falsifier la signature.
- Le « point d'équilibre » : Les auteurs identent une plage de $k$ $k$ (par exemple, $k \approx 370$ $k \approx 370$ pour Pythia 70M) où :
  - Les classements top- $k$ sont uniques au modèle (préservant la signature).
  - L'information est trop grossière pour reconstruire la matrice de désincrustation (empêchant le vol de paramètres).
- Plus précisément, fixer $k = d$ (la dimension cachée) est souvent suffisant pour différencier le modèle tout en gardant les paramètres récupérés moins similaires que ceux d'un modèle de base entraîné sur des données différentes.

Signification et affirmations

L'article affirme introduire la première signature de modèle de langage polynomialement infalsifiable qui ne nécessite pas l'accès aux probabilités de jetons.

Amélioration de la sécurité : Contraalirement aux signatures géométriques antérieures qui reposent sur les logits (qui fuient les paramètres) et qui sont falsifiables en temps polynomial, la signature de classement ne nécessite que les classements, est informatiquement difficile à falsifier, et permet aux fournisseurs de présenter la signature sans divulguer les poids du modèle.
Application forensique : La signature permet la criminalistique des modèles (model forensics). Si un dépôt prétend contenir des poids fuités, on peut les vérifier en vérifiant si les classements de jetons du modèle via l'API sont réalisables pour les poids fuités. Si les classements sont irréalisables, les poids sont frauduleux ; s'ils sont réalisables, le fuyard possède probablement les vrais poids (en raison de l'unicité et de l'infalsifiabilité de la signature).
Compromis pratique : L'article conclut que les fournisseurs d'API peuvent exposer en toute sécurité les classements top- $k$ pour fournir une signature vérifiable tout en atténuant le risque de vol de paramètres, à condition que $k$ soit choisi dans la plage « sûre » identifiée (assez grand pour l'unicité, assez petit pour empêcher la reconstruction).

Les auteurs restent modestes quant à la sécurité cryptographique de la signature, notant que bien que la difficulté $\exists\mathbb{R}$ soit une barrière théorique forte, la dureté du cas moyen de ces problèmes n'est pas encore totalement comprise, et que la signature n'est pas encore prouvée comme étant cryptographiquement sûre au sens traditionnel.