🤖 machine learning

FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences

Cet article introduit FLIPS, une nouvelle méthode d'empreinte au niveau de l'instance qui exploite les biais des séquences pseudo-aléatoires pour distinguer avec précision les différentes configurations d'un même grand modèle de langage, répondant ainsi à une lacune critique de la régulation de l'IA en permettant l'identification de comportements déployés spécifiques plutôt que de la seule provenance du modèle.

Auteurs originaux : Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gurvan Richardeau, Gohar Dashyan, Erwan Le Merrer, Gilles Tredan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Ce n'est pas seulement le moteur, c'est aussi le conducteur

Imaginez que vous possédez une voiture très puissante (un grand modèle de langage, ou LLM). Habituellement, lorsque la police ou les régulateurs veulent identifier une voiture, ils regardent le moteur (les poids du modèle). Si le moteur est le même, ils supposent que c'est la même voiture.

Mais cet article soutient que cela ne suffit pas. Deux voitures ayant exactement le même moteur peuvent conduire de manière très différente selon :

Qui conduit ? (le prompt système/les instructions).
À quelle vitesse roulent-elles ? (le réglage de la température).
Quel carburant utilisent-elles ? (la quantification ou le fine-tuning).

Une voiture peut être sûre et polie avec un certain conducteur, mais imprudente et toxique avec un autre. Les méthodes actuelles pour identifier les modèles d'IA sont comme si l'on ne regardait que le moteur ; elles ignorent le conducteur et les réglages. Cet article introduit une nouvelle méthode appelée FLIPS qui agit comme un lecteur de plaques d'immatriculation. Elle n'identifie pas seulement le modèle de voiture ; elle identifie l'instance spécifique de cette voiture dans sa configuration actuelle.

Le problème : Le piège de la « robustesse »

Les outils existants de tatouage numérique (fingerprinting) pour l'IA ont été conçus pour protéger la propriété intellectuelle (comme attraper quelqu'un qui aurait volé le code d'un modèle). Pour ce faire, ils sont conçus pour être « robustes », c'est-à-dire qu'ils ignorent les petits changements. Ils veulent dire : « Oui, c'est le modèle Llama-3 », même si les paramètres ont changé.

Le dilemme du régulateur :
Les régulateurs (comme l'UE avec l'AI Act) ne se soucient pas du code original ; ils se soucient du comportement. Si une entreprise prétend que son IA est « sûre », mais qu'elle modifie les réglages pour la rendre « dangereuse », le régulateur doit pouvoir identifier cette version spécifique et dangereuse. Les outils actuels sont « aveugles » à ces changements car ils ont été conçus pour les ignorer.

La solution : FLIPS (Le test de la « randomité »)

Les auteurs ont créé un outil appelé FLIPS (Fingerprinting LLMs via Pseudo-random Sequences). Voici comment il fonctionne, en utilisant une analogie simple :

L'analogie : Le test du lancer de pièce
Imaginez que vous demandiez à une personne de lancer une pièce 100 fois et de noter les résultats (Pile ou Face).

Un lancer de pièce parfaitement aléatoire produit un motif désordonné et imprévisible.
Un humain essayant de « simuler » l'aléatoire tombe souvent dans des motifs subtils (par exemple, il évite de lancer « Pile » trois fois de suite parce que cela semble trop improbable).

Comment fonctionne FLIPS :

La question : Le régulateur demande à l'IA de générer une séquence de jetons binaires aléatoires (comme « 0 » et « 1 » ou « voiture » et « soleil »).
La faille : Les modèles d'IA sont très mauvais pour être réellement aléatoires. Ils possèdent des « biais » ou des « habitudes » cachés basés sur leurs poids, leurs réglages et leurs instructions spécifiques.
L'empreinte digitale : FLIPS fait passer la sortie de l'IA à travers une batterie de tests statistiques (appelée la suite NIST, qui est comme un examen mathématique rigoureux pour la randomité).
Le résultat : Même si l'IA essaie d'être aléatoire, elle laisse une « empreinte digitale » unique de ses erreurs.
- Exemple : Le Modèle A pourrait accidentellement lancer « 0 » trop souvent après un « 1 ». Le Modèle B pourrait éviter le motif « 000 ».
- FLIPS mesure ces biais minuscules et spécifiques pour identifier exactement quelle version de l'IA est en train de parler.

Les résultats : Attraper les « mauvaises » versions

Les chercheurs ont testé cela sur 237 versions différentes de 25 modèles d'IA différents. Ils ont modifié la température, les instructions et ont même supprimé les filtres de sécurité (un processus appelé « ablatération »).

Ancienne méthode (LLMmap) : Lorsqu'on lui demandait de distinguer un modèle sûr d'une version « piratée » et dangereuse du même modèle, l'ancienne méthode échouait lamentablement. Elle pensait qu'ils étaient la même voiture (elle se trompait 95 % du temps). Elle était trop « robuste ».
FLIPS : Il a correctement identifié la version spécifique 96 % du temps dans un test fermé (où il connaissait toutes les options) et 90 % du temps dans un test ouvert (où il devait dire « je ne connais pas celui-ci » s'il n'était pas dans sa base de données).

Résultat clé : FLIPS peut faire la différence entre une IA sûre et une version modifiée et dangereuse de cette même IA en utilisant très peu de questions (seulement 8 requêtes).

Pourquoi c'est important pour la régulation

Les auteurs comparent FLIPS à une plaque d'immatriculation.

Plaques d'immatriculation : Elles sont faciles à falsifier, mais elles constituent la norme pour que la police identifie une voiture spécifique sur la route. Ils n'ont pas besoin d'ouvrir le capot pour savoir si une voiture roule trop vite ou roule dans le mauvais sens.
FLIPS : Il permet aux régulateurs de vérifier la « plaque d'immatriculation » d'une IA sans avoir besoin d'accéder au code privé de l'entreprise (les poids).

Si une entreprise affirme : « Nous utilisons la version sûre de notre IA », un régulateur peut utiliser FLIPS pour poser quelques questions aléatoires. Si les réponses montrent l'« empreinte dangereuse », le régulateur sait que l'entreprise ment ou a modifié les réglages, sans avoir besoin de voir le code interne.

Résumé

Le problème : Les outils actuels d'identification d'IA ignorent les réglages qui changent le comportement d'une IA.
La solution : FLIPS utilise l'incapacité de l'IA à générer une randomité parfaite pour créer une « empreinte digitale » unique pour chaque configuration spécifique.
Le bénéfice : FLIPS permet aux régulateurs de vérifier rapidement si une IA déployée est la version sûre et approuvée ou une version modifiée et dangereuse, en utilisant très peu de questions et sans accès au code privé.

Résumé Technique : FLIPS – Empreinte d'Instance pour les LLM via des Séquences Pseudo-aléatoires

1. Énoncé du Problème

Les techniques actuelles d'identification des Grands Modèles de Langage (LLM), principalement conçues pour la protection de la propriété intellectuelle (PPI), se concentrent sur la vérification si un modèle cible est une copie d'un modèle de référence basée sur ses poids originaux. Ces méthodes ignorent délibérément les « paramètres au niveau de l'instance » — tels que les prompts système, les configurations d'échantillonnage (ex: température), et la quantification — afin d'obtenir une robustesse contre les altérations mineures du modèle.

Cependant, cette approche crée une lacune critique pour la régulation de l'IA. Des législations comme l'IA Act de l'UE et la loi SB 533 de Californie exigent des évaluations de conformité basées sur le comportement réel déployé d'un LLM, et non seulement sur sa provenance. Un modèle doté de poids sûrs peut générer du contenu toxique sous différentes configurations (ex: prompts système spécifiques ou températures élevées). Les méthodes de PPI existantes ne parviennent pas à distinguer un modèle sûr de ses variantes « ablatées » (non censurées) ou configurées différemment, ce qui les rend inefficaces pour les régulateurs qui doivent identifier des instances déployées spécifiques pour vérifier la conformité comportementale.

L'article définit l'Empreinte d'Instance (IF - Instance-level Fingerprinting) comme la tâche consistant à distinguer une instance de modèle spécifique définie par ses poids précis, son cadrage instructionnel et ses hyperparamètres de génération.

2. Méthodologie : FLIPS

Les auteurs proposent FLIPS (Instance-Fingerprinting for LLMs via Pseudo-random Sequences), une méthode de boîte noire, efficace en termes de requêtes, conçue pour détecter les biais spécifiques aux instances dans la génération de séquences pseudo-aléatoires.

Raisonnement Fondamental

La méthode exploite l'observation selon laquelle les LLM sont peu performants pour générer de véritables séquences aléatoires. Lorsqu'on leur demande de générer des séquences binaires (ex: alternance de jetons comme "0" et "1" ou paires arbitraires comme "voiture" et "soleil"), les LLM présentent des biais distincts et spécifiques à l'instance. Ces biais découlent de l'interaction complexe entre les poids, les mécanismes d'attention, le contexte et les hyperparamètres (comme la température), qui créent une « empreinte » unique pour chaque instance.

Pipeline Technique

Stratégie de Requête : Le système utilise un modèle de prompt fixe instruisant le modèle de générer une séquence binaire aléatoire en utilisant une paire spécifique de jetons (ex: $t_A$ et $t_B$ ). Les auteurs utilisent un ensemble de paires de jetons distinctes pour susciter différentes signatures de biais.
Extraction de Caractéristiques : Les séquences de sortie générées sont converties en flux de bits binaires. Ces flux sont analysés à l'aide de la suite de tests statistiques NIST (une suite de tests cryptographiques standard pour l'aléatorité). La suite produit un vecteur de $d$ statistiques de test (ex: fréquence des transitions, longueurs de séries, occurrences de motifs) qui servent de caractéristiques d'empreinte.
Entraînement du Détecteur : La tâche d'empreinte est formulée comme un problème de classification multi-classe. Un classificateur XGBoost est entraîné sur les vecteurs de caractéristiques NIST extraits d'un ensemble de référence d'instances connues.
Vérification : Pour vérifier une instance cible, le système la questionne avec les mêmes paires de jetons, extrait les statistiques NIST, puis les injecte dans le classificateur entraîné. Le classificateur prédit l'instance de référence la plus probable ou étiquette la cible comme « Inconnue » si la confiance tombe en dessous d'un seuil prédéfini.

Contraintes Opérationnelles

FLIPS est conçu pour fonctionner dans des conditions strictes de boîte noire (sans accès aux poids ou aux logits) et privilégie l'efficacité des requêtes. Il distingue :

Budget d'Extraction ( $N_r$ ) : Utilisé pour construire la base de données de référence (ex: 40 requêtes par instance).
Budget de Vérification ( $N_t$ ) : Utilisé pour les contrôles de routine (ex: seulement 8 requêtes).

3. Principales Contributions

Changement de Paradigme : L'article introduit et motive l'Empreinte au niveau de l'Instance, déplaçant l'accent de l'identification basée sur les poids (PPI) vers l'identification sensible à la configuration pour la conformité réglementaire.
Algorithme FLIPS : Une méthode novatrice et efficace en requêtes qui exploite les biais dans la génération pseudo-aléatoire et les statistiques NIST pour distinguer les instances de modèles.
Benchmark Complet : Les auteurs ont construit un benchmark de 237 instances dérivées de 25 LLM en open-weights. Cela inclut des variations de température (0,4–1,0), de prompts système (orientés sécurité, malveillants, basés sur des personas), de quantification (int4, fp8) et de modèles ablatés.
Validation Empirique : L'étude démontre que FLIPS surpasse significativement les méthodes de PPI de pointe adaptées pour distinguer les variantes comportementales.

4. Résultats Expérimentaux

Évalué sur le benchmark de 237 instances, FLIPS a atteint les métriques de performance suivantes :

Précision en Milieu Fermé (Closed-Set) : 96 % avec 8 requêtes de vérification ( $N_t=8$ ).
Précision en Milieu Ouvert (Open-Set) : 90 % (où 10 % des cibles sont des instances inconnues/inconnues) avec 8 requêtes de vérification.
Comparaison avec les Baselines : La méthode de PPI de pointe adaptée, LLMmap, n'a obtenu que 35 % de précision dans le cadre du milieu fermé et n'a pas été évaluée en milieu ouvert en raison de ses faibles performances.
Efficacité des Requêtes : Une haute précision a été obtenue avec seulement 40 requêtes d'extraction et 8 requêtes de vérification par instance.
Robustesse : La méthode est restée efficace même lorsque les longueurs de séquence étaient tronquées à une longueur fixe, confirmant que le signal provient du biais plutôt que des différences de longueur brute.
Analyse d'Échec : La méthode a montré un rappel plus faible pour les instances ayant des températures plus élevées (augmentant l'entropie de sortie) et pour certains modèles « ablatés », bien qu'elle conserve un pouvoir discriminatoire important par rapport aux bases de comparaison.

5. Signification et Revendications

L'article affirme que FLIPS fournit une solution pratiquement réalisable pour les régulateurs de l'IA afin de vérifier la conformité des LLM déployés sans nécessiter d'audits complets coûteux ou d'accès boîte blanche.

Nécessité Réglementaire : Les auteurs soutiennent que, puisque les paramètres au niveau de l'instance (prompts, température) modifient radicalement le comportement du modèle (ex: sécurité vs toxicité), les régulateurs doivent être capables d'identifier des configurations spécifiques, et non seulement des poids de modèles.
Analogie de la Plaque d'Immatriculation : Les auteurs comparent FLIPS à une « plaque d'immatriculation » pour les LLM : un mécanisme simple et efficace pour identifier une instance. Bien qu'elle puisse être falsifiée (ex: un fournisseur redirigeant les requêtes vers un vrai PRNG), une telle tromperie est détectable (car les vrais PRNG passent parfaitement les tests NIST) et représente une barrière plus élevée que l'angle mort actuel de la régulation.
Limites : L'article reconnaît qu'à mesure que les capacités de génération aléatoire interne des LLM s'améliorent, le pouvoir discriminatoire de cette méthode pourrait diminuer. Cependant, il suggère que la tâche peut être intensifiée vers des défis de hasard plus complexes (ex: processus de Poisson) pour maintenir l'efficacité.

En conclusion, FLIPS démontre qu'en exploitant les biais subtils de la génération pseudo-aléatoire, il est possible d'identifier efficacement et à faible coût des instances spécifiques de LLM, comblant ainsi une lacune critique dans les cadres de gouvernance de l'IA.