🤖 machine learning

Reference-Based Distillation Detection in LLMs

Cet article introduit une méthode de détection de la distillation basée sur une référence qui exploite l'inférence d'appartenance et l'inférence de prompt proxy pour identifier avec précision les modèles enseignants et détecter la distillation dans les LLM en comparant les sorties des étudiants aux points de contrôle de lignée antérieurs, même dans des scénarios réels complexes impliquant des pipelines cachés.

Auteurs originaux : Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rajat Rawat, Sizhe Chen, Akshay Anand, Michael Duan, Bob Rotsted, Sewon Min

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant brillant qui, soudainement, réussit tous ses examens avec brio. Vous soupçonnez qu'il n'a pas seulement étudié dur par lui-même ; peut-être a-t-il secrètement copié les réponses d'un « enseignant » super intelligent. Mais voici le hic : l'étudiant est si doué pour imiter le style de l'enseignant qu'il est presque impossible de deviner de quel enseignant il a copié en regardant simplement son examen final. C'est comme essayer de deviner quel était le réalisateur préféré d'un acteur célèbre en regardant simplement son dernier film, sans connaître ses œuvres passées.

C'est le problème que le chercheur Rajat Rawat et son équipe ont abordé. Ils se sont demandé : peut-on attraper un modèle s'il a été « distillé » (entraîné) sur les réponses d'un autre modèle ?

L'astuce du « Avant et Après »

L'article soutient que tenter de deviner l'enseignant à partir de l'étudiant seul est une impasse. C'est trop difficile. Au lieu de cela, les chercheurs ont trouvé un contournement ingénieux : comparer l'étudiant à son propre « moi bébé ».

Pensez-y de cette façon : imaginez que vous avez la photo d'un adolescent (le modèle « étudiant ») et une photo plus ancienne de la même personne enfant (le modèle « référence », qui est une version antérieure du même IA). Si l'adolescent se met soudainement à parler exactement comme une célébrité spécifique (l'« enseignant »), mais que la version enfant ne le faisait pas, vous pouvez remarquer la différence !

Les chercheurs ont construit une méthode qui mesure à quel point le « adolescent » préfère les réponses d'une célébrité spécifique par rapport à la manière dont le « enfant » les préférait. Si l'adolescent commence soudainement à aimer le style d'un enseignant spécifique bien plus que l'enfant ne le faisait, c'est une preuve irréfutable. C'est comme remarquer qu'un enfant qui aimait autrefois dessiner des bonshommes bâtons se met soudainement à peindre exactement dans le style de Van Gogh, alors que sa version plus jeune ne le faisait jamais.

Le travail de détective

L'équipe a testé cela en créant leurs propres « faux » étudiants en laboratoire. Ils ont pris un modèle de base, lui ont injecté les réponses d'un enseignant spécifique (comme DeepSeek-R1, Llama, ou GPT-OSS), et ont observé si leur méthode pouvait identifier le coupable.

Le résultat : Dans ces expériences contrôlées, leur méthode était incroyablement précise, identifiant l'enseignant avec un taux de 100 % dans de nombreux cas.
Le hic : Cela n'a fonctionné que lorsqu'ils possédaient la « photo d'enfant » (le modèle de référence) pour comparer. Sans elle, la méthode avait des difficultés.
Le problème du « prompt caché » : Parfois, l'enseignant utilise des instructions secrètes (prompts) que le détective ne connaît pas. Les chercheurs ont découvert que si on donnait au détective quelques exemples du propre style d'écriture de l'étudiant pour le « mettre en jambe » (une stratégie de prompting à quelques exemples ou few-shot), la méthode pouvait tout de même identifier l'enseignant malgré ces instructions cachées.

Une signature de « glyphe » secrète

Les chercheurs ont également découvert un indice spécifique et étrange pour les modèles entraînés sur o1 ou o3 (les modèles de raisonnement d'OpenAI). Ces modèles adorent utiliser des caractères spéciaux et non standards (comme des symboles bizarres) dans leurs traces de pensée.

Lorsqu'un modèle étudiant est distillé à partir de ceux-ci, il hérite d'un « fantôme » de cette habitude. Les chercheurs ont constaté que si l'on force l'étudiant à écrire en texte brut (ASCII) plutôt qu'en son texte naturel (Unicode), le modèle « distillé » est confus et commet plus d'erreurs en texte brut. C'est comme une personne qui a appris à parler avec un accent spécifique ; si on la force à parler sans cet accent, elle trébuche. Cet écart « Unicode vs ASCII » était un signal fort indiquant qu'un modèle avait été entraîné sur des données de type o1/o3, même si l'enseignant ne figurait pas dans la liste des suspects.

Qu'en est-il des modèles du monde réel ?

L'équipe ne s'est pas arrêtée à ses expériences de laboratoire. Elle a appliqué ses compétences de détective à des modèles réels et publics comme QwQ-32B, DeepSeek-R1 et GPT-OSS.

QwQ-32B : Leur méthode suggère que ce modèle pourrait avoir été entraîné sur les sorties de DeepSeek-R1 après la sortie d'une version antérieure spécifique de QwQ. L'« adolescent » aimait beaucoup plus les réponses de DeepSeek que son « moi enfant ».
DeepSeek-R1 : La méthode suggère que ce modèle pourrait avoir été influencé par o1 ou QwQ-32B-Preview. De plus, le test « Unicode vs ASCII » a montré un écart énorme, suggérant fortement une influence de type o1.
GPT-OSS : Celui-ci était délicat. Comme il n'y avait pas de bonne « photo d'enfant » (modèle de référence) pour comparer, les résultats étaient flous. La méthode pointait vers DeepSeek et QwQ, mais les auteurs préviennent que cela est très incertain car la référence utilisée (GPT-2 XL) est trop ancienne et trop différente pour constituer une comparaison équitable.

Ce qu'ils ont écarté

L'article est très clair sur ce qui ne fonctionne pas :

Regarder l'étudiant seul : On ne peut pas identifier de manière fiable qui était l'enseignant en regardant simplement le modèle final sans une référence.
Les simples tests de similitude : Le simple fait de compter combien de mots correspondent ou d'utiliser des scores de « vraisemblance » standard (combien une réponse est probable) a échoué lamentablement. Ces méthodes se sont trompées et ont choisi les mauvais enseignants.
Les traces de raisonnement cachées : Si un enseignant cache son « processus de réflexion » et ne montre que la réponse finale, la méthode de détection échoue. Les « traces de raisonnement » sont cruciales pour que le détective puisse travailler.

À quel point sont-ils sûrs ?

Les auteurs sont très confiants quant à leurs résultats de laboratoire : ils ont prouvé que leur méthode fonctionne avec une précision quasi parfaite dans des contextes contrôlés. Pour les modèles du monde réel, ils suggèrent de fortes preuves de relations de distillation, mais ils précisent avec prudence qu'il s'agit d'explorations préliminaires, et non de verdicts de justice définitifs. Ils admettent que les modèles du monde réel sont désordonnés et pourraient avoir été entraînés sur plusieurs enseignants ou en plusieurs étapes, ce que leur méthode actuelle ne gère pas encore totalement.

En résumé, l'article introduit une nouvelle loupe puissante pour l'audit de l'IA. Il dit : « Ne regardez pas seulement l'étudiant ; regardez à quel point il a changé depuis qu'il est bébé, et comparez ce changement aux enseignants que vous soupçonnez. » C'est un grand pas vers la transparence dans un monde où les modèles d'IA sont de plus en plus construits en copiant les devoirs les uns des autres.

Résumé technique : Détection de la distillation basée sur une référence dans les LLM

Énoncé du problème
La distillation de modèles — l'entraînement d'un modèle étudiant sur les sorties générées par un modèle enseignant plus puissant — est une technique répandue pour transférer des capacités telles que le raisonnement et le respect des instructions. Cependant, cette pratique soulève des préoccupations significatives concernant les avantages concurrentiels déloyaux, les violations de la propriété intellectuelle et les manquements aux politiques. Un défi critique de l'audit de modèles consiste à déterminer si un modèle spécifique a été distillé à partir d'un autre. L'article soutient que l'identification d'un modèle enseignant à partir d'un étudiant de manière isolée (détection absolue) est extrêmement difficile en raison de la complexité de l'inférence d'appartenance dans les LLM modernes et de l'opacité des pipelines de distillation (par exemple, les prompts inconnus, le filtrage des données).

Méthodologie
Les auteurs proposent un cadre de détection de distillation basé sur une référence. Au lieu de tenter de détecter la distillation de manière absolue, la méthode opère sur une base relative : étant donné un modèle étudiant $S$ et un point de contrôle de référence d'une génération antérieure $R$ issu de la même lignée (par exemple, un modèle de base ou une version antérieure ajustée par instructions), le système détermine si $S$ a été entraîné en utilisant les sorties d'un enseignant candidat $T$ .

Le mécanisme central repose sur des vraisemblances normalisées par référence :

Entrées de substitution (Proxy Inputs) : Le détecteur construit un ensemble d'entrées de substitution $\hat{X}$ (disjointes des données d'entraînement originales) pour interroger les enseignants candidats.
Score d'alignement : Pour chaque enseignant candidat $T_k$ , la méthode calcule un score d'alignement basé sur la mesure dans laquelle le modèle étudiant $S$ explique mieux les sorties de $T_k$ par rapport à la référence $R$ . Le score est défini par :
$f(T_k(x_i), S) = -(\ell_S(x_i, y^{(k)}_i) - \ell_R(x_i, y^{(k)}_i))$
où $\ell_M$ est la moyenne de la log-vraisemblance négative par jeton (token-level negative log-likelihood).
Règles de décision : La méthode identifie l'enseignant soit en sélectionnant le candidat ayant le score d'alignement moyen le plus élevé, soit en sélectionnant le candidat qui l'emporte sur la plus grande fraction de comparaisons de rangs à travers les échantillons.
Significativité statistique : Pour distinguer les signaux de distillation authentiques du bruit, les auteurs emploient des tests statistiques (tests binomiaux exacts pour l'identification ; tests t unilatéraux ou tests de Wilcoxon signed-rank pour les marges de détection) et exigent un accord entre deux ensembles de prompts distincts.
Gestion des pipelines inconnus : Pour traiter les prompts cachés ou les styles d'instructions, la méthode peut inférer des modèles de prompts de substitution ou utiliser des exemples contextuels (few-shot) pour aligner les sorties de l'enseignant avec le style de l'étudiant.
Signal au niveau des glyphes : L'article identifie un signal spécifique pour les modèles distillés à partir de la série OpenAI o1/o3 : une utilisation inhabituellement fréquente de caractères Unicode non-ASCII. Cela est détecté via un écart de perte normalisé par référence entre les sérialisations ASCII et Unicode.

Principales contributions

Formulation basée sur la référence : L'article introduit une approche traitable de la détection de la distillation en comparant un étudiant à un point de contrôle de référence plutôt qu'en se fiant à des vraisemblances absolues, qui sont, selon les auteurs, peu fiables.
Robustesse à l'opacité : La méthode fonctionne efficacement même lorsque le pipeline de distillation (prompts, sources de données) est inconnu, en utilisant des prompts de substitution et des stratégies d'alignement par few-shot.
Détection au niveau des glyphes : L'identification d'un signal distinctif de "niveau glyphe" (usage de l'Unicode) spécifique à la distillation d'o1/o3, fournissant un vecteur de détection complémentaire.
Cadre d'évaluation hybride : Les auteurs développent une stratégie d'évaluation rigoureuse combinant des expériences de distillation contrôlées (avec une vérité terrain connue) et l'analyse de modèles réels pour traiter l'enchevêtrement des lignées de modèles modernes.
Cadre statistique : L'introduction de tests de significativité pour l'attribution de l'enseignant et la détection binaire de la distillation afin de limiter les faux positifs.

Résultats
La méthode a été évaluée à travers des expériences contrôlées et des modèles réels :

Expériences contrôlées : Dans des scénarios de distillation de type SFT à enseignant unique, la méthode basée sur la référence a atteint une précision quasi parfaite (100 % de précision agrégée) pour identifier le véritable enseignant, surpassant nettement les bases comme la vraisemblance brute, la vraisemblance normalisée par ZLIB et les métriques de similitude basées sur les chaînes de caractères. Le signal émerge rapidement, ne nécessitant que quelques dizaines d'exemples d'entraînement.
Modèles réels : Appliquée à des modèles tels que les distillats de DeepSeek-R1 et s1.1-32B, la méthode a correctement identifié DeepSeek-R1 comme l'enseignant dans 7 cas sur 7.
Attribution en monde ouvert : Dans des contextes de monde ouvert où le véritable enseignant pourrait ne pas être dans le pool de candidats, la méthode a réussi à classer les enseignants probables. Par exemple, elle a identifié DeepSeek-R1 comme l'enseignant le plus probable pour QwQ-32B et a suggéré une influence potentielle d'o1/o3 sur DeepSeek-R1 et GPT-OSS via le signal Unicode.
Limites observées : La méthode dépend de la disponibilité d'un point de contrôle de référence approprié (ce qui était difficile pour GPT-OSS). De plus, la précision a chuté de manière significative lorsque les traces de raisonnement étaient cachées (par exemple, seules les réponses finales étaient disponibles), et les seuils de détection calibrés sur des enseignants de raisonnement ne se généralisaient pas bien aux enseignants de non-raisonnement.

Signification et affirmations
L'article affirme établir la faisabilité de l'audit au niveau du modèle pour la distillation dans les LLM modernes. Il postule que, bien que la détection absolue soit difficile, un cadre basé sur la référence permet d'identifier les modèles enseignants avec un haut degré de confiance. Les auteurs présentent ce travail comme une "première étape" vers la transparence dans des pipelines de développement de modèles de plus en plus opaques. Ils déclarent explicitement que leurs conclusions fournissent des preuves empiriques pour des relations de distillation potentielles impliquant QwQ, DeepSeek-R1 et GPT-OSS, tout en avertissant que celles-ci doivent être considérées comme des explorations préliminaires en raison des hypothèses simplificatrices (enseignant unique, SFT de phase finale) et de la nature complexe et enchevêtrée des lignées de modèles réels. Le travail vise à motiver la recherche future sur l'attribution sous des régimes plus complexes, tels que la distillation multi-enseignants et multi-étapes.